每幀3GB！這項虛擬現實技術要重塑空間全息影像

　　在 VR 頭顯里想象這樣一個場景：

　　你站在中越邊境的河谷，觀看壯美的景色——但頭顯里播放的并非普通的全景視頻，而是可以隨著身體移動和頭部傾斜，看到被畫面中的物體擋住的更多東西，甚至……整個場景。

　　比如你的面前有一個油桶，但你可以稍微挪動一點，或者把頭向右傾斜，就能看到油桶背后的溪流：

　　這顯然不是一個幾百塊錢的雙攝全景攝像頭就能實現的。其實，這部視頻的拍攝手法叫做 Volumetric Capture，翻譯成中文叫“容積捕獲” ，采用特殊的設備，像三維空間掃描一樣記錄下了攝像頭周圍所在區域的全部物理環境。拍攝它的公司叫做 HypeVR，該公司聯合創始人泰德·施洛維茨告訴我，這段全息影像的每幀數據量就高達 3GB。

　　昨天，PingWest品玩在英特爾 的 VR 發布會上粗略體驗了一下 HypeVR 所拍攝的這段內容。今天我們又找到了該公司的創始人兼 CEO Tonaci Tran，更深入地體驗和了解了這項技術。

　　這段全息影像的記錄時間是 2016 年 11 月 14 日，地點是中越邊境的板約瀑布。簡單來說，HypeVR 開發的這種新視頻格式，具有三個特性：360°全景+高清+六自由度。

　　全景不消細說。在清晰度方面，一般的全景攝像采用多相機陣列(比如 GoPro)的方案，和 HypeVR 根本沒法比——該公司的一個多相機陣列就要用到 Velodyne 開發的激光雷達 (LiDAR)，再配上 12 臺世界上最頂級的 Red 超高清攝像機。僅供參考：Red 的分辨率 為 5K，12臺……清晰度難以想象。

　　至于六自由度，英文叫做 6 degrees of freedom (6dof) 是一個物理上的術語，指的是物體能夠在三維空間里，在 xyz 三軸方向上自由運動以及圍繞三軸自由轉動的能力。在 VR 業界，6dof 是一種技術指標，指的是當頭顯的佩戴者在三維空間里前后左右上下移動和搖頭、擺頭時，頭顯里所顯示的空間畫面能夠隨之變化，就像在真實空間里一樣。

　　但并非所有的 VR 內容的錄放都支持 6dof。如果一個全景攝像頭放在定點上錄制內容，它拍下的其實也只是一個二維的畫面。而在拍攝中加入激光雷達，使得最后產生的二維畫面多了一維——空間，其實是 HypeVR 全息影像錄制技術最大的不同。這樣錄制和最后剪輯制作完成的內容，不是二維的畫面，而是具有空間感的全息影像。

　　還有一個問題：最后成片中的畫面里，那些桶、水牛和其他擋住視野的物體，它們背后的畫面又該怎樣拍呢?HypeVR 以商業機密為由沒有想我透露太具體的細節，但我猜測采用的方法應該類似于：先在一個點拍攝 (point zero)，然后更換一個能拍到障礙物背后的點 (point a)，然后按照從 0 到 a 的距離和方向，在全息場景重建的時候，拼接 a 的內容到 0 的內容里。

　　蹲下，或者往左/右邊走，就能看到被水牛擋住的地方。這是其它 VR 視頻絕對無法做到的。

　　但顯然，這樣制作出來的最終內容格式肯定不是普通和 VR 視頻一般采用的 mp4 格式，而是一種全新的格式。Tran 對我表示：

　　從容積捕獲 (volumetric capture)、場景重現 (reconstruction)、壓縮編碼 (compression codec)、播放和直播串流所采用的圖像引擎 (graphics engine for playback and volumetric streaming)，一切都是全新的。我們認為這就是視頻 2.0 時代。

　　Tran 是美國出生的越南人，曾在加州大學圣地亞哥分校學習數字媒體創作。因為 10 年前創立了第一家 Red 高清電影攝像機出租服務，他在越南也引起過不小的轟動，還曾因此在越南電影界獲得了不小的名氣。

　　2014 年，為了實現“打造下一代視頻技術”的夢想，他和電影巨頭二十世紀福斯的數字技術專家泰德·施洛維茨一同創立了 HypeVR。

　　該公司總部位于加州圣地亞哥。Tran 告訴我，他認為 HypeVR 在相機陣列、全息場景重建、6dof 全息視頻壓縮和全息視頻串流方面，有著絕對的技術優勢。至于公司的技術優勢，他用一句話總結為“獨家的容積捕獲、制作和播放引擎，專為視頻 2.0 時代打造。”也正因此，英特爾將 HypeVR 視作重要的合作伙伴，邀請其參加 CES 的發布會和現場演示。

　　接連兩天由淺及深地體驗了 HypeVR 帶來的全息可互動影像之后，我心理對于 VR 視頻的芥蒂消除了一些。之前我對所謂的 VR 內容不太感冒的原因就在于，它們只是把我綁在一個固定的地方，然后允許我轉動腦袋，并沒有什么所謂的“沉浸”感，反而感覺自由被限制了。

　　我問 Tran “在你們這段視頻里，我到底有多大的自由度?”他告訴我：“只要這條頭顯的線夠長、頭顯還在傳感器追蹤的范圍里，你想走多遠走多遠。”

　　部分圖片來源：英特爾、HypeVR