文 | 智東西 徐珊
編輯 | 云鵬
如何讓遠(yuǎn)在千里的朋友來(lái)你家下棋？
沒(méi)錯(cuò)，是你住的家中，而不是你和朋友在手機(jī)上聯(lián)機(jī)下棋或者同時(shí)處于某個(gè)完全虛幻的場(chǎng)景中。
前不久，扎克伯格披露其高端頭顯產(chǎn)品，內(nèi)部代號(hào)為Project Cambria的VR頭顯即將實(shí)現(xiàn)這一場(chǎng)景。
▲Meta的Quest 2所呈現(xiàn)的黑白透視
Project Cambria將會(huì)給圖片內(nèi)的灰色全部“復(fù)原”色彩，讓你一時(shí)間很難分辨出哪些是虛擬物體，哪些是原有物品。而這背后離不開(kāi)一項(xiàng)重要的技術(shù)——全彩透視（full-color passthrough）。
扎克伯格曾在其最新的財(cái)報(bào)會(huì)議上提到全彩透視技術(shù)將是Project Cambria最大的特點(diǎn)之一。
全彩透視技術(shù)屬于視頻透視技術(shù)（Video-seethrough）的一個(gè)分支，也就是通過(guò)相機(jī)捕捉到實(shí)時(shí)畫(huà)面，將虛擬世界和真實(shí)世界合成后，呈現(xiàn)豐富色彩的顯示畫(huà)面。
就像圖片中的吉他和花架，通過(guò)全彩透視技術(shù)巧妙地和其他物品融為一體。
▲通過(guò)全彩透視技術(shù)呈現(xiàn)的畫(huà)面
5月13日，美國(guó)專(zhuān)利商標(biāo)局公布了一項(xiàng)蘋(píng)果專(zhuān)利，指出一種用于頭顯的多透鏡組合方案，可實(shí)現(xiàn)視頻透視功能。再結(jié)合近期外媒The information的爆料信息，不少人士推斷蘋(píng)果的MR頭顯很有可能采用的也是全彩透視技術(shù)。
此外，一些初創(chuàng)企業(yè)也在瞄準(zhǔn)全彩透視技術(shù)的相關(guān)特性。VR頭顯公司Valve近期宣布與3D傳感技術(shù)公司Occipital的Arcturus Industries團(tuán)隊(duì)合作，為VR設(shè)備提供全彩色透視模式。
為何全彩透視技術(shù)能成為Meta頭顯的突破口？Meta在全彩透視技術(shù)方面做了哪些工作？全彩透視技術(shù)又將對(duì)VR/AR行業(yè)帶來(lái)哪些影響？我們與多位產(chǎn)業(yè)人士交流后，嘗試找到問(wèn)題的答案。
01.給元宇宙“上色”，全彩透視分四步走
透視是指看到現(xiàn)實(shí)世界。目前的VR設(shè)備打造的是一個(gè)完全虛擬的環(huán)境，不會(huì)與現(xiàn)實(shí)世界產(chǎn)生互動(dòng)，但是通過(guò)透視用戶(hù)就可以同時(shí)看到現(xiàn)實(shí)世界和數(shù)字世界。
而目前的透視方案分成兩大類(lèi)，光學(xué)透視和視頻透視。
光學(xué)透視的顯示方案是通過(guò)特殊的透鏡設(shè)計(jì)將數(shù)字畫(huà)面投射到半透明的顯示裝置。而視頻透視的顯示方案則是通過(guò)相機(jī)實(shí)時(shí)捕捉畫(huà)面，再和虛擬世界本該呈現(xiàn)的畫(huà)面融合，最終呈現(xiàn)在顯示屏幕上。
▲光學(xué)透視（OST）和視頻透視（VST）兩種不同的光學(xué)路徑示意圖
由于光學(xué)透視的光路設(shè)計(jì)復(fù)雜，顯示的畫(huà)面視角有限，并且由于光線(xiàn)原因無(wú)法顯示純黑的畫(huà)面，以及光學(xué)零部件成本造價(jià)較高，因此VR設(shè)備的廠(chǎng)商們往往選擇已經(jīng)較為成熟的視頻透視方案。
回憶一下，當(dāng)你戴上VR頭顯，需要建立安全區(qū)域的時(shí)，是不是也能同時(shí)看到自己的房間。并且你還可以用VR手柄在房間里圈定一定的安全區(qū)域。
這時(shí)候，你眼中看到的現(xiàn)實(shí)場(chǎng)景和虛擬世界融合的場(chǎng)景正是通過(guò)視頻透視技術(shù)實(shí)現(xiàn)的。
盡管多數(shù)VR設(shè)備已經(jīng)搭載了透視技術(shù)，但基于目前VR設(shè)備上搭載的RGB攝像頭以及產(chǎn)品設(shè)計(jì)等因素，現(xiàn)有的VR設(shè)備上支持的多數(shù)為黑白透視。
據(jù)行業(yè)人士透露，黑白透視只需要利用空間定位攝像頭以及一些簡(jiǎn)單的算法，就可以實(shí)現(xiàn)不錯(cuò)的透視效果。
▲黑白透視場(chǎng)景
但要做到全彩透視，盡管只是簡(jiǎn)單的“上色”一步，其背后則又需要考慮多個(gè)技術(shù)的融合。
目前，全彩透視主要可以分為四步：透視、空間錨點(diǎn)（放置AR物體）、三維重建、環(huán)境理解及對(duì)象識(shí)別。
值得注意的是，與AR設(shè)備顯示的畫(huà)面不同，全彩透視技術(shù)看到的現(xiàn)實(shí)世界，并非是通過(guò)人眼直接看到真實(shí)世界，事實(shí)上，人的眼睛看到的是機(jī)器拍攝現(xiàn)實(shí)世界場(chǎng)景，并經(jīng)過(guò)處理之后投射在顯示屏上的畫(huà)面。
02.從黑白到全彩，全彩透視需突破三大技術(shù)難點(diǎn)
從黑白透視到全彩透視究竟有多難？
經(jīng)過(guò)梳理，我們發(fā)現(xiàn)要實(shí)現(xiàn)全彩透視技術(shù)需要突破三大技術(shù)難點(diǎn)。
首先是硬件升級(jí)。影創(chuàng)科技創(chuàng)始人孫立認(rèn)為從硬件上來(lái)看，從黑白透視到全彩透視可能會(huì)涉及到攝像頭的升級(jí)，廠(chǎng)商們可能會(huì)將VR設(shè)備上的RGB的攝像頭進(jìn)行升級(jí)，甚至部分設(shè)備會(huì)配備深度傳感器，以實(shí)現(xiàn)更高精度、色彩豐富的畫(huà)面效果。
此前業(yè)內(nèi)也有傳聞證實(shí)這一點(diǎn)。據(jù)悉，相較于Quest 2，Project Cambria搭載了分辨率比Quest 2高三倍、專(zhuān)門(mén)設(shè)計(jì)用于彩色透視的深度傳感器和攝像頭，其能夠?qū)崿F(xiàn)以假亂真的混合現(xiàn)實(shí)體驗(yàn)。
▲全彩透視場(chǎng)景
其次在算法上也提高了一定的要求。由于全彩透視對(duì)分辨率、色彩的還原度和準(zhǔn)確性要求較高，物體的位置和物體的大小范圍一一對(duì)應(yīng)，因此往往需要一套接近實(shí)時(shí)重構(gòu)的算法。這提高了對(duì)算法和算力的要求，也對(duì)頭顯自身處理計(jì)算的能力有了更高的要求。
因此，頭顯的成本價(jià)格就可能翻倍增長(zhǎng)，甚至是成倍增長(zhǎng)。據(jù)悉，Meta Project Cambria的價(jià)格上漲到800美元，蘋(píng)果的MR頭顯定價(jià)或?qū)⑦_(dá)到3000美元。
03.頭顯廠(chǎng)商為何攻向全彩透視方案？
為何諸多頭顯廠(chǎng)商紛紛鉚足勁攻克該方向呢？我們可以簡(jiǎn)單的從Meta透露的信息中一觀全彩透視的好處。
首先，是用戶(hù)活動(dòng)的場(chǎng)景變大。用戶(hù)不再受限于狹小的安全區(qū)范圍內(nèi)，可以自由地在房間內(nèi)選擇活動(dòng)空間，甚至這次你的天花板也可以成為你的新“畫(huà)板”。
據(jù)5月25日官方信息披露，Quest 2房間設(shè)置新增實(shí)驗(yàn)性功能，用戶(hù)可以標(biāo)記家中物體表面，勾勒出墻壁和內(nèi)部物體的大致范圍，將你的“家具”、“墻壁”等搬入“元宇宙”。該功能尚處于測(cè)試階段，將在v40更新版本中正式運(yùn)行。
其次，我們可以看到，全彩透視也為辦公場(chǎng)景帶來(lái)了一些新的玩法。工作室的伙伴們可以在一起討論新的設(shè)計(jì)方案，并且實(shí)時(shí)表達(dá)自己的意見(jiàn)，進(jìn)行調(diào)整和修改。
“有了全彩透視，用戶(hù)可以通過(guò)VR頭顯看到真實(shí)世界，實(shí)現(xiàn)真實(shí)和虛擬的結(jié)合，極大地?cái)U(kuò)展了VR頭顯的使用場(chǎng)景，像是社交應(yīng)用和商務(wù)辦公等，讓VR不再只是娛樂(lè)終端，而可以拓展成為一種工具，一個(gè)計(jì)算平臺(tái)?！睈?ài)奇藝奇遇VR頭顯的相關(guān)負(fù)責(zé)人說(shuō)道。
▲黑白透視場(chǎng)景
最后，從用戶(hù)體驗(yàn)上來(lái)看，全彩透視將“虛實(shí)融合”一詞的場(chǎng)景又重新推上了一個(gè)新的臺(tái)階。此前，VR/AR設(shè)備能夠?qū)崿F(xiàn)的僅僅是全部虛擬以及現(xiàn)實(shí)世界上增添一些簡(jiǎn)單的數(shù)字信息。
哪怕現(xiàn)在Quest通過(guò)黑白透視呈現(xiàn)的部分場(chǎng)景，也只是在虛擬世界中“復(fù)現(xiàn)”現(xiàn)實(shí)世界的場(chǎng)景，遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到“融合”的效果。
有了全彩透視技術(shù)，你可以重新裝修你的新房間，為它添上很多你目前還無(wú)法安置的東西，可以是一把吉他、一只寵物狗或者是你遠(yuǎn)在他鄉(xiāng)的親朋好友。
▲當(dāng)虛擬寵物進(jìn)入現(xiàn)實(shí)生活
04.用Quest 2試水，Meta為全彩透視技術(shù)布局多時(shí)
事實(shí)上，Meta對(duì)全彩透視技術(shù)早已布局多時(shí)，并且已在Quest 2上試水。1月13日，Quest 2的透視功能正式開(kāi)放SDK，并且接入了多款基于黑白透視功能開(kāi)發(fā)的游戲，如《Cubism》、《Blaston》等。
我們可以看到，這是Meta為其全彩透視功能作出的一次鋪墊?；赒uest 2的黑白透視功能，VR內(nèi)容廠(chǎng)商已經(jīng)提供了一些新的玩法，隨后將基于Project Cambria的全彩透視功能做出相應(yīng)改良。
▲Meta的Project Cambria所呈現(xiàn)的虛實(shí)融合場(chǎng)景
前不久，多人VR創(chuàng)作應(yīng)用軟件《MultiBrush》宣布支持Meta Avatar系統(tǒng)頭像和透視模式。
同時(shí)，當(dāng)Quest 2開(kāi)放透視模式之后，Quest 2也不能僅僅看作一款VR頭顯，它也具有一定的AR特性。
據(jù)消息人士透露，目前國(guó)內(nèi)外不少VR頭顯廠(chǎng)商也正在計(jì)劃引入全彩透視功能。如今看來(lái)，全彩透視功能很可能是未來(lái)VR頭顯升級(jí)的重要功能之一。
盡管Meta將全彩透視功能描述的天花亂墜，但這些還僅限于理論場(chǎng)景。
從發(fā)布時(shí)間來(lái)看，Project Cambria很有可能是第一款具備頭手6dof定位以及全彩透視的頭顯產(chǎn)品，因此增添全彩透視功能的頭顯設(shè)備究竟能帶來(lái)哪些體驗(yàn)，還有待觀望。
但從智東西和不少VR/AR設(shè)備研發(fā)者交流中發(fā)現(xiàn)，他們都對(duì)于全彩透視持有看好的態(tài)度，甚至給出了“全彩透視是VR成為元宇宙入口的關(guān)鍵技術(shù)”的評(píng)價(jià)。
愛(ài)奇藝奇遇VR頭顯的相關(guān)負(fù)責(zé)人還提到，當(dāng)具有全彩透視功能的VR頭顯面世后，會(huì)在未來(lái)很長(zhǎng)一段時(shí)間會(huì)成為市場(chǎng)的主流產(chǎn)品，并實(shí)現(xiàn)AR場(chǎng)景在消費(fèi)領(lǐng)域的落地，也會(huì)對(duì)現(xiàn)有光學(xué)透視的AR產(chǎn)品帶來(lái)較大沖擊。
在調(diào)查的過(guò)程中，我們還發(fā)現(xiàn)一家國(guó)內(nèi)初創(chuàng)企業(yè)嘗試從光學(xué)透視和視頻透視兩種方案中走出一條新的道路。
據(jù)報(bào)道，國(guó)內(nèi)VR企業(yè)蟻視科技曾在2018年的CES大會(huì)上展示了蟻視Mix原型機(jī)該設(shè)備則應(yīng)用了蟻視獨(dú)家研發(fā)的的“時(shí)分透視TDST（Time-Division See-Through）”技術(shù)，可以將真實(shí)和虛擬環(huán)境的光線(xiàn)通過(guò)光學(xué)調(diào)制器快速切換融合在一起。
但可惜的是，通過(guò)多方調(diào)查，我們?nèi)晕粗廊缃裨擁?xiàng)技術(shù)能夠?qū)崿F(xiàn)什么樣的效果。
05.結(jié)語(yǔ)：VR頭顯也可“看”現(xiàn)實(shí)世界，全彩透視為元宇宙帶來(lái)新玩法
目前VR設(shè)備上存在視頻透視、光學(xué)透視兩種方案。但是由于成本、FOV等影響問(wèn)題，視頻透視成為主流的VR頭顯廠(chǎng)商選擇的方案。而如今，VR設(shè)備上所搭載的黑白視頻透視技術(shù)正在“升級(jí)”成全彩透視技術(shù)。
全彩透視技術(shù)的出現(xiàn)，一方面加速了產(chǎn)品形態(tài)的融合，打破了虛擬世界和現(xiàn)實(shí)世界之間的空間。另一方面，設(shè)備也在玩法上加強(qiáng)了用戶(hù)體驗(yàn)以及開(kāi)拓出更多的場(chǎng)景，釋放出更多的生產(chǎn)力。
Meta究竟將全彩透視玩得怎么樣？是否只是為了宣傳其新品的功能而強(qiáng)捧其技術(shù)效果？今年十月，我們或許能一窺真相。