文｜佰態(tài)
3個月之前，一家位于加拿大的VR內(nèi)容制作公司Felix & Paul工作室為了慶祝1969年的登月事件，聯(lián)合《時代周刊》共同發(fā)布了新一期的系列VR紀(jì)錄片《太空探索者》。
圖片來源：Felix & Paul工作室
毫無疑問，這部運(yùn)用交互式虛擬視頻技術(shù)、號稱可以讓觀眾從國際空間站內(nèi)外體驗(yàn)宇宙最后邊疆的紀(jì)錄片，出圈了。其中，整個系列紀(jì)錄片都以超高分辨率電影虛擬現(xiàn)實(shí)拍攝方式來呈現(xiàn)，影片的首次太空行走也成為全篇高潮。不難看出，作為“贏在未來的技術(shù)”、“通往元宇宙的鑰匙”，XR互動技術(shù)顯然迎來了長足的發(fā)展，并且催生出各式各樣的互動形態(tài)和內(nèi)容形式，讓人們其未來發(fā)展充滿了想象。
當(dāng)我們的交互方式開始由2D向著3D迭代演變，XR互動究竟意味著什么？
01、二十年歷程，XR發(fā)展如何打破桎梏？
想要弄明白這個問題，不妨先了解一下XR互動的具體內(nèi)核。事實(shí)上，XR是一個寬泛的“大雨傘”，涵蓋了VR（Virtual Reality，虛擬現(xiàn)實(shí)）、AR（Augmented Reality，增強(qiáng)現(xiàn)實(shí)）以及MR（Mixed Reality，混合現(xiàn)實(shí)）。三種技術(shù)的交集，共同構(gòu)筑了XR的技術(shù)底層。
實(shí)際上，隨著數(shù)字化進(jìn)程的不斷推進(jìn)，VR、AR、MR技術(shù)都已經(jīng)日臻成熟?；蛟S已經(jīng)有人聽說過AR/VR技術(shù)，但是XR技術(shù)卻是依然難以被大眾所知，但實(shí)際上在不知不覺中XR技術(shù)已經(jīng)悄然影響著我們的生活。那么，XR技術(shù)神秘面紗下的真面目究竟是什么呢？
從發(fā)展階段來看，XR技術(shù)的發(fā)展大致可以分為幾個階段：
在互聯(lián)網(wǎng)尚未完全普及的1999年，跳舞機(jī)開始風(fēng)靡全球。在大街小巷，玩家根據(jù)屏幕上的箭頭指示，在地上的跳舞毯用腳踩擊，動感十足的舞曲加上高手炫酷的表演，在彼時迅速掀起了全民跳舞潮。也許大多數(shù)人并沒有意識到，跳舞機(jī)事實(shí)上也是XR互動技術(shù)早期應(yīng)用的體現(xiàn)。但那個時候的體感互動設(shè)備，往往占地面積較大、投入成本較高，并且支持的互動操作也較為有限。
時間來到2006年，任天堂發(fā)售了最新的電視游戲主機(jī)——Wii，作為第一款引入體感功能的電視游戲主機(jī)，Wii最與眾不同的特色在于Wii Remote手柄。Wii Remote可以實(shí)現(xiàn)指向定位與動作感應(yīng)兩種操作。指向定位功能可用于控制屏幕上的光標(biāo)，動作感應(yīng)功能則可偵測三維空間中的移動及旋轉(zhuǎn)。在兩種功能的加持下，Wii Remote可在游戲中化為球棒、刀劍等道具，使用戶能夠?qū)崿F(xiàn)多種動作。自此，體感類游戲首次從街頭巷尾走進(jìn)了玩家的家中，但盡管體積有所縮小，但使用的門檻和價格卻進(jìn)一步提高，用戶需要花費(fèi)高昂的價格購買專用的設(shè)備體驗(yàn)。
2021年開始，市場風(fēng)起云涌，XR技術(shù)活躍在大眾視野下，包括HTC VIVE、Oculus Quest 2、PICO等虛擬現(xiàn)實(shí)設(shè)備的火爆，也讓市場看到了XR互動設(shè)備的潛力。XR設(shè)備開始更多地運(yùn)用到在線演唱會、發(fā)布會現(xiàn)場、電影拍攝現(xiàn)場以及電視節(jié)目等場景，開始運(yùn)用高科技感以及逼真感的XR技術(shù)，例如2021年的春節(jié)聯(lián)歡晚會就首次采用了XR技術(shù)來營造更為沉浸的影視體驗(yàn)。此外，包括Meta、蘋果、華為等科技型企業(yè)均開始布局XR設(shè)備的研發(fā)。
但需要注意的是，從XR互動技術(shù)發(fā)展至今，均是基于新的設(shè)備和新的平臺進(jìn)行打造，對于用戶而言不僅需要購置新的體驗(yàn)設(shè)備，還需要額外的學(xué)習(xí)成本才能夠?qū)崿F(xiàn)對于新設(shè)備的運(yùn)用，這也成為了長期以來XR設(shè)備發(fā)展的最大痛點(diǎn)。
02、當(dāng)云游戲技術(shù)成為催化劑
日前，IDC發(fā)布《全球增強(qiáng)和虛擬現(xiàn)實(shí)支出指南》，報告中預(yù)測在2026年，亞太地區(qū)AR/VR支出將達(dá)166億美元，復(fù)合年增長率提升42.%。盡管XR互動技術(shù)存在痛點(diǎn)，但與整個蒸蒸日上的市場相比，這樣的短板也足以被市場忽視。但I(xiàn)DC分析師還預(yù)測，未來幾年內(nèi)AR/VR技術(shù)將對消費(fèi)者更加友好，用戶體驗(yàn)將得到改善。
在近期舉行的時尚虛擬偶像星瞳的生日會上，似乎讓人看到了XR互動進(jìn)階的新突破點(diǎn)。
11月3-5日，時尚虛擬偶像、QQ炫舞系列虛擬代言人星瞳在杭州競鵝酒店（騰訊電競聯(lián)名店）舉辦線下生日活動，活動中的互動環(huán)節(jié)引起了外界的注意——通過借助騰訊先鋒的虛實(shí)互動技術(shù)，可以讓真實(shí)用戶不借助綠幕摳圖和特殊裝備，僅憑手機(jī)便能實(shí)時投射在大屏的虛擬場景中，和星瞳進(jìn)行跳舞挑戰(zhàn)，還能通過系統(tǒng)對玩家骨骼姿態(tài)的判斷得到打分評級，共同解鎖AI虛實(shí)互動體驗(yàn)。
顯然，這樣依靠大屏+手機(jī)的XR互動體驗(yàn)，擺脫了此前對于專業(yè)XR互動設(shè)備的依賴，將XR設(shè)備繁瑣復(fù)雜的空間計(jì)算、圖形處理工作轉(zhuǎn)移至云端，僅以手機(jī)作為信號收集和互動入口的工具，并最終在大屏幕得以呈現(xiàn)，自然為用戶提供了更高的自由度以及上手體驗(yàn)感。
誠然，對于XR行業(yè)而言，這樣的改變尚且不足以改變生態(tài)。但需要注意的是，這確實(shí)為一直以來依賴專業(yè)設(shè)備的行業(yè)提供了新的解決方案。
從這個方面來看，星瞳AI虛實(shí)互動體驗(yàn)是如何實(shí)現(xiàn)的呢？這與其背后的騰訊先鋒虛實(shí)互動技術(shù)的三大核心技術(shù)能力息息相關(guān)。
一是實(shí)時無綠幕摳圖。作為XR行業(yè)的關(guān)鍵核心技術(shù)，視覺空間定位技術(shù)的發(fā)展，對整個XR生態(tài)有著至關(guān)重要的影響。而基于云端的實(shí)時4K視頻發(fā)絲級摳圖，讓用戶僅需使用普通手機(jī)攝像頭，無需綠幕、無需設(shè)備算力即可高質(zhì)量完成摳圖，幫助普通用戶將形象投射至虛擬場景中進(jìn)行流暢互動，幀率可達(dá)60FPS。對于企業(yè)而言，這無疑成為了已達(dá)瓶頸的視覺空間定位技術(shù)的突破點(diǎn)。
二是姿態(tài)估計(jì)與動作捕捉。傳統(tǒng)的動作捕捉系統(tǒng)包括傳感器、信號捕捉設(shè)備、數(shù)據(jù)傳輸設(shè)備、數(shù)據(jù)處理設(shè)備。不僅需要多組光學(xué)動作捕捉鏡頭互相配合確定三維坐標(biāo)，還需要動捕軟件算出目標(biāo)的位置、運(yùn)動軌跡等信息，實(shí)現(xiàn)動作捕捉。但對于用戶而言，不僅意味著高昂的設(shè)備支出，也需要更大的空間容納相關(guān)設(shè)備。而騰訊先鋒這項(xiàng)技術(shù)的姿態(tài)估計(jì)與動作捕捉則不需要依賴特殊場地和拍攝設(shè)備，也無需額外穿戴，僅使用手機(jī)的普通RGB攝像頭，即可隨時隨地實(shí)現(xiàn)動作捕捉。并且支持包括身體、手部和表情在內(nèi)的高精度全身動捕，相關(guān)數(shù)據(jù)的處理也完全基于云端計(jì)算，無需用戶設(shè)備額外算力。
三是實(shí)時云端視頻流媒體AI通用處理架構(gòu)。XR頭顯可以提供最高分辨率和更清晰的視覺效果，但頭顯渲染虛擬內(nèi)容需要配備強(qiáng)大GPU的計(jì)算機(jī)，也進(jìn)一步限制了用戶探索XR頭顯的能力邊界。而該技術(shù)整合硬件編解碼和高效神經(jīng)網(wǎng)絡(luò)推理框架，基于云游戲的能力，構(gòu)建了完整的視頻流媒體處理與云端低延遲AI計(jì)算方案。最終在云端計(jì)算能力的輔助下，能夠更好地?cái)[脫本地計(jì)算設(shè)備的限制，讓用戶再也無需擔(dān)心手機(jī)儲存空間和硬件配置，在功能較弱的機(jī)器上也能夠提供高質(zhì)量的XR體驗(yàn)。這對于AI虛實(shí)互動體驗(yàn)而言，無疑是突破軟硬件條件限制的突圍點(diǎn)。
事實(shí)上，以上的種種核心能力，均是基于騰訊先鋒在云游戲方面的探索所積累的經(jīng)驗(yàn)，受游戲的啟發(fā)而不斷拓展，也逐漸超脫于游戲之外，為更多技術(shù)的更迭提供了助推力。
03、XR破局，應(yīng)用場景外延持續(xù)拓展
據(jù)Counterpoint Research報告顯示，截至2022年二季度，Meta AR/VR設(shè)備全球市場份額達(dá)66%，市場優(yōu)勢地位明顯。PICO緊隨其后，市場份額為11%。根據(jù)IDC，全球XR頭顯出貨量復(fù)合年均增長率預(yù)計(jì)將在2024年達(dá)到38%，行業(yè)的發(fā)展前景可見一斑。
XR互動設(shè)備乘風(fēng)起，或許，我們現(xiàn)在可以預(yù)想一下XR的應(yīng)用場景了。
事實(shí)上，當(dāng)前XR已經(jīng)形成豐富的應(yīng)用場景，當(dāng)下最主要的還是應(yīng)用于C端消費(fèi)級，目前包括游戲、影視娛樂等等，而在制造業(yè)、零售業(yè)、醫(yī)療、教育等B端場景，XR也開始出現(xiàn)廣泛布局。據(jù)中國信通院發(fā)布的《虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書》，2022年XR產(chǎn)業(yè)將正式步入深度沉浸階段，市場滲透率也在進(jìn)一步提升。
例如在工業(yè)方面，在《中國制造2025》重點(diǎn)領(lǐng)域技術(shù)路線圖重大政策文件中，虛擬現(xiàn)實(shí)被列為智能制造核心信息設(shè)備領(lǐng)域的關(guān)鍵技術(shù)之一，通過智能制造各個環(huán)節(jié)的信息獲取、實(shí)時通信，以實(shí)現(xiàn)動態(tài)交互、智能決策分析和智能控制。這樣的思路在行業(yè)內(nèi)也有了初步的應(yīng)用，包括奧迪、福特、寶馬、豐田、沃爾沃等主流車企積極引入XR技術(shù)用于汽車研發(fā)。以奧迪為例，基于VR的虛擬裝配線校驗(yàn)，使流水線工人在三維虛擬空間內(nèi)完成對實(shí)際產(chǎn)品裝配工作的預(yù)估和校準(zhǔn)，顯著提升了生產(chǎn)與組裝效率；同樣地，福特使用VR技術(shù)檢查汽車的整個外觀與內(nèi)飾設(shè)計(jì)，并能夠查看特定細(xì)節(jié)，成為進(jìn)行階段性數(shù)據(jù)驗(yàn)證、業(yè)務(wù)流程參考的重要支撐。
在生物醫(yī)藥大健康產(chǎn)業(yè)方面，隨著5G技術(shù)的成熟運(yùn)用，也極大地加快了XR設(shè)備的傳輸速度，結(jié)合相關(guān)設(shè)備，也能夠作為傳統(tǒng)醫(yī)學(xué)手段的有效補(bǔ)充。例如，總部位于美國芝加哥的醫(yī)療科技初創(chuàng)公司Level Ex 研發(fā)的VR醫(yī)療軟件——Airway Ex，能夠通過對人體組織動力學(xué)、內(nèi)窺鏡設(shè)備光學(xué)和運(yùn)動流體的現(xiàn)實(shí)模擬，針對外科手術(shù)醫(yī)生提供了一種避免對人產(chǎn)生傷害的手術(shù)訓(xùn)練方式。
而在教育培訓(xùn)領(lǐng)域，XR互動技術(shù)也起到了至關(guān)重要的作用。K12教育、職教領(lǐng)域，XR都有非常大的應(yīng)用空間，XR技術(shù)可以形象地對抽象的概念進(jìn)行具象表達(dá)，對難以實(shí)操的高價值設(shè)備進(jìn)行虛擬仿真實(shí)訓(xùn)學(xué)習(xí)。一直以來，NASA對XR技術(shù)情有獨(dú)鐘，此前在德克薩斯州休斯頓桑尼卡特訓(xùn)練基地中建立了一個中性浮力VR實(shí)驗(yàn)室，主要用于模擬空間站環(huán)境，幫助宇航員們更好地適應(yīng)重力、完成各種工作，更直觀地了解、理解太空行走的流程和可能發(fā)生的危險狀況。
而在體感游戲領(lǐng)域，XR互動技術(shù)也將成為推動游戲互動形式迭代的重要推動力。據(jù)此前基于Valve和Steam的官方數(shù)據(jù)，Steam平臺頭顯每月的連接數(shù)保持上升趨勢，且增長幅度不斷加大；此外，支持XR設(shè)備的游戲數(shù)量也在持續(xù)增加，9月份Steam平臺共上線60款支持VR的游戲，相比上個月49款有所增加。據(jù)Steam平臺9月軟硬件調(diào)查結(jié)果顯示，2022年9月頭顯連接數(shù)量總體數(shù)量已經(jīng)達(dá)到Steam用戶總量的2.03%。
當(dāng)行業(yè)應(yīng)用加速落地，類似電影的《頭號玩家》時代究竟什么時候可以到來？
XR互動被行業(yè)寄予厚望，被看作是有能力接棒智能手機(jī)、成為下一代超級終端的產(chǎn)品。
總體來看，XR技術(shù)跨學(xué)科廣、涉及領(lǐng)域多、成熟速度慢，但一旦成熟將是全新的顛覆性計(jì)算平臺。值得注意的是，包括高通、蘋果、三星等企業(yè)都開始著手研發(fā)相關(guān)的硬件。但需要注意的是，距離XR黃金時代的到來，還尚且有一段距離。距離XR時代拐點(diǎn)的到來，還需要解決底層技術(shù)成熟度和終端設(shè)備輕量化的問題。
但這次騰訊先鋒攜手星瞳帶來的AI虛實(shí)互動體驗(yàn)，也讓整個行業(yè)看到了基于云游戲技術(shù)實(shí)現(xiàn)XR互動，幫助XR產(chǎn)業(yè)更好開拓市場的可能性。
國人的創(chuàng)新是浪漫且充滿詩意的。
20世紀(jì)90年代初，錢學(xué)森在閱讀文獻(xiàn)時注意到了“Virtual Reality”，將之命名為“靈境”。也留下了這么一句話“靈境技術(shù)是繼計(jì)算機(jī)技術(shù)革命之后的又一項(xiàng)技術(shù)革命。它將引發(fā)一系列震撼全世界的變革，一定是人類歷史中的大事?！?/p>
值得慶幸的是，這樣的歷史大事，已經(jīng)悄然拉開帷幕，眾多企業(yè)也開啟了這場搶奪新時代先機(jī)的卡位戰(zhàn)。可以預(yù)見的是，隨著技術(shù)、生態(tài)的不斷完善，更豐富的場景不斷落地，市場對于XR的接納程度不斷提高，屬于XR互動的黃金時代也將隨之到來。