文｜MetaPost
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 GTC 2024 主題演講上表示：下一波 AI 浪潮將是 AI 對(duì)物理世界的學(xué)習(xí)。
當(dāng)下，全球范圍內(nèi)價(jià)值超過(guò)50萬(wàn)億美金的行業(yè)正在競(jìng)相實(shí)現(xiàn)數(shù)字化，數(shù)字孿生技術(shù)正在賦能千行百業(yè)。NVIDIA Omniverse 中國(guó)區(qū)業(yè)務(wù)負(fù)責(zé)人何展表示，AI 正在進(jìn)入物理世界。每一棟建筑、每一個(gè)倉(cāng)庫(kù)、每一個(gè)工廠，都將實(shí)現(xiàn) AI 化，并持續(xù)優(yōu)化。新一代的數(shù)字孿生更需要使用數(shù)字化的技術(shù)、模擬世界的技術(shù)，來(lái)訓(xùn)練和測(cè)試 AI。
生成式 AI 有望徹底改變它所觸及的每一個(gè)行業(yè)，掌握技術(shù)是迎接挑戰(zhàn)的關(guān)鍵。而我們想要的 AI 一定是值得信賴的、高性能的，這樣級(jí)別的 AI，需要在一個(gè)遵守物理定律的數(shù)字孿生世界中進(jìn)行模擬、驗(yàn)證和仿真。
來(lái)聽 NVIDIA 英偉達(dá)的專家們聊聊，如何將物理世界模擬和 AI 融合在一起。
01、NVIDIA 的“三大靈魂”
今年的 GTC 主題演講上，黃仁勛說(shuō)：“計(jì)算機(jī)圖形學(xué)、物理學(xué)引擎模擬仿真和 AI 是 NVIDIA 的靈魂所在。”
1、計(jì)算機(jī)圖形學(xué)
眾所周知，NVIDIA 是靠圖形學(xué)起家的。何展表示，不夸張地說(shuō)，幾乎每一位 NVIDIA 的員工都以此為傲。利用 NVIDIA 的底層技術(shù)，開發(fā)者們可以將現(xiàn)實(shí)世界中每一個(gè)真實(shí)存在物品，都極度逼真地渲染及模擬出來(lái)。
2、 物理世界模擬技術(shù)
有了可以以假亂真的計(jì)算機(jī)圖形學(xué)技術(shù)，做出了好的數(shù)字資產(chǎn)，要真正賦能到應(yīng)用，還缺一個(gè)要素——物理世界模擬技術(shù)。
來(lái)看兩個(gè)例子，一個(gè)是從宏觀的世界去模擬，一個(gè)是在極其微小的粒子世界里做模擬技術(shù)，以賦能應(yīng)用。
通過(guò) Omniverse 渲染引擎模擬粒子爆炸的實(shí)際情況，運(yùn)用大量的計(jì)算去模擬真實(shí)的粒子分析，并且加速了很多倍，以呈現(xiàn)真實(shí)的效果。
微觀世界分子結(jié)構(gòu)異常復(fù)雜的設(shè)計(jì)也需要模擬，且物理準(zhǔn)確模擬非常重要。一個(gè)簡(jiǎn)單的例子，如果模擬精準(zhǔn)度不夠真實(shí)，那么我們今天的靶向藥物治療等方式，就都是無(wú)效的。
3、 AI 技術(shù)
過(guò)去幾年，AI 技術(shù)的變革顛覆了眾多行業(yè)。有了 AI 的加持，Omniverse 也帶來(lái)了全新的功能和體驗(yàn)。
怎樣通過(guò) AI 技術(shù)快速構(gòu)建一座數(shù)字孿生工廠？首先用 2D 的 PDF 圖紙，通過(guò)文字描述生成 3D 結(jié)構(gòu)，用到的工具是 NVIDIA 的 DeepSearch，可以通過(guò)深度學(xué)習(xí)的方式檢索出你想要的模型資產(chǎn)，并放置在數(shù)字孿生環(huán)境中。接著調(diào)用SA軟件 BlenderGPT，通過(guò)文字生成工廠系統(tǒng)。再用 Adobe 通過(guò)文字生成大理石地面。然后通過(guò)其他軟件生成 GIS 數(shù)據(jù)，最終一個(gè)數(shù)字孿生工廠的 Demo 便完成了。
這一過(guò)程較傳統(tǒng)設(shè)計(jì)有了巨大的變化，無(wú)需操作其他軟件，只需通過(guò)文字和 Omniverse 便完成了這樣一個(gè)復(fù)雜的數(shù)字孿生制作過(guò)程。過(guò)去，如此復(fù)雜、專業(yè)的設(shè)計(jì)需要科班出身的設(shè)計(jì)師以及在工廠的實(shí)踐經(jīng)驗(yàn)才能完成?，F(xiàn)在，NVIDIA 提供的技術(shù)和平臺(tái)可以讓每個(gè)用戶，只需輸入文字、會(huì)使用 Omniverse 的平臺(tái)軟件，就可以完成。
這就是 AI 和 Omniverse 結(jié)合之后實(shí)現(xiàn)的全新設(shè)計(jì)流程。
以上，NVIDIA 的三大靈魂，融合起來(lái)就是 Omniverse 。數(shù)據(jù)顯示，Omniverse 由超過(guò)300萬(wàn)行的代碼編寫而成，在全球范圍內(nèi)已經(jīng)集成和整合了超過(guò)240款工具軟件。如今，Omniverse 的數(shù)字孿生幾乎無(wú)處不在，涵蓋汽車、制造、媒體、建筑、能源、科學(xué)運(yùn)算仿真等等各行各業(yè)。
02、融合三大靈魂的 Omniverse能做什么？
“三大靈魂”全部融合在一起，能做什么？
全球氣候模型 Earth-2，需要進(jìn)行 3D 交互式的天氣和季候數(shù)據(jù)的數(shù)字孿生模型，不僅要訓(xùn)練大量的數(shù)據(jù)，還要把它們數(shù)字化。在這個(gè)模型中，我們可以看氣象的走向、大氣河的流動(dòng)，還能看到颶風(fēng)，并且精確到1公里范圍內(nèi)，以幫助人類預(yù)測(cè)它的準(zhǔn)確路徑。充分應(yīng)用了圖形學(xué)、物理世界模擬仿真，以及 AI。
能否用“三大靈魂”分析更多事呢？如何把這些技術(shù)融入到真實(shí)的企業(yè)應(yīng)用環(huán)境中至關(guān)重要。
比如，用 AMR 小車（自主移動(dòng)機(jī)器人）眼中的數(shù)字孿生，同時(shí)還制作了大量“場(chǎng)站”數(shù)字孿生，以及工作人員視角下的數(shù)字孿生，這么多的數(shù)字孿生，通過(guò) USD API，連接到 Omniverse Cloud 上，整合背后超強(qiáng)的算力，不斷優(yōu)化布局，來(lái)響應(yīng)突發(fā)事件的管理，以及和 LLM 一系列的交互。
每一個(gè)場(chǎng)站的布局背后都有很多的數(shù)字孿生模型，就像有一只無(wú)形的手在操作，這個(gè)手就是 AI Agents，輔助這個(gè)標(biāo)點(diǎn)符號(hào)里每一個(gè)場(chǎng)站 ARM 小車最優(yōu)的路徑，這就是物理世界和數(shù)字世界交互的一個(gè)非常生動(dòng)的例子。
給一輛小車布一個(gè)最優(yōu)路徑嘗試一下，再給它一個(gè)突發(fā)事件，看它如何實(shí)時(shí)調(diào)整路徑。假設(shè)這邊貨架突然倒塌，它能否及時(shí)調(diào)整路徑？可以看到，ARM 小車不但重新規(guī)劃了自己的路徑，路過(guò)時(shí)還對(duì) AI Agents 說(shuō)：“我感覺出現(xiàn)問(wèn)題了，你趕緊去處理。”這個(gè)過(guò)程背后技術(shù)的復(fù)雜程度其實(shí)是非常高的，同時(shí)需要數(shù)字孿生模型、AI 和算力。
而隨著各行業(yè)競(jìng)相將自己重塑為軟件驅(qū)動(dòng)的科技公司，每個(gè)領(lǐng)域的生成式 AI 也都如雨后春筍般興起，3D 數(shù)據(jù)正在實(shí)現(xiàn)互操作性，高級(jí)圖形學(xué)以及從邊緣到云的仿真計(jì)算能力的進(jìn)步，都為各行業(yè)的物理流程數(shù)字化帶來(lái)了全新機(jī)遇。
03、仿真工作流，加速 AI 訓(xùn)練
今年 GTC 上，Omniverse 帶來(lái)的最大更新便是 Omniverse Cloud API，把 Omniverse 放到云端，提供一個(gè)應(yīng)用程序編程接口 API，讓開發(fā)人員可以將 Omniverse 最核心的技術(shù)直接集成到已有的應(yīng)用層和工作流中。
Omniverse 不僅可以幫助全球工業(yè)企業(yè)加速自動(dòng)駕駛車輛、人形機(jī)器人、智能倉(cāng)儲(chǔ)、大規(guī)模智慧城市等工作流程，Omniverse Cloud API，更將為基于 AI 的數(shù)字孿生仿真工作流的訓(xùn)練、模擬，以及后階段的部署帶來(lái)全新加速。
隨著全球自動(dòng)駕駛汽車和機(jī)器人需求的不斷增加，AI 開發(fā)人員可能需要更多的傳感器數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練、測(cè)試、驗(yàn)證這些 AI 的感知系統(tǒng)，而這些感知系統(tǒng)可以通過(guò)傳感器模擬方式去實(shí)現(xiàn)一個(gè)合成數(shù)據(jù)的 1:1 數(shù)字孿生世界，在 Omniverse 構(gòu)架的虛擬世界里進(jìn)行訓(xùn)練、測(cè)試、仿真、驗(yàn)證等。這些合成數(shù)據(jù)都需要物理上非常精確的、符合物理定律的渲染。
AI 是如何在虛擬世界中進(jìn)行訓(xùn)練的？
AI 和仿真最重要的是軟件在環(huán)（SIL）和硬件在環(huán)（HIL）。將所有機(jī)器人、自動(dòng)駕駛汽車、自主移動(dòng)設(shè)備、傳感器全部仿真放在 Omniverse 里，環(huán)境、場(chǎng)景都是實(shí)時(shí)渲染出來(lái)的，以實(shí)時(shí)喂料的方式喂給機(jī)器人的傳感器，傳感器看到的數(shù)據(jù)是假的，傳感器本身也是虛擬出來(lái)的，汽車傳感器看到的畫面也是合成數(shù)據(jù)。把虛擬傳感器捕捉到的數(shù)據(jù)，和汽車傳感器得到的數(shù)據(jù)融合在一起，放在數(shù)字孿生里渲染，稱之為 SIL。將 SIL 里訓(xùn)練好的模型，部署到硬件設(shè)備上，再做物理的路測(cè)或環(huán)境測(cè)試，叫做 HIL。做強(qiáng)化學(xué)習(xí)的時(shí)候，要確保學(xué)習(xí)環(huán)境是真實(shí)有效的，訓(xùn)練好的模型也是真實(shí)有效的，最后再到物理世界去部署。
最終，機(jī)器人系統(tǒng)、AI 和 Omniverse 形成了技術(shù)閉環(huán)。
04、Omniverse 登錄 Apple Vision Pro
全球最受矚目的兩家科技巨頭攜手，NVIDIA 與 Apple 一起，把 Omniverse 帶到了 Apple Vision Pro 中去，將許多 3D 工作流尤其是工業(yè)環(huán)境下的數(shù)字孿生的工作流游戲化，打破了傳統(tǒng)的工業(yè)工作流程。
Omniverse 里的 GPU 是頂尖的 RTX GPU，三大核心點(diǎn)：
1.傳統(tǒng)著色的部分，可以用來(lái)做像素的渲染，確保畫面是美輪美奐的；
2.光線追蹤加速，用包裹體便利的方式去做實(shí)時(shí)光線追蹤，延遲更低，幀率更高，與用戶的互動(dòng)性也更強(qiáng)；
3. Tensor，RTX GPU 里有針對(duì)張量運(yùn)算的 tensor 運(yùn)算，還可以加速 AI 的訓(xùn)練，如大模型、GenA、neural graphics、NeRF 等，都可以用 AI 去運(yùn)算。
在云端 Omniverse API 連接各種應(yīng)用程序，基于 USD 或 OpenUSD 打通數(shù)字資產(chǎn)之間的連接和調(diào)用，再通過(guò) RTX GPU 強(qiáng)大的算力和符合物理定律的實(shí)時(shí)光線追蹤完成畫面渲染，最后呈現(xiàn)在 Apple Vision Pro 用戶眼前的就是真實(shí)的 3D 空間場(chǎng)景。
Omniverse 強(qiáng)大的空間計(jì)算帶來(lái)的全新工作流，使得設(shè)計(jì)師可以在 Apple Vision Pro 里實(shí)現(xiàn)沉浸式體驗(yàn)，以及人、產(chǎn)品、流程與物理空間之間的無(wú)縫互動(dòng)。在 MR 里設(shè)計(jì)出的虛擬產(chǎn)品將與物理世界中的實(shí)際產(chǎn)品一模一樣，所見即所得，想想都令人興奮。
結(jié)語(yǔ)：
波士頓咨詢公司（BCG）對(duì)企業(yè)最高管理層的調(diào)查顯示，近四分之三的管理者計(jì)劃在今年增加公司的技術(shù)投資，89% 的管理者將 AI 和生成式 AI 列為前三大優(yōu)先事項(xiàng)中。超半數(shù)的企業(yè)希望利用 AI 提高生產(chǎn)力、改善客戶服務(wù)和提升 IT 效率，以實(shí)現(xiàn)降本增效。
“AI 已經(jīng)進(jìn)入了物理世界。未來(lái)將是可生成的。”