正在閱讀:

谷歌與英偉達的AI人才之戰(zhàn):深度解析具身智能領(lǐng)軍人物

掃一掃下載界面新聞APP

谷歌與英偉達的AI人才之戰(zhàn):深度解析具身智能領(lǐng)軍人物

頂尖AI人才如何塑造具身智能的未來。

文 | 硅兔賽跑 魏瑪

編輯|Zuri  蔓蔓周

人才與能源,正在成為科技公司AI戰(zhàn)役中必奪的高地塔。

“這場AI的人才之戰(zhàn),是我見過的最瘋狂的人才爭奪戰(zhàn)!”馬斯克在推特上直言。

就在5月28日,這位特斯拉CEO創(chuàng)辦的AI初創(chuàng)公司——xAI在官網(wǎng)宣布融資60億美元,用于打造超級計算機,馬斯克稱之為“超級計算工廠”。誠然,這需要更多人才。馬斯克甚至表示,xAI如果不提供offer,人就被Open AI挖走了。

在這場誰也看不到未來確切形狀的人工智能大模型戰(zhàn)役中,投資一個靠譜的團隊,對于投資公司來說顯然是最有力的保障。這也是這場人才爭奪戰(zhàn)愈演愈烈的重要原因。

不過,“真正優(yōu)秀的人才通常不會主動找工作,因此需要去挖那些你看好的人才”。OpenAI創(chuàng)始人Sam Altman早年在他的文章中提及。

信息差是這場人才爭奪戰(zhàn)中決定勝負的關(guān)鍵。

我們的第一篇人才圖譜聚焦這個科技巨頭們重金押注的領(lǐng)域——具身智能。

如果說這場AI戰(zhàn)事的未來難以預(yù)測,具身智能或許是其中一種終極形態(tài)。英偉達CEO黃仁勛更是表示,下一個AI浪潮將是具身智能。

硅兔嘗試梳理了美國大公司,兩個AI黃浦軍校——谷歌和英偉達的具身智能人才圖譜以及在其中的華裔大佬,或許能為希望在其中進行創(chuàng)業(yè)或投資的讀者提供按圖索驥的參考。

「1」根據(jù)谷歌和英偉達重點具身智能論文和項目一共梳理114名業(yè)界實戰(zhàn)大佬,其中谷歌占比60%,英偉達40%,男多(90%)女少(10%)。

「2」8%的研究員學(xué)術(shù)水平比肩美國科學(xué)院院士。59%的研究員屬于高水平段位。

「3」78%的研究員最高學(xué)歷水平為博士,研究生占比18%,本科生僅占比4%。

「4」華裔在谷歌和英偉達具身智能研究員中占比約27%。

「5」斯坦福向谷歌和英偉達輸送了最多具身智能大佬,其次是CMU和MIT,三家學(xué)校輸送的人才占比約1/3。

欲知數(shù)據(jù)詳解及華裔大佬履歷見下

「1」

共計248名研究員參與了谷歌和英偉達具身智能研究,剔除62名未在Google Scholar建檔的研究員,剩余186名研究員中,業(yè)界力量占六成、學(xué)界力量占四成。

具體來看,谷歌獨立研究能力更強,英偉達借助了多個頂尖學(xué)校的研究資源。參與英偉達機器人研究的高校研究人員達到45人,占比一半(51%);相較之下,谷歌的這個比例不到三分之一(27人,28%)。

「2」

聚焦業(yè)界人才,谷歌和英偉達114位研究員中,男性占比約90%,華裔占比約27%,博士學(xué)歷占比約78%。

在性別比例和族裔方面,谷歌和英偉達略有差異,谷歌似乎對女性更友好,有11名女性科學(xué)家加入,而英偉達只有2名。

英偉達華裔的比例更高,占比達40%,而這一比例在Google只有20%。

「3」

斯坦福向谷歌和英偉達輸送了最多具身智能大佬,其次是CMU和MIT,三家學(xué)校輸送的人才占比約1/3。

 

114位研究員最高學(xué)歷畢業(yè)的院??偣灿?1所大學(xué)。其中,斯坦福大學(xué)有16人,卡內(nèi)基梅隆大學(xué)有14人,麻省理工學(xué)院有7人,這三所學(xué)校的人數(shù)占比約三分之一,而其他大多數(shù)學(xué)校只有一名學(xué)生。

絕大部分研究人員來自美國的院校,但歐洲也有兩所學(xué)校在具身智能領(lǐng)域產(chǎn)生了重大影響:英國倫敦帝國理工學(xué)院和牛津大學(xué),畢業(yè)于這兩所學(xué)校的研究人員共有8人。牛津大學(xué)在深度學(xué)習(xí)方面積累了豐富的經(jīng)驗,并且谷歌收購DeepMind后與牛津大學(xué)展開了合作,引入了深度學(xué)習(xí)領(lǐng)域的專家。例如,AlphaGo的研發(fā)團隊中就包括了3名牛津大學(xué)在職教授以及4位前牛津大學(xué)的研究人員。

「4」

8%的業(yè)界研究員學(xué)術(shù)水平比肩美國科學(xué)院院士。59%的業(yè)界研究員屬于高水平段位。谷歌研究員的學(xué)術(shù)能力相較英偉達更強。

我們采用被引用量和“h”指數(shù)來衡量學(xué)術(shù)水平?!癶”指數(shù)是一位作者至少具有相同引用次數(shù)(h)的最高發(fā)表論文數(shù)量。例如:某人的h指數(shù)是20,這表示他已發(fā)表的論文中,每篇至少被引用了20次的論文總共有20篇。

一般來說,h指數(shù)在10以上可以被認為是較高水平,h指數(shù)18屬于高水平,而成為美國科學(xué)院院士的一般要求是45以上。

這114名企業(yè)研究人員的h指數(shù)表現(xiàn)出了他們相當(dāng)強的研究水平:89%的人的h指數(shù)大于10,59%的人的h指數(shù)大于18,而有8%的人的h指數(shù)甚至超過了45。

進一步比較谷歌和英偉達的學(xué)術(shù)水平會發(fā)現(xiàn),谷歌研究人員影響力明顯要比英偉達高。例如,谷歌企業(yè)研究人員引用量平均數(shù)和h指數(shù)平均數(shù)是12596和23,而英偉達的這一組數(shù)據(jù)為6418和21。

「5」

谷歌和英偉達各有約1/10的具身智能研究員離職加入其他公司。

谷歌70人中有7人離開,占比10%。目前在英偉達、蘋果、特斯拉、1x、OpenAI、Figure AI等企業(yè)就職,總體上來說離開谷歌的人才較少,絕大多數(shù)人才在Google DeepMind工作。

其中,Scott Reed 2016 年加入 Google DeepMind 從事控制和生成模型方面的工作,后加入英偉達成為GEAR 團隊的首席研究科學(xué)家。

注:谷歌離職研究員及去向

英偉達44名具身智能研究人員有4人離開,占比9%。一人去了谷歌,一人去了Allen Institute for AI研究機構(gòu),另外兩人選擇創(chuàng)業(yè)。

Igor Mordatch的研究興趣包括機器學(xué)習(xí)、機器人學(xué)和多智能體系統(tǒng),他曾是OpenAI的研究科學(xué)家,在斯坦福大學(xué)和Pixar動畫工作室擔(dān)任訪問研究員。他共同組織了OpenAI學(xué)者指導(dǎo)計劃,并擔(dān)任AI4All、Google CS研究指導(dǎo)計劃和Girls Inc.的導(dǎo)師和教學(xué)助理。離開英偉達后在Google DeepMind擔(dān)任研究科學(xué)家。他發(fā)布文章約123篇,Google Scholar h指數(shù)51,被引用量18752次。

注:英偉達離職研究員及去向

「6」

“美國科學(xué)院院士”學(xué)術(shù)水平(h指數(shù)大于45)的研究員,谷歌得6人,英偉達得1人。他們分別是(按照指數(shù)高低):

谷歌

Nicolas Heess

DeepMind研究科學(xué)家。

2011年發(fā)表論文《Learning a Generative Model of Images by Factoring Appearance and Shape》,彼時正在攻讀愛丁堡大學(xué)的神經(jīng)信息學(xué)與計算神經(jīng)科學(xué)博士學(xué)位,畢業(yè)后在DeepMind工作至今。

早期研究聚焦在機器視覺、機器學(xué)習(xí)、圖形/增強現(xiàn)實/游戲等領(lǐng)域,目前是英國UCL計算機系榮譽教授。

發(fā)布約224篇文章 ,Google Scholar h指數(shù)65,被引用量48917次。

Martin Riedmiller

DeepMind研究科學(xué)家。

1986-1996年在德國University of Karlsruhe(卡爾斯魯厄大學(xué),現(xiàn)在的卡爾斯魯厄理工學(xué)院)學(xué)習(xí)計算機專業(yè),并取得博士學(xué)位。畢業(yè)后他一邊在學(xué)術(shù)界任教,一邊創(chuàng)業(yè)。

2002年- 2015年先后在University of Dortmund、University of Osnabrueck、University of Freiburg擔(dān)任教授,帶領(lǐng)Machine Learning Lab;2010 -2015年在德國巴登創(chuàng)立Cognit - Lab for learning machines。

2015年加入Google DeepMind全職工作。

他的研究領(lǐng)域聚焦人工智能、神經(jīng)網(wǎng)絡(luò)、強化學(xué)習(xí)等,發(fā)布約188篇文章,Google Scholar h指數(shù)59,被引用量84113次。

Vikas Sindhwani

Google DeepMind研究科學(xué)家,領(lǐng)導(dǎo)著一個專注于解決機器人領(lǐng)域規(guī)劃、感知、學(xué)習(xí)和控制問題的研究小組。

他擁有芝加哥大學(xué)的計算機科學(xué)博士學(xué)位和印度理工學(xué)院(IIT)孟買分校的工程物理學(xué)士學(xué)位。

2008年-2015年在IBM T.J. Watson Research Center紐約分部負責(zé)機器學(xué)習(xí)組。2015年加入Google DeepMind工作至今。

擔(dān)任《機器學(xué)習(xí)研究交易》(TMLR)和《IEEE模式分析與機器智能交易》的編輯委員會成員;曾是NeurIPS、國際學(xué)習(xí)表示會議(ICLR)和知識發(fā)現(xiàn)與數(shù)據(jù)挖掘(KDD)的領(lǐng)域主席和高級程序委員會成員。

研究興趣廣泛涉及統(tǒng)計機器學(xué)習(xí)的核心數(shù)學(xué)基礎(chǔ),以及構(gòu)建大規(guī)模、安全、健康人工智能系統(tǒng)的端到端設(shè)計。

曾獲得人工智能不確定性(UAI-2013)最佳論文獎和2014年IBM Pat Goldberg紀念獎;并入圍了ICRA-2022杰出規(guī)劃論文獎和ICRA-2024機器人操作最佳論文獎的決賽。

發(fā)布約137篇文章,Google Scholar h指數(shù)52,被引用量17150次。

Vincent Vanhoucke

Google DeepMind杰出科學(xué)家、機器人技術(shù)部門高級總監(jiān),在谷歌工作超過16年。

擁有斯坦福大學(xué)電氣工程的博士學(xué)位(1999-2003)和巴黎中央理工學(xué)院的工程師學(xué)位。

曾領(lǐng)導(dǎo)Google Brain的視覺和感知研究,并負責(zé)谷歌語音搜索的語音識別質(zhì)量團隊。共同創(chuàng)立了機器人學(xué)習(xí)會議(Conference on Robot Learning)。

研究涵蓋了分布式系統(tǒng)和并行計算、機器智能、機器感知、機器人和語音處理等多個領(lǐng)域。發(fā)布約64篇文章,Google Scholar h指數(shù)50,被引用量165519次。

Raia Hadsell

DeepMind研究與機器人技術(shù)高級總監(jiān),VP of Research。

2014年加入至今。

在Reed College獲得宗教學(xué)和哲學(xué)學(xué)士學(xué)位后(1990-1994),在紐約大學(xué)與Yann LeCun合作完成博士學(xué)位研究(2003-2008),集中于使用連體神經(jīng)網(wǎng)絡(luò)(今天通常稱為“三元損失”)的機器學(xué)習(xí)、人臉識別算法,以及在野外使用深度學(xué)習(xí)進行移動機器人研究。論文“Learning Long-range vision for offroad robots”獲得了2009年的杰出論文獎。

在卡內(nèi)基梅隆大學(xué)機器人研究所做博士后研究,與Drew Bagnell和Martial Hebert合作,然后成為新澤西州普林斯頓市SRI國際公司視覺與機器人組的研究科學(xué)家(2009-2014)。

加入DeepMind之后,研究重點放在人工通用智能領(lǐng)域的一些基本挑戰(zhàn)上,包括持續(xù)學(xué)習(xí)和遷移學(xué)習(xí)、用于機器人和控制問題的深度強化學(xué)習(xí),以及導(dǎo)航的神經(jīng)模型。是一個新開放期刊TMLR的創(chuàng)始人和主編,CoRL的執(zhí)行委員會成員,歐洲學(xué)習(xí)系統(tǒng)實驗室(ELLIS)的成員,也是NAISys(神經(jīng)科學(xué)與人工智能系統(tǒng))的創(chuàng)始組織者之一。擔(dān)任CIFAR顧問,并曾擔(dān)任WiML(機器學(xué)習(xí)中的女性)執(zhí)行委員會成員。

發(fā)布約107篇文章,Google Scholar h指數(shù)45,被引用量36265次。

Nikhil J Joshi

資料有限,在印度印度理工學(xué)院(Indian Institute of Technology)獲得物理碩士學(xué)位,在印度基礎(chǔ)研究機構(gòu)Tata Institute of Fundamental Research 獲得分子物理學(xué)博士學(xué)位。2017年加入Google Brain做軟件開發(fā),之前在多家企業(yè)任職。Google Scholar h指數(shù)45,被引用量8320次。

英偉達

Stan Birchfield

英偉達首席研究科學(xué)家和高級研究經(jīng)理。

2016年加入,主要負責(zé)計算機視覺和機器人技術(shù)的交叉領(lǐng)域,包括學(xué)習(xí)、感知、以及人工智能介導(dǎo)的現(xiàn)實和交互。

1999年獲得斯坦福大學(xué)電氣工程博士學(xué)位,輔修計算機科學(xué)。

畢業(yè)后,加入灣區(qū)初創(chuàng)公司Quindi Corporation擔(dān)任研究工程師,開發(fā)智能數(shù)字音頻和視頻算法。

2013-2016年,加入微軟,負責(zé)開發(fā)計算機視覺和機器人技術(shù)的應(yīng)用與地面實況導(dǎo)航系統(tǒng),并領(lǐng)導(dǎo)開發(fā)了自動攝像頭切換功能。

Google Scholar h指數(shù)56,被引用量14315次。

「7」

部分業(yè)界華裔大佬

這114名企業(yè)研究人員中共有31名華裔,重點介紹12名佼佼者,其中谷歌 4人,英偉達 6人,OpenAI 、1x各1人。

谷歌

Fei Xia(夏斐)

Google DeepMind高級研究科學(xué)家。

2016年畢業(yè)清華,2021年在斯坦福大學(xué)電氣工程系獲得了博士學(xué)位。

讀博期間曾在NVIDIA的Dieter Fox,Google的Alexander Toshev和Brian Ichter那里做過研究實習(xí)。在斯坦福大學(xué)完成博士學(xué)位后,于2021年秋季加入Google的機器人團隊。

研究興趣包括大規(guī)模和可轉(zhuǎn)移的機器人模擬,長期任務(wù)的學(xué)習(xí)算法,以及環(huán)境的幾何和語義表示的結(jié)合。最近研究方向是將基礎(chǔ)模型(Foundation Models)用于智能體的決策過程中。

學(xué)術(shù)成就包括在ICRA 2023會議上接受了5篇論文,在CoRL 2022會議上接受了4篇論文。

代表工作有GibsonEnv, iGibson, SayCan等,iGibson開發(fā)用于機器人學(xué)習(xí)的大規(guī)?;迎h(huán)境,以及在機器人控制策略中使用模仿學(xué)習(xí)和模型預(yù)測控制(MPC)的結(jié)合。Google Scholar h指數(shù)為33,引用量為12478。

Andy Zeng

Google DeepMind高級研究科學(xué)家。

在UC Berkeley獲得了計算機科學(xué)和數(shù)學(xué)的雙學(xué)士學(xué)位,并在普林斯頓大學(xué)獲得了計算機科學(xué)博士學(xué)位。2019年博士畢業(yè)后加入Google Brain工作,專注于機器學(xué)習(xí),視覺,語言和機器人學(xué)習(xí)。

研究興趣包括機器人學(xué)習(xí),使機器能夠智能地與世界互動并隨著時間的推移自我提高。

學(xué)術(shù)成就包括在各種會議上發(fā)表的論文,如ICRA,CVPR,CoRL等。

參與的重要項目包括PaLM-E。

Google Scholar h指數(shù)為32,引用量為12207。

Tianhe Yu

Google DeepMind研究科學(xué)家。

2017年在UC Berkeley獲得了計算機科學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計學(xué)的最高榮譽學(xué)士學(xué)位,2022年在斯坦福大學(xué)獲得了計算機科學(xué)博士學(xué)位,導(dǎo)師是Chelsea Finn。

2022年博士畢業(yè)后加入Google Brain工作,專注于機器學(xué)習(xí),視覺,語言和機器人學(xué)習(xí)。

研究興趣包括機器學(xué)習(xí),感知,控制,特別是離線強化學(xué)習(xí)(即從靜態(tài)數(shù)據(jù)集中學(xué)習(xí)),多任務(wù)和元學(xué)習(xí)。最近在探索在決策問題中利用基礎(chǔ)模型。

學(xué)術(shù)成就包括在各種會議上發(fā)表的論文,如ICRA,CVPR,CoRL等。

參與的重要項目包括PaLM-E。

Google Scholar h指數(shù)為25,引用量為7726。

Yuxiang Zhou

Google DeepMind高級研究工程師。

2010年至2018年間在英國倫敦帝國學(xué)院攻讀計算機科學(xué)碩士和博士學(xué)位,導(dǎo)師是Stefanos Zafeiriou教授。

2017年9月至2018年3月在Google Brain &DeepMind進行了深度強化學(xué)習(xí)和機器人學(xué)的研究實習(xí),在2018年12月加入Google DeepMind,擔(dān)任研究工程師。

研究主題包括解決機器人學(xué)、第三人稱模仿學(xué)習(xí)、統(tǒng)計變形模型的密集形狀研究等。

Google Scholar h指數(shù)為17,引用量為3099。

英偉達

Linxi Fan(范林熙)

NVIDIA 高級研究科學(xué)家,也是 GEAR Lab的負責(zé)人。

在斯坦福大學(xué)視覺實驗室獲得博士學(xué)位,師從李飛飛教授。

曾在 OpenAI(與 Ilya Sutskever 和 Andrej Karpathy)、百度 AI 實驗室(與 Andrew Ng 和 Dario Amodei 合作)和 MILA(與 Yoshua Bengio 合作)實習(xí)。

研究探索了多模態(tài)基礎(chǔ)模型、強化學(xué)習(xí)、計算機視覺和大規(guī)模系統(tǒng)的前沿。

率先創(chuàng)建了 Voyager(第一個熟練玩 Minecraft 并持續(xù)引導(dǎo)其功能的 AI智能體)、MineDojo(通過觀看 100,000 個 Minecraft YouTube 視頻進行開放式智能體學(xué)習(xí))、Eureka(一只 5 指機器人手,執(zhí)行極其靈巧的任務(wù),如筆旋轉(zhuǎn))和 VIMA(最早的機器人操作多模態(tài)基礎(chǔ)模型之一)。MineDojo 在 NeurIPS 2022 上獲得了優(yōu)秀論文獎。

Google Scholar h指數(shù)為18,引用量為5619。

Chen-Hsuan Lin

NVIDIA高級研究科學(xué)家。

本科畢業(yè)于中國臺灣大學(xué),獲得了電氣工程學(xué)士學(xué)位。在卡內(nèi)基梅隆大學(xué)獲得了機器人學(xué)博士學(xué)位,導(dǎo)師是 Simon Lucey,受 NVIDIA 研究生獎學(xué)金支持。

曾在 Facebook AI 研究和 Adobe 研究進行了實習(xí)。

致力于計算機視覺、計算機圖形學(xué)和生成 AI 應(yīng)用。解決涉及 3D 內(nèi)容創(chuàng)建的問題感興趣,包括 3D 重建、神經(jīng)渲染、生成模型等。

研究獲得了 TIME 雜志 2023 年度最佳發(fā)明獎。

Google Scholar h指數(shù)為15,引用量為2752。

De-An Huang(黃德安)

NVIDIA 研究科學(xué)家,專業(yè)領(lǐng)域是計算機視覺、機器人學(xué)、機器學(xué)習(xí)、生物信息學(xué)。

斯坦福大學(xué)獲得了計算機科學(xué)博士學(xué)位,導(dǎo)師是李飛飛和胡安·卡洛斯·尼布爾斯。在卡內(nèi)基梅隆大學(xué)攻讀碩士學(xué)位期間,曾與Kris Kitani合作,在中國臺灣大學(xué)攻讀本科期間,曾與Yu-Chiang Frank Wang合作。

曾是NVIDIA 西雅圖機器人實驗室的 Dieter Fox、Facebook 應(yīng)用機器學(xué)習(xí)的 Vignesh Ramanathan 和 Dhruv Mahajan、Microsoft 雷德蒙德研究院的 Zicheng Liu 和匹茲堡迪斯尼研究院的 Leonid Sigal 的實習(xí)生。

Google Scholar h指數(shù)為32,引用量為4848。

Kaichun Mo(莫凱淳)

NVIDIA Dieter Fox 教授領(lǐng)導(dǎo)的西雅圖機器人實驗室的研究科學(xué)家。

在斯坦福大學(xué)獲得了計算機科學(xué)博士學(xué)位,導(dǎo)師是 Leonidas J. Guibas 教授。曾隸屬于斯坦福大學(xué)的幾何計算組和人工智能實驗室。在2016年加入斯坦福之前,在上海交通大學(xué)計算機科學(xué)ACM班獲得了學(xué)士學(xué)位(PS:上海ACM榮譽班直博率高達92%,3次斬獲ACM國際大學(xué)生程序設(shè)計競賽全球總冠軍,培養(yǎng)出640名計算機“最強大腦”)。GPA為3.96/4.30(排名1/33)。

專業(yè)領(lǐng)域是3D計算機視覺、圖形學(xué)、機器人學(xué)和3D深度學(xué)習(xí),尤其關(guān)注對象為中心的3D深度學(xué)習(xí),以及針對3D數(shù)據(jù)的結(jié)構(gòu)化視覺表示學(xué)習(xí)。

Google Scholar h指數(shù)為20,引用量為17654。

Xinshuo Weng

NVIDIA 研究科學(xué)家,與 Marco Pavone 合作。

她在卡內(nèi)基梅隆大學(xué)與 Kris Kitani 合作獲得了機器人學(xué)博士學(xué)位(2018-2022 年)和計算機視覺碩士學(xué)位(2016-17 年)。本科畢業(yè)于武漢大學(xué)。

她還曾與 Facebook Reality Lab 的 Yaser Sheikh 合作,擔(dān)任研究工程師,幫助構(gòu)建“逼真的遠程呈現(xiàn)”。

研究興趣在于自主系統(tǒng)的生成模型和3D計算機視覺。涵蓋目標檢測、多目標跟蹤、重新識別、軌跡預(yù)測和運動規(guī)劃等任務(wù)。開發(fā)了 3D 多對象跟蹤系統(tǒng),例如在 GitHub 上獲得 >1,300 顆星的 AB3DMOT。

Google Scholar h指數(shù)為23,引用量為3472。

Zhiding Yu (禹之鼎)

NVIDIA 機器學(xué)習(xí)研究小組的首席研究科學(xué)家和負責(zé)人。

2017年從卡內(nèi)基梅隆大學(xué)獲得了電子與計算機工程博士學(xué)位,并于2012年從中國香港科技大學(xué)獲得了電子與計算機工程碩士學(xué)位。于2008年從華南理工大學(xué)聯(lián)合電氣工程(馮炳權(quán)實驗班)本科畢業(yè)。

研究興趣主要集中在深度表示學(xué)習(xí)、弱監(jiān)督/半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)和深度結(jié)構(gòu)化預(yù)測,以及它們在視覺和機器人問題中的應(yīng)用。

WAD Challenge@CVPR18 中的領(lǐng)域自適應(yīng)語義分割賽道的獲獎?wù)?。?WACV15 獲得了最佳論文獎。

Google Scholar h指數(shù)為42,引用量為17064。

OpenAI

Mengyuan Yan

技術(shù)人員。

2014年獲得北京大學(xué)物理學(xué)學(xué)士,2020年獲得斯坦福大學(xué)電子電器工程博士學(xué)位。

Interactive Perception and Robot Learning Lab(IPRL)的成員,該實驗室是斯坦福AI Lab的一部分,導(dǎo)師是Jeannette Bohg和Leonidas Guibas。

研究領(lǐng)域包括計算機視覺、機器學(xué)習(xí)、機器人學(xué)和生成模型。

共發(fā)布28篇文章,Google scholar h指數(shù)15,被引用量4664次。

1X Technologies

Eric Jang

AI副總裁。

2016年畢業(yè)于布朗大學(xué)碩士,專業(yè)是計算機科學(xué)。

2016 - 2022年在Google工作,擔(dān)任機器人高級研究科學(xué)家,

研究主要集中在將機器學(xué)習(xí)原則應(yīng)用于機器人領(lǐng)域,開發(fā)了 Tensor2Robot,這是機器人操作團隊和 Everyday Robots 使用的 ML 框架(直到 TensorFlow 1 被棄用);是Brain Moonshot團隊的共同負責(zé)人,該團隊制作了SayCan。

2022年4月離開Google Robotics,加入1X Technologies(原名Halodi Robotics),帶領(lǐng)團隊完成了兩項重要工作,一個是通過端到端的神經(jīng)網(wǎng)絡(luò),實現(xiàn)了人形機器人EVE的自主性。

7篇論文的第一作者,合著15+以上,Google scholar h指數(shù)為23,引用量為11213。寫了一本書《AI is Good for You》講訴人工智能的歷史和未來。

「8」

通過重點研究論文和實驗項目鎖定谷歌和英偉達的具身智能人才。

谷歌重基礎(chǔ)模型研究,其具身智能人才參與的重點研究發(fā)布包括:

SayCan:能夠?qū)⒏邔蛹壢蝿?wù)拆解為可執(zhí)行的子任務(wù)。

Gato:將多模態(tài)數(shù)據(jù)進行token化輸入Transformer架構(gòu)。

RT-1:將機器人軌跡數(shù)據(jù)輸入Transformer架構(gòu),得到離散化動作token。

PaLM-E:在PaLM通用模型基礎(chǔ)上,進一步提升了多模態(tài)性能。

RoboCat:將多模態(tài)模型Gato與機器人數(shù)據(jù)集相結(jié)合,使得RoboCat具備在模擬環(huán)境與物理環(huán)境中處理語言、圖像和動作等任務(wù)的能力。

RT-2:是RT-1模型與PaLM-E模型的結(jié)合,使機器人模型從VLM進化到VLA。

RT-X:在保持原有架構(gòu)的基礎(chǔ)上,全面提升了具身智能的五種能力。

以上模型逐步實現(xiàn)了模型自主可靠決策、多模態(tài)感知和實時精準運控能力的結(jié)合,同時展現(xiàn)出泛化能力和思維鏈能力。

綜合以上研究論文,共梳理143名谷歌研究員。

英偉達重仿真模擬訓(xùn)練,其具身智能人才參與的實驗項目包括:

Eureka:利用大型語言模型進行強化學(xué)習(xí)的獎勵機制設(shè)計

Voyager:開放世界中用大語言模型驅(qū)動智能體

MimicPlay:通過觀察人類動作進行長距離模仿學(xué)習(xí)

VIMA:多模態(tài)指令操控執(zhí)行通用機器人任務(wù)

MinDojo:利用互聯(lián)網(wǎng)規(guī)模級數(shù)據(jù)建立開放具身智能體

此外,英偉達在2024年重點發(fā)力具身智能,官宣成立通用具身智能研究GEAR(Generalist Embodied Agent Research)實驗室,主要圍繞多模態(tài)基礎(chǔ)模型、通用型機器人研究、虛擬世界中的基礎(chǔ)智能體以及模擬與合成數(shù)據(jù)技術(shù)四個關(guān)鍵領(lǐng)域開展研究,旨在推動大模型等AI技術(shù)由虛擬世界向現(xiàn)實世界發(fā)展。

本文首先梳理了上述提到的Google核心項目論文共7篇,每篇論文都詳細列出了項目研究人員,并清晰地公布了他們的具體工作內(nèi)容。

英偉達的研究頁面公布了參與robotics項目的人員名單,共計54名;另外綜合考慮GEAR發(fā)布的所有論文作者,共梳理出105名具身智能研究人員。

附錄:谷歌、英偉達具身智能百人列表

附錄:論文及網(wǎng)頁

Google核心項目論文:

Do As I Can, Not As I Say: Grounding Language in Robotic Affordances

https://say-can.github.io/

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

https://auto-rt.github.io/

SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention

https://arxiv.org/pdf/2312.01990

RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation

https://arxiv.org/pdf/2306.11706

RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches

https://arxiv.org/pdf/2311.01977

RT-1: Robotics Transformer for real-world control at scale

https://arxiv.org/pdf/2212.06817

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

https://arxiv.org/pdf/2307.15818

NVIDIA研究robotics論文研究人員名單:

https://research.NVIDIA.com/research-area/robotics

GEAR團隊發(fā)表論文:

https://research.NVIDIA.com/labs/gear/publications/

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

英偉達

8.3k
  • 中金科工業(yè)美股盤前一度漲近700%
  • AI算力競爭白熱化,一家新公司如何在英偉達“高墻”內(nèi)找機會?

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

谷歌與英偉達的AI人才之戰(zhàn):深度解析具身智能領(lǐng)軍人物

頂尖AI人才如何塑造具身智能的未來。

文 | 硅兔賽跑 魏瑪

編輯|Zuri  蔓蔓周

人才與能源,正在成為科技公司AI戰(zhàn)役中必奪的高地塔。

“這場AI的人才之戰(zhàn),是我見過的最瘋狂的人才爭奪戰(zhàn)!”馬斯克在推特上直言。

就在5月28日,這位特斯拉CEO創(chuàng)辦的AI初創(chuàng)公司——xAI在官網(wǎng)宣布融資60億美元,用于打造超級計算機,馬斯克稱之為“超級計算工廠”。誠然,這需要更多人才。馬斯克甚至表示,xAI如果不提供offer,人就被Open AI挖走了。

在這場誰也看不到未來確切形狀的人工智能大模型戰(zhàn)役中,投資一個靠譜的團隊,對于投資公司來說顯然是最有力的保障。這也是這場人才爭奪戰(zhàn)愈演愈烈的重要原因。

不過,“真正優(yōu)秀的人才通常不會主動找工作,因此需要去挖那些你看好的人才”。OpenAI創(chuàng)始人Sam Altman早年在他的文章中提及。

信息差是這場人才爭奪戰(zhàn)中決定勝負的關(guān)鍵。

我們的第一篇人才圖譜聚焦這個科技巨頭們重金押注的領(lǐng)域——具身智能。

如果說這場AI戰(zhàn)事的未來難以預(yù)測,具身智能或許是其中一種終極形態(tài)。英偉達CEO黃仁勛更是表示,下一個AI浪潮將是具身智能。

硅兔嘗試梳理了美國大公司,兩個AI黃浦軍?!雀韬陀ミ_的具身智能人才圖譜以及在其中的華裔大佬,或許能為希望在其中進行創(chuàng)業(yè)或投資的讀者提供按圖索驥的參考。

「1」根據(jù)谷歌和英偉達重點具身智能論文和項目一共梳理114名業(yè)界實戰(zhàn)大佬,其中谷歌占比60%,英偉達40%,男多(90%)女少(10%)。

「2」8%的研究員學(xué)術(shù)水平比肩美國科學(xué)院院士。59%的研究員屬于高水平段位。

「3」78%的研究員最高學(xué)歷水平為博士,研究生占比18%,本科生僅占比4%。

「4」華裔在谷歌和英偉達具身智能研究員中占比約27%。

「5」斯坦福向谷歌和英偉達輸送了最多具身智能大佬,其次是CMU和MIT,三家學(xué)校輸送的人才占比約1/3。

欲知數(shù)據(jù)詳解及華裔大佬履歷見下

「1」

共計248名研究員參與了谷歌和英偉達具身智能研究,剔除62名未在Google Scholar建檔的研究員,剩余186名研究員中,業(yè)界力量占六成、學(xué)界力量占四成。

具體來看,谷歌獨立研究能力更強,英偉達借助了多個頂尖學(xué)校的研究資源。參與英偉達機器人研究的高校研究人員達到45人,占比一半(51%);相較之下,谷歌的這個比例不到三分之一(27人,28%)。

「2」

聚焦業(yè)界人才,谷歌和英偉達114位研究員中,男性占比約90%,華裔占比約27%,博士學(xué)歷占比約78%。

在性別比例和族裔方面,谷歌和英偉達略有差異,谷歌似乎對女性更友好,有11名女性科學(xué)家加入,而英偉達只有2名。

英偉達華裔的比例更高,占比達40%,而這一比例在Google只有20%。

「3」

斯坦福向谷歌和英偉達輸送了最多具身智能大佬,其次是CMU和MIT,三家學(xué)校輸送的人才占比約1/3。

 

114位研究員最高學(xué)歷畢業(yè)的院校總共有51所大學(xué)。其中,斯坦福大學(xué)有16人,卡內(nèi)基梅隆大學(xué)有14人,麻省理工學(xué)院有7人,這三所學(xué)校的人數(shù)占比約三分之一,而其他大多數(shù)學(xué)校只有一名學(xué)生。

絕大部分研究人員來自美國的院校,但歐洲也有兩所學(xué)校在具身智能領(lǐng)域產(chǎn)生了重大影響:英國倫敦帝國理工學(xué)院和牛津大學(xué),畢業(yè)于這兩所學(xué)校的研究人員共有8人。牛津大學(xué)在深度學(xué)習(xí)方面積累了豐富的經(jīng)驗,并且谷歌收購DeepMind后與牛津大學(xué)展開了合作,引入了深度學(xué)習(xí)領(lǐng)域的專家。例如,AlphaGo的研發(fā)團隊中就包括了3名牛津大學(xué)在職教授以及4位前牛津大學(xué)的研究人員。

「4」

8%的業(yè)界研究員學(xué)術(shù)水平比肩美國科學(xué)院院士。59%的業(yè)界研究員屬于高水平段位。谷歌研究員的學(xué)術(shù)能力相較英偉達更強。

我們采用被引用量和“h”指數(shù)來衡量學(xué)術(shù)水平?!癶”指數(shù)是一位作者至少具有相同引用次數(shù)(h)的最高發(fā)表論文數(shù)量。例如:某人的h指數(shù)是20,這表示他已發(fā)表的論文中,每篇至少被引用了20次的論文總共有20篇。

一般來說,h指數(shù)在10以上可以被認為是較高水平,h指數(shù)18屬于高水平,而成為美國科學(xué)院院士的一般要求是45以上。

這114名企業(yè)研究人員的h指數(shù)表現(xiàn)出了他們相當(dāng)強的研究水平:89%的人的h指數(shù)大于10,59%的人的h指數(shù)大于18,而有8%的人的h指數(shù)甚至超過了45。

進一步比較谷歌和英偉達的學(xué)術(shù)水平會發(fā)現(xiàn),谷歌研究人員影響力明顯要比英偉達高。例如,谷歌企業(yè)研究人員引用量平均數(shù)和h指數(shù)平均數(shù)是12596和23,而英偉達的這一組數(shù)據(jù)為6418和21。

「5」

谷歌和英偉達各有約1/10的具身智能研究員離職加入其他公司。

谷歌70人中有7人離開,占比10%。目前在英偉達、蘋果、特斯拉、1x、OpenAI、Figure AI等企業(yè)就職,總體上來說離開谷歌的人才較少,絕大多數(shù)人才在Google DeepMind工作。

其中,Scott Reed 2016 年加入 Google DeepMind 從事控制和生成模型方面的工作,后加入英偉達成為GEAR 團隊的首席研究科學(xué)家。

注:谷歌離職研究員及去向

英偉達44名具身智能研究人員有4人離開,占比9%。一人去了谷歌,一人去了Allen Institute for AI研究機構(gòu),另外兩人選擇創(chuàng)業(yè)。

Igor Mordatch的研究興趣包括機器學(xué)習(xí)、機器人學(xué)和多智能體系統(tǒng),他曾是OpenAI的研究科學(xué)家,在斯坦福大學(xué)和Pixar動畫工作室擔(dān)任訪問研究員。他共同組織了OpenAI學(xué)者指導(dǎo)計劃,并擔(dān)任AI4All、Google CS研究指導(dǎo)計劃和Girls Inc.的導(dǎo)師和教學(xué)助理。離開英偉達后在Google DeepMind擔(dān)任研究科學(xué)家。他發(fā)布文章約123篇,Google Scholar h指數(shù)51,被引用量18752次。

注:英偉達離職研究員及去向

「6」

“美國科學(xué)院院士”學(xué)術(shù)水平(h指數(shù)大于45)的研究員,谷歌得6人,英偉達得1人。他們分別是(按照指數(shù)高低):

谷歌

Nicolas Heess

DeepMind研究科學(xué)家。

2011年發(fā)表論文《Learning a Generative Model of Images by Factoring Appearance and Shape》,彼時正在攻讀愛丁堡大學(xué)的神經(jīng)信息學(xué)與計算神經(jīng)科學(xué)博士學(xué)位,畢業(yè)后在DeepMind工作至今。

早期研究聚焦在機器視覺、機器學(xué)習(xí)、圖形/增強現(xiàn)實/游戲等領(lǐng)域,目前是英國UCL計算機系榮譽教授。

發(fā)布約224篇文章 ,Google Scholar h指數(shù)65,被引用量48917次。

Martin Riedmiller

DeepMind研究科學(xué)家。

1986-1996年在德國University of Karlsruhe(卡爾斯魯厄大學(xué),現(xiàn)在的卡爾斯魯厄理工學(xué)院)學(xué)習(xí)計算機專業(yè),并取得博士學(xué)位。畢業(yè)后他一邊在學(xué)術(shù)界任教,一邊創(chuàng)業(yè)。

2002年- 2015年先后在University of Dortmund、University of Osnabrueck、University of Freiburg擔(dān)任教授,帶領(lǐng)Machine Learning Lab;2010 -2015年在德國巴登創(chuàng)立Cognit - Lab for learning machines。

2015年加入Google DeepMind全職工作。

他的研究領(lǐng)域聚焦人工智能、神經(jīng)網(wǎng)絡(luò)、強化學(xué)習(xí)等,發(fā)布約188篇文章,Google Scholar h指數(shù)59,被引用量84113次。

Vikas Sindhwani

Google DeepMind研究科學(xué)家,領(lǐng)導(dǎo)著一個專注于解決機器人領(lǐng)域規(guī)劃、感知、學(xué)習(xí)和控制問題的研究小組。

他擁有芝加哥大學(xué)的計算機科學(xué)博士學(xué)位和印度理工學(xué)院(IIT)孟買分校的工程物理學(xué)士學(xué)位。

2008年-2015年在IBM T.J. Watson Research Center紐約分部負責(zé)機器學(xué)習(xí)組。2015年加入Google DeepMind工作至今。

擔(dān)任《機器學(xué)習(xí)研究交易》(TMLR)和《IEEE模式分析與機器智能交易》的編輯委員會成員;曾是NeurIPS、國際學(xué)習(xí)表示會議(ICLR)和知識發(fā)現(xiàn)與數(shù)據(jù)挖掘(KDD)的領(lǐng)域主席和高級程序委員會成員。

研究興趣廣泛涉及統(tǒng)計機器學(xué)習(xí)的核心數(shù)學(xué)基礎(chǔ),以及構(gòu)建大規(guī)模、安全、健康人工智能系統(tǒng)的端到端設(shè)計。

曾獲得人工智能不確定性(UAI-2013)最佳論文獎和2014年IBM Pat Goldberg紀念獎;并入圍了ICRA-2022杰出規(guī)劃論文獎和ICRA-2024機器人操作最佳論文獎的決賽。

發(fā)布約137篇文章,Google Scholar h指數(shù)52,被引用量17150次。

Vincent Vanhoucke

Google DeepMind杰出科學(xué)家、機器人技術(shù)部門高級總監(jiān),在谷歌工作超過16年。

擁有斯坦福大學(xué)電氣工程的博士學(xué)位(1999-2003)和巴黎中央理工學(xué)院的工程師學(xué)位。

曾領(lǐng)導(dǎo)Google Brain的視覺和感知研究,并負責(zé)谷歌語音搜索的語音識別質(zhì)量團隊。共同創(chuàng)立了機器人學(xué)習(xí)會議(Conference on Robot Learning)。

研究涵蓋了分布式系統(tǒng)和并行計算、機器智能、機器感知、機器人和語音處理等多個領(lǐng)域。發(fā)布約64篇文章,Google Scholar h指數(shù)50,被引用量165519次。

Raia Hadsell

DeepMind研究與機器人技術(shù)高級總監(jiān),VP of Research。

2014年加入至今。

在Reed College獲得宗教學(xué)和哲學(xué)學(xué)士學(xué)位后(1990-1994),在紐約大學(xué)與Yann LeCun合作完成博士學(xué)位研究(2003-2008),集中于使用連體神經(jīng)網(wǎng)絡(luò)(今天通常稱為“三元損失”)的機器學(xué)習(xí)、人臉識別算法,以及在野外使用深度學(xué)習(xí)進行移動機器人研究。論文“Learning Long-range vision for offroad robots”獲得了2009年的杰出論文獎。

在卡內(nèi)基梅隆大學(xué)機器人研究所做博士后研究,與Drew Bagnell和Martial Hebert合作,然后成為新澤西州普林斯頓市SRI國際公司視覺與機器人組的研究科學(xué)家(2009-2014)。

加入DeepMind之后,研究重點放在人工通用智能領(lǐng)域的一些基本挑戰(zhàn)上,包括持續(xù)學(xué)習(xí)和遷移學(xué)習(xí)、用于機器人和控制問題的深度強化學(xué)習(xí),以及導(dǎo)航的神經(jīng)模型。是一個新開放期刊TMLR的創(chuàng)始人和主編,CoRL的執(zhí)行委員會成員,歐洲學(xué)習(xí)系統(tǒng)實驗室(ELLIS)的成員,也是NAISys(神經(jīng)科學(xué)與人工智能系統(tǒng))的創(chuàng)始組織者之一。擔(dān)任CIFAR顧問,并曾擔(dān)任WiML(機器學(xué)習(xí)中的女性)執(zhí)行委員會成員。

發(fā)布約107篇文章,Google Scholar h指數(shù)45,被引用量36265次。

Nikhil J Joshi

資料有限,在印度印度理工學(xué)院(Indian Institute of Technology)獲得物理碩士學(xué)位,在印度基礎(chǔ)研究機構(gòu)Tata Institute of Fundamental Research 獲得分子物理學(xué)博士學(xué)位。2017年加入Google Brain做軟件開發(fā),之前在多家企業(yè)任職。Google Scholar h指數(shù)45,被引用量8320次。

英偉達

Stan Birchfield

英偉達首席研究科學(xué)家和高級研究經(jīng)理。

2016年加入,主要負責(zé)計算機視覺和機器人技術(shù)的交叉領(lǐng)域,包括學(xué)習(xí)、感知、以及人工智能介導(dǎo)的現(xiàn)實和交互。

1999年獲得斯坦福大學(xué)電氣工程博士學(xué)位,輔修計算機科學(xué)。

畢業(yè)后,加入灣區(qū)初創(chuàng)公司Quindi Corporation擔(dān)任研究工程師,開發(fā)智能數(shù)字音頻和視頻算法。

2013-2016年,加入微軟,負責(zé)開發(fā)計算機視覺和機器人技術(shù)的應(yīng)用與地面實況導(dǎo)航系統(tǒng),并領(lǐng)導(dǎo)開發(fā)了自動攝像頭切換功能。

Google Scholar h指數(shù)56,被引用量14315次。

「7」

部分業(yè)界華裔大佬

這114名企業(yè)研究人員中共有31名華裔,重點介紹12名佼佼者,其中谷歌 4人,英偉達 6人,OpenAI 、1x各1人。

谷歌

Fei Xia(夏斐)

Google DeepMind高級研究科學(xué)家。

2016年畢業(yè)清華,2021年在斯坦福大學(xué)電氣工程系獲得了博士學(xué)位。

讀博期間曾在NVIDIA的Dieter Fox,Google的Alexander Toshev和Brian Ichter那里做過研究實習(xí)。在斯坦福大學(xué)完成博士學(xué)位后,于2021年秋季加入Google的機器人團隊。

研究興趣包括大規(guī)模和可轉(zhuǎn)移的機器人模擬,長期任務(wù)的學(xué)習(xí)算法,以及環(huán)境的幾何和語義表示的結(jié)合。最近研究方向是將基礎(chǔ)模型(Foundation Models)用于智能體的決策過程中。

學(xué)術(shù)成就包括在ICRA 2023會議上接受了5篇論文,在CoRL 2022會議上接受了4篇論文。

代表工作有GibsonEnv, iGibson, SayCan等,iGibson開發(fā)用于機器人學(xué)習(xí)的大規(guī)模互動環(huán)境,以及在機器人控制策略中使用模仿學(xué)習(xí)和模型預(yù)測控制(MPC)的結(jié)合。Google Scholar h指數(shù)為33,引用量為12478。

Andy Zeng

Google DeepMind高級研究科學(xué)家。

在UC Berkeley獲得了計算機科學(xué)和數(shù)學(xué)的雙學(xué)士學(xué)位,并在普林斯頓大學(xué)獲得了計算機科學(xué)博士學(xué)位。2019年博士畢業(yè)后加入Google Brain工作,專注于機器學(xué)習(xí),視覺,語言和機器人學(xué)習(xí)。

研究興趣包括機器人學(xué)習(xí),使機器能夠智能地與世界互動并隨著時間的推移自我提高。

學(xué)術(shù)成就包括在各種會議上發(fā)表的論文,如ICRA,CVPR,CoRL等。

參與的重要項目包括PaLM-E。

Google Scholar h指數(shù)為32,引用量為12207。

Tianhe Yu

Google DeepMind研究科學(xué)家。

2017年在UC Berkeley獲得了計算機科學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計學(xué)的最高榮譽學(xué)士學(xué)位,2022年在斯坦福大學(xué)獲得了計算機科學(xué)博士學(xué)位,導(dǎo)師是Chelsea Finn。

2022年博士畢業(yè)后加入Google Brain工作,專注于機器學(xué)習(xí),視覺,語言和機器人學(xué)習(xí)。

研究興趣包括機器學(xué)習(xí),感知,控制,特別是離線強化學(xué)習(xí)(即從靜態(tài)數(shù)據(jù)集中學(xué)習(xí)),多任務(wù)和元學(xué)習(xí)。最近在探索在決策問題中利用基礎(chǔ)模型。

學(xué)術(shù)成就包括在各種會議上發(fā)表的論文,如ICRA,CVPR,CoRL等。

參與的重要項目包括PaLM-E。

Google Scholar h指數(shù)為25,引用量為7726。

Yuxiang Zhou

Google DeepMind高級研究工程師。

2010年至2018年間在英國倫敦帝國學(xué)院攻讀計算機科學(xué)碩士和博士學(xué)位,導(dǎo)師是Stefanos Zafeiriou教授。

2017年9月至2018年3月在Google Brain &DeepMind進行了深度強化學(xué)習(xí)和機器人學(xué)的研究實習(xí),在2018年12月加入Google DeepMind,擔(dān)任研究工程師。

研究主題包括解決機器人學(xué)、第三人稱模仿學(xué)習(xí)、統(tǒng)計變形模型的密集形狀研究等。

Google Scholar h指數(shù)為17,引用量為3099。

英偉達

Linxi Fan(范林熙)

NVIDIA 高級研究科學(xué)家,也是 GEAR Lab的負責(zé)人。

在斯坦福大學(xué)視覺實驗室獲得博士學(xué)位,師從李飛飛教授。

曾在 OpenAI(與 Ilya Sutskever 和 Andrej Karpathy)、百度 AI 實驗室(與 Andrew Ng 和 Dario Amodei 合作)和 MILA(與 Yoshua Bengio 合作)實習(xí)。

研究探索了多模態(tài)基礎(chǔ)模型、強化學(xué)習(xí)、計算機視覺和大規(guī)模系統(tǒng)的前沿。

率先創(chuàng)建了 Voyager(第一個熟練玩 Minecraft 并持續(xù)引導(dǎo)其功能的 AI智能體)、MineDojo(通過觀看 100,000 個 Minecraft YouTube 視頻進行開放式智能體學(xué)習(xí))、Eureka(一只 5 指機器人手,執(zhí)行極其靈巧的任務(wù),如筆旋轉(zhuǎn))和 VIMA(最早的機器人操作多模態(tài)基礎(chǔ)模型之一)。MineDojo 在 NeurIPS 2022 上獲得了優(yōu)秀論文獎。

Google Scholar h指數(shù)為18,引用量為5619。

Chen-Hsuan Lin

NVIDIA高級研究科學(xué)家。

本科畢業(yè)于中國臺灣大學(xué),獲得了電氣工程學(xué)士學(xué)位。在卡內(nèi)基梅隆大學(xué)獲得了機器人學(xué)博士學(xué)位,導(dǎo)師是 Simon Lucey,受 NVIDIA 研究生獎學(xué)金支持。

曾在 Facebook AI 研究和 Adobe 研究進行了實習(xí)。

致力于計算機視覺、計算機圖形學(xué)和生成 AI 應(yīng)用。解決涉及 3D 內(nèi)容創(chuàng)建的問題感興趣,包括 3D 重建、神經(jīng)渲染、生成模型等。

研究獲得了 TIME 雜志 2023 年度最佳發(fā)明獎。

Google Scholar h指數(shù)為15,引用量為2752。

De-An Huang(黃德安)

NVIDIA 研究科學(xué)家,專業(yè)領(lǐng)域是計算機視覺、機器人學(xué)、機器學(xué)習(xí)、生物信息學(xué)。

斯坦福大學(xué)獲得了計算機科學(xué)博士學(xué)位,導(dǎo)師是李飛飛和胡安·卡洛斯·尼布爾斯。在卡內(nèi)基梅隆大學(xué)攻讀碩士學(xué)位期間,曾與Kris Kitani合作,在中國臺灣大學(xué)攻讀本科期間,曾與Yu-Chiang Frank Wang合作。

曾是NVIDIA 西雅圖機器人實驗室的 Dieter Fox、Facebook 應(yīng)用機器學(xué)習(xí)的 Vignesh Ramanathan 和 Dhruv Mahajan、Microsoft 雷德蒙德研究院的 Zicheng Liu 和匹茲堡迪斯尼研究院的 Leonid Sigal 的實習(xí)生。

Google Scholar h指數(shù)為32,引用量為4848。

Kaichun Mo(莫凱淳)

NVIDIA Dieter Fox 教授領(lǐng)導(dǎo)的西雅圖機器人實驗室的研究科學(xué)家。

在斯坦福大學(xué)獲得了計算機科學(xué)博士學(xué)位,導(dǎo)師是 Leonidas J. Guibas 教授。曾隸屬于斯坦福大學(xué)的幾何計算組和人工智能實驗室。在2016年加入斯坦福之前,在上海交通大學(xué)計算機科學(xué)ACM班獲得了學(xué)士學(xué)位(PS:上海ACM榮譽班直博率高達92%,3次斬獲ACM國際大學(xué)生程序設(shè)計競賽全球總冠軍,培養(yǎng)出640名計算機“最強大腦”)。GPA為3.96/4.30(排名1/33)。

專業(yè)領(lǐng)域是3D計算機視覺、圖形學(xué)、機器人學(xué)和3D深度學(xué)習(xí),尤其關(guān)注對象為中心的3D深度學(xué)習(xí),以及針對3D數(shù)據(jù)的結(jié)構(gòu)化視覺表示學(xué)習(xí)。

Google Scholar h指數(shù)為20,引用量為17654。

Xinshuo Weng

NVIDIA 研究科學(xué)家,與 Marco Pavone 合作。

她在卡內(nèi)基梅隆大學(xué)與 Kris Kitani 合作獲得了機器人學(xué)博士學(xué)位(2018-2022 年)和計算機視覺碩士學(xué)位(2016-17 年)。本科畢業(yè)于武漢大學(xué)。

她還曾與 Facebook Reality Lab 的 Yaser Sheikh 合作,擔(dān)任研究工程師,幫助構(gòu)建“逼真的遠程呈現(xiàn)”。

研究興趣在于自主系統(tǒng)的生成模型和3D計算機視覺。涵蓋目標檢測、多目標跟蹤、重新識別、軌跡預(yù)測和運動規(guī)劃等任務(wù)。開發(fā)了 3D 多對象跟蹤系統(tǒng),例如在 GitHub 上獲得 >1,300 顆星的 AB3DMOT。

Google Scholar h指數(shù)為23,引用量為3472。

Zhiding Yu (禹之鼎)

NVIDIA 機器學(xué)習(xí)研究小組的首席研究科學(xué)家和負責(zé)人。

2017年從卡內(nèi)基梅隆大學(xué)獲得了電子與計算機工程博士學(xué)位,并于2012年從中國香港科技大學(xué)獲得了電子與計算機工程碩士學(xué)位。于2008年從華南理工大學(xué)聯(lián)合電氣工程(馮炳權(quán)實驗班)本科畢業(yè)。

研究興趣主要集中在深度表示學(xué)習(xí)、弱監(jiān)督/半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)和深度結(jié)構(gòu)化預(yù)測,以及它們在視覺和機器人問題中的應(yīng)用。

WAD Challenge@CVPR18 中的領(lǐng)域自適應(yīng)語義分割賽道的獲獎?wù)摺T?WACV15 獲得了最佳論文獎。

Google Scholar h指數(shù)為42,引用量為17064。

OpenAI

Mengyuan Yan

技術(shù)人員。

2014年獲得北京大學(xué)物理學(xué)學(xué)士,2020年獲得斯坦福大學(xué)電子電器工程博士學(xué)位。

Interactive Perception and Robot Learning Lab(IPRL)的成員,該實驗室是斯坦福AI Lab的一部分,導(dǎo)師是Jeannette Bohg和Leonidas Guibas。

研究領(lǐng)域包括計算機視覺、機器學(xué)習(xí)、機器人學(xué)和生成模型。

共發(fā)布28篇文章,Google scholar h指數(shù)15,被引用量4664次。

1X Technologies

Eric Jang

AI副總裁。

2016年畢業(yè)于布朗大學(xué)碩士,專業(yè)是計算機科學(xué)。

2016 - 2022年在Google工作,擔(dān)任機器人高級研究科學(xué)家,

研究主要集中在將機器學(xué)習(xí)原則應(yīng)用于機器人領(lǐng)域,開發(fā)了 Tensor2Robot,這是機器人操作團隊和 Everyday Robots 使用的 ML 框架(直到 TensorFlow 1 被棄用);是Brain Moonshot團隊的共同負責(zé)人,該團隊制作了SayCan。

2022年4月離開Google Robotics,加入1X Technologies(原名Halodi Robotics),帶領(lǐng)團隊完成了兩項重要工作,一個是通過端到端的神經(jīng)網(wǎng)絡(luò),實現(xiàn)了人形機器人EVE的自主性。

7篇論文的第一作者,合著15+以上,Google scholar h指數(shù)為23,引用量為11213。寫了一本書《AI is Good for You》講訴人工智能的歷史和未來。

「8」

通過重點研究論文和實驗項目鎖定谷歌和英偉達的具身智能人才。

谷歌重基礎(chǔ)模型研究,其具身智能人才參與的重點研究發(fā)布包括:

SayCan:能夠?qū)⒏邔蛹壢蝿?wù)拆解為可執(zhí)行的子任務(wù)。

Gato:將多模態(tài)數(shù)據(jù)進行token化輸入Transformer架構(gòu)。

RT-1:將機器人軌跡數(shù)據(jù)輸入Transformer架構(gòu),得到離散化動作token。

PaLM-E:在PaLM通用模型基礎(chǔ)上,進一步提升了多模態(tài)性能。

RoboCat:將多模態(tài)模型Gato與機器人數(shù)據(jù)集相結(jié)合,使得RoboCat具備在模擬環(huán)境與物理環(huán)境中處理語言、圖像和動作等任務(wù)的能力。

RT-2:是RT-1模型與PaLM-E模型的結(jié)合,使機器人模型從VLM進化到VLA。

RT-X:在保持原有架構(gòu)的基礎(chǔ)上,全面提升了具身智能的五種能力。

以上模型逐步實現(xiàn)了模型自主可靠決策、多模態(tài)感知和實時精準運控能力的結(jié)合,同時展現(xiàn)出泛化能力和思維鏈能力。

綜合以上研究論文,共梳理143名谷歌研究員。

英偉達重仿真模擬訓(xùn)練,其具身智能人才參與的實驗項目包括:

Eureka:利用大型語言模型進行強化學(xué)習(xí)的獎勵機制設(shè)計

Voyager:開放世界中用大語言模型驅(qū)動智能體

MimicPlay:通過觀察人類動作進行長距離模仿學(xué)習(xí)

VIMA:多模態(tài)指令操控執(zhí)行通用機器人任務(wù)

MinDojo:利用互聯(lián)網(wǎng)規(guī)模級數(shù)據(jù)建立開放具身智能體

此外,英偉達在2024年重點發(fā)力具身智能,官宣成立通用具身智能研究GEAR(Generalist Embodied Agent Research)實驗室,主要圍繞多模態(tài)基礎(chǔ)模型、通用型機器人研究、虛擬世界中的基礎(chǔ)智能體以及模擬與合成數(shù)據(jù)技術(shù)四個關(guān)鍵領(lǐng)域開展研究,旨在推動大模型等AI技術(shù)由虛擬世界向現(xiàn)實世界發(fā)展。

本文首先梳理了上述提到的Google核心項目論文共7篇,每篇論文都詳細列出了項目研究人員,并清晰地公布了他們的具體工作內(nèi)容。

英偉達的研究頁面公布了參與robotics項目的人員名單,共計54名;另外綜合考慮GEAR發(fā)布的所有論文作者,共梳理出105名具身智能研究人員。

附錄:谷歌、英偉達具身智能百人列表

附錄:論文及網(wǎng)頁

Google核心項目論文:

Do As I Can, Not As I Say: Grounding Language in Robotic Affordances

https://say-can.github.io/

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

https://auto-rt.github.io/

SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention

https://arxiv.org/pdf/2312.01990

RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation

https://arxiv.org/pdf/2306.11706

RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches

https://arxiv.org/pdf/2311.01977

RT-1: Robotics Transformer for real-world control at scale

https://arxiv.org/pdf/2212.06817

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

https://arxiv.org/pdf/2307.15818

NVIDIA研究robotics論文研究人員名單:

https://research.NVIDIA.com/research-area/robotics

GEAR團隊發(fā)表論文:

https://research.NVIDIA.com/labs/gear/publications/

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。