編輯|烏鴉智能說
在本期CadenceLIVE訪談中,來自Cadence的Anirudh Devgan與黃仁勛展開了對(duì)話。Nvidia創(chuàng)始人兼首席執(zhí)行官黃仁勛在對(duì)話中表示,在AI發(fā)展過程中,底層計(jì)算將發(fā)生轉(zhuǎn)型,加速計(jì)算將有效提升計(jì)算性能,加速計(jì)算和人工智能將徹底改變所有行業(yè),從設(shè)計(jì)電子產(chǎn)品和軟件到開發(fā)新材料和藥物。他認(rèn)為,加速計(jì)算將使人工智能模型更加高效,并幫助我們節(jié)省能源。
他還分享了自己最感興趣的三個(gè)行業(yè):數(shù)據(jù)中心及計(jì)算、機(jī)器人和自動(dòng)系統(tǒng)、生物領(lǐng)域。他非常熱衷于全新的自主系統(tǒng)領(lǐng)域,還將著手打造下一代人形機(jī)器人。制造一個(gè)人形機(jī)器人的成本可能會(huì)低于人們預(yù)期,可能只需1萬到2萬美元,而汽車的售價(jià)就在這個(gè)區(qū)間。人形機(jī)器人在為人類設(shè)計(jì)的環(huán)境中可能比人類更加靈活、高效,比如制造車間、倉庫等都是為人類設(shè)計(jì)的。生物學(xué)作為一個(gè)非常復(fù)雜的領(lǐng)域,還有很多創(chuàng)新空間,面對(duì)這樣一個(gè)大規(guī)模且高度混沌的系統(tǒng),他相信通過計(jì)算及將數(shù)據(jù)驅(qū)動(dòng)與模擬方法相結(jié)合,可以有效解決很多存在的問題。
他還在訪談中談到了Nvidia的管理秘訣,強(qiáng)調(diào)授權(quán)員工、公開透明以及跨團(tuán)隊(duì)協(xié)作的重要性。在英偉達(dá),所有決策都是公開透明的。黃仁勛也喜歡當(dāng)著大家的面,合理地闡述思路,這種工作方式也深深影響了英偉達(dá)的員工。他強(qiáng)調(diào),英偉達(dá)是一家全棧公司,做聯(lián)合設(shè)計(jì),因此在組織架構(gòu)和運(yùn)營上特別重視跨團(tuán)隊(duì)同步。以下為本期內(nèi)容目錄:
01 加速計(jì)算勢(shì)在必行
02 黃仁勛最期待的三個(gè)行業(yè)
03 AI和數(shù)據(jù)中心的功耗問題
04 英偉達(dá)的管理秘訣
/ 01 / 加速計(jì)算勢(shì)在必行
Anirudh Devgan:非常感謝,Jensen??吹轿覀兊倪@種伙伴關(guān)系令人難以置信。你現(xiàn)在確實(shí)是教父了,大家都這樣稱呼你。作為傾注全部心血推動(dòng)行業(yè)創(chuàng)新的人,當(dāng)"教父"說了什么,事情就會(huì)發(fā)生,當(dāng)"教父"想要什么,就一定會(huì)得到,雖然對(duì)你來說顯然不是這樣。
但就AI而言,你占據(jù)了最佳位置,成為了推動(dòng)大部分創(chuàng)新的引領(lǐng)者。在未來5年,你覺得會(huì)發(fā)生什么變化?比如模型會(huì)變得越來越大、越來越專門化,數(shù)據(jù)中心的架構(gòu)會(huì)有何變化?當(dāng)然,這是一個(gè)長期的過程,但特別是在未來5年里,你認(rèn)為AI會(huì)沿著何種方向發(fā)展?
Jensen Huang:讓我們先退一步看看大局。確實(shí),Anirudh,你的主題演講很可能是對(duì)底層計(jì)算轉(zhuǎn)型最集中、最生動(dòng)的體現(xiàn)和例證。原因很簡單,我們都知道,沒有計(jì)算,就沒有Cadence;同樣,沒有Cadence,也就沒有計(jì)算。所以,底層計(jì)算平臺(tái)的根本轉(zhuǎn)變和轉(zhuǎn)型,對(duì)Cadence來說是最基礎(chǔ)的,也是對(duì)于每個(gè)依賴Cadence的行業(yè)來說是最基礎(chǔ)的,而幾乎所有行業(yè)都依賴Cadence。
回顧你的主題演講,僅僅是Millennium項(xiàng)目一個(gè)就足以突出加速計(jì)算帶來的巨大好處。一旦進(jìn)入加速計(jì)算時(shí)代,就能實(shí)現(xiàn)生成式AI,而沒有向加速計(jì)算的這一轉(zhuǎn)型,生成式AI將非常難以實(shí)現(xiàn)。加速計(jì)算的好處是,過去用CPU算力擴(kuò)展很難擴(kuò)展的任務(wù),突然之間就能獲得1000倍的加速;在此基礎(chǔ)上再疊加生成式AI,又能獲得30倍的性能提升;把生成式AI和加速計(jì)算結(jié)合使用,能獲得10萬倍的性能放大。
你一開始也說得非常好,設(shè)計(jì)師希望探索多模態(tài)、多維的設(shè)計(jì)空間,其中沒有一個(gè)正確答案,只有一個(gè)最佳答案。我們需要探索成千上萬種不同的可能性,但用遍歷的方式來窮舉所有設(shè)計(jì)可能性顯然是不可能的,即使有無限計(jì)算能力也無法完成。所以我們需要AI來幫助我們跳到特定的探索和優(yōu)化區(qū)域,然后來精確定位。
因此,我們可以在多個(gè)方面開展密切合作。加速計(jì)算首先將改變Cadence開發(fā)軟件的方式,也將改變我們使用軟件的方式。除此之外,我們?cè)O(shè)計(jì)電路、芯片、印制板、系統(tǒng),現(xiàn)在甚至包括數(shù)據(jù)中心,都在Cadence內(nèi)完成。我們從頭到尾,從電路設(shè)計(jì)、邏輯設(shè)計(jì)、系統(tǒng)設(shè)計(jì),到仿真、驗(yàn)證、形式化驗(yàn)證,以及其他各個(gè)環(huán)節(jié),都是使用的你們的工具?,F(xiàn)在,設(shè)計(jì)空間不再局限于芯片或系統(tǒng),而是橫跨整個(gè)領(lǐng)域的聯(lián)合設(shè)計(jì)。計(jì)算機(jī)科學(xué)行業(yè)稱之為全棧,而在工程領(lǐng)域,我們稱之為聯(lián)合設(shè)計(jì)。無論叫法如何,關(guān)鍵是要在整個(gè)系統(tǒng)上進(jìn)行創(chuàng)新。
你還觸及了一個(gè)非常深刻的觀點(diǎn),通過投資加速計(jì)算、AI和數(shù)據(jù)中心,我們能夠設(shè)計(jì)出更高效、更節(jié)能的產(chǎn)品。要知道,我們只需要設(shè)計(jì)一次芯片,但它會(huì)被運(yùn)行數(shù)萬億次;我們只需建設(shè)一次數(shù)據(jù)中心,但你展示的6%能效優(yōu)化,將為全球數(shù)十億人持續(xù)帶來節(jié)能收益。所以,雖然我們會(huì)在AI數(shù)據(jù)中心上消耗更多電力,但另一方面,對(duì)于剩余98%的社會(huì)能源消耗,我們將通過設(shè)計(jì)更好的軟件、芯片、系統(tǒng)、電腦、汽車、手機(jī)、材料等來節(jié)省能源。我認(rèn)為,現(xiàn)在確實(shí)是一個(gè)被人們稱為"轉(zhuǎn)折點(diǎn)"或"過渡期"的時(shí)代,而你的主題演講正是對(duì)此最好的詮釋,這也是令人非常振奮的時(shí)代。
Anirudh Devgan:Nvidia所做的轉(zhuǎn)型非常了不起。你們不僅在制造最佳芯片,更是在構(gòu)建整個(gè)數(shù)據(jù)中心、整個(gè)系統(tǒng)和整個(gè)軟件棧。你在GTC的主題演講中展示了機(jī)架、液冷數(shù)據(jù)中心等,涵蓋了整個(gè)系統(tǒng)架構(gòu)。對(duì)于一家典型的芯片公司來說,這樣的轉(zhuǎn)型并不容易。Nvidia已經(jīng)成為一家完整的軟件系統(tǒng)公司。我很好奇,你是如何做到這一轉(zhuǎn)型的?一開始你就有這樣的想法,還是漸漸展開的?因?yàn)閷?duì)一些公司來說,即使只是嘗試從系統(tǒng)公司轉(zhuǎn)型為芯片公司都很困難,但Nvidia已經(jīng)完美地實(shí)現(xiàn)了從芯片到系統(tǒng)、軟件、數(shù)據(jù)等全方位轉(zhuǎn)型,我很想知道你是如何完成這一過程的。
Jensen Huang:我們當(dāng)初做出了一些正確的判斷,這也經(jīng)過了我們的長期觀察檢驗(yàn)。
第一,我們觀察到,在一個(gè)程序中,很小一部分代碼占用了絕大部分運(yùn)行時(shí)間。比如對(duì)于CFD(計(jì)算流體動(dòng)力學(xué)),可能只有3%的代碼占用了99.9999%的運(yùn)行時(shí)間。如果是這樣,為什么要對(duì)所有100%的代碼使用完全相同的工具、儀器和處理器呢?不如針對(duì)97%的代碼采用一種方式,針對(duì)3%的代碼采用另一種特殊方式,這樣就可以將應(yīng)用程序加速10萬倍。這是我們當(dāng)初的觀察結(jié)果。
當(dāng)然,能從這種方式中獲益的應(yīng)用程序種類很小,我們選擇計(jì)算機(jī)圖形學(xué)作為加速計(jì)算的第一個(gè)應(yīng)用領(lǐng)域是很明智的,因?yàn)樗枰罅坎⑿杏?jì)算,而且是一個(gè)創(chuàng)新迭代很快的大市場,非常適合嘗試加速計(jì)算。
但我們一直設(shè)想,除了計(jì)算機(jī)圖形學(xué)之外,還會(huì)有許多其他應(yīng)用程序加入加速計(jì)算的行列。加速計(jì)算與通用計(jì)算是不同的,通用計(jì)算可以創(chuàng)建一種處理器來運(yùn)行所有代碼,但加速計(jì)算則不是這樣,因?yàn)樗菍iT加速特定應(yīng)用的計(jì)算平臺(tái),必須知道加速的是什么應(yīng)用。
在Nvidia,我們從計(jì)算機(jī)圖形學(xué)開始,然后擴(kuò)展到影像處理、分子動(dòng)力學(xué)等領(lǐng)域。順便說一句,我很高興看到你們?cè)跀?shù)字生物學(xué)領(lǐng)域所做的工作。如今我們把它稱為"藥物發(fā)現(xiàn)",之所以這樣稱呼,有點(diǎn)像蘑菇發(fā)現(xiàn),你進(jìn)入森林就會(huì)發(fā)現(xiàn)蘑菇。你能想象,如果把芯片設(shè)計(jì)行業(yè)稱為"芯片發(fā)現(xiàn)"行業(yè)嗎?那是因?yàn)槲业墓こ虉F(tuán)隊(duì)會(huì)過來說:“嘿,看看我們發(fā)現(xiàn)了什么,是Blackwell!”但第二年可能就一無所獲了。這在我們芯片設(shè)計(jì)行業(yè)是無法想象的,因?yàn)槲覀儾粫?huì)做出沒有目標(biāo)和計(jì)劃的事情。
之所以會(huì)這樣,是因?yàn)樯飳W(xué)比我們想象的要復(fù)雜得多。我們可以調(diào)整晶體管,使用設(shè)計(jì)工具,但無法對(duì)生物做同樣的事情,設(shè)計(jì)工具需要追上生物學(xué)的步伐。所以我認(rèn)為,生物學(xué)將成為Cadence的一個(gè)巨大產(chǎn)業(yè),你之前提到的1%機(jī)會(huì),對(duì)生物學(xué)來說將是一個(gè)巨大的機(jī)遇。
生物學(xué)、交通運(yùn)輸?shù)龋總€(gè)行業(yè)的應(yīng)用都不盡相同,或涉及成像、粒子物理、流體、有限元等,算法也不同。Cadence和Nvidia都是數(shù)學(xué)和計(jì)算公司,這就是我們合作如此緊密的原因。當(dāng)我和Anirudh一起時(shí),我們都能很快理解對(duì)方,點(diǎn)頭便是明白,搖頭便是不理解。如果我們同時(shí)搖頭,那就說明我們遇到了麻煩。無論如何,我們始終專注于特定領(lǐng)域的加速計(jì)算。在過去30年里,我們?cè)贑UDA架構(gòu)之上積累了大量特定領(lǐng)域的庫,涉及粒子、成像、人工智能等方方面面。
/ 02 / 黃仁勛最期待的三個(gè)行業(yè)
Anirudh Devgan:你在GTC上的主題演講非常精彩,以至于我建議你下次租用更大的體育館場地。你強(qiáng)調(diào)了幾乎所有行業(yè)的橫向賦能,但也提到了一些潛力巨大的行業(yè),比如你談到的生命科學(xué)、機(jī)器人和自動(dòng)駕駛等。在短期或中期內(nèi),你最期待哪一兩個(gè)行業(yè)的發(fā)展?
Jensen Huang:你提到的數(shù)據(jù)中心和計(jì)算、汽車(我把它概括為機(jī)器人和自動(dòng)系統(tǒng))、生物領(lǐng)域,正是我最感興趣的三個(gè)行業(yè)。
對(duì)于自動(dòng)系統(tǒng)這一大類,無論是汽車、卡車、外賣機(jī)器人還是人形機(jī)器人,都有很多共同點(diǎn)。它們都需要多傳感器輸入、極其重視功能安全性,所以計(jì)算機(jī)的設(shè)計(jì)、驗(yàn)證、認(rèn)證非常重要。它們使用的不是普通的操作系統(tǒng),而是無故障安全操作系統(tǒng),系統(tǒng)設(shè)計(jì)要非常謹(jǐn)慎、專門化。當(dāng)然,人工智能的使用也極為廣泛。而且這些系統(tǒng)都將與云和數(shù)據(jù)中心實(shí)時(shí)連接,以便更新新體驗(yàn)、上報(bào)故障異常情況,并下載新模型。
我非常熱衷于這個(gè)全新的自主系統(tǒng)領(lǐng)域,我們將著手打造下一代人形機(jī)器人。制造一個(gè)人形機(jī)器人的成本可能會(huì)低于人們預(yù)期,可能只需1萬到2萬美元,而汽車的售價(jià)就在這個(gè)區(qū)間。人形機(jī)器人在為人類設(shè)計(jì)的環(huán)境中可能比人類更加靈活、高效,比如制造車間、倉庫等都是為人類設(shè)計(jì)的。所以我對(duì)這一領(lǐng)域很感興趣。
我也很期待我們能將生物學(xué)轉(zhuǎn)變?yōu)橐粋€(gè)工程領(lǐng)域??茖W(xué)發(fā)現(xiàn)的過程固然重要,但往往是零散和偶然的,這就是摩爾定律存在的原因。如果我們不轉(zhuǎn)向加速計(jì)算和AI,計(jì)算機(jī)行業(yè)也將受到摩爾定律的影響。這是因?yàn)槲覀兯龅挠?jì)算工作持續(xù)增長,但CPU的擴(kuò)展能力已經(jīng)放緩,因此我們將面臨計(jì)算成本上漲而非下降。所以我們必須轉(zhuǎn)向加速計(jì)算,以節(jié)省能源、時(shí)間和成本。我認(rèn)為數(shù)字生物學(xué)將經(jīng)歷一個(gè)整體復(fù)興,科學(xué)和工程將更加融合。生物學(xué)是一個(gè)非常復(fù)雜的領(lǐng)域,在這個(gè)領(lǐng)域還有很多創(chuàng)新空間。不過有一點(diǎn)是確定的,我們現(xiàn)在擁有了必要的工具,計(jì)算系統(tǒng)、算法能夠幫助我們處理大規(guī)模的、高度混沌的系統(tǒng)。正如你之前所說,將數(shù)據(jù)驅(qū)動(dòng)方法與嚴(yán)謹(jǐn)?shù)哪M方法融合,可能給了我們一線生機(jī)。
/ 03 / AI和數(shù)據(jù)中心的功耗問題
Anirudh Devgan:您對(duì)AI和數(shù)據(jù)中心的功耗問題有何看法?當(dāng)然,我們可以進(jìn)行優(yōu)化,一種方式是,加速計(jì)算實(shí)際上可以降低功耗,人們可能沒有意識(shí)到這一點(diǎn)。不知您對(duì)AI的功耗問題及其他可能的應(yīng)對(duì)措施有何看法?
Jensen Huang:正如Anirudh在演講中所示,加速計(jì)算將成千上萬臺(tái)通用服務(wù)器(會(huì)消耗10-20倍的能源和成本)壓縮到非常密集的形態(tài)。人們之所以認(rèn)為加速計(jì)算功耗很高、成本很大,正是由于加速計(jì)算的高密度造成的。但是,如果從完成的工作量或吞吐量角度看,加速計(jì)算實(shí)際上節(jié)省了大量資金。隨著CPU擴(kuò)展能力放緩,轉(zhuǎn)向加速計(jì)算變得必不可少,因?yàn)閭鹘y(tǒng)方式已無法繼續(xù)擴(kuò)展。
其次,您在主題演講中非常精辟地指出,AI實(shí)際上有助于節(jié)能。如果不是您創(chuàng)建的AI模型,我們?nèi)绾文苷业?%或10倍的節(jié)能潛力?這是沒有AI無法實(shí)現(xiàn)的。你只需投資一次模型訓(xùn)練,就能讓數(shù)百萬工程師獲益,數(shù)十億人在幾十年里從中獲得節(jié)能收益。所以我們不能只考慮單次的投資和成本,而要縱向地考慮醫(yī)療、氣候變化、資金和能源節(jié)約等長期影響。從這個(gè)角度看,AI在幫助我們應(yīng)對(duì)氣候變化、節(jié)約能源等方面將產(chǎn)生深遠(yuǎn)的變革作用。
/ 04 / 英偉達(dá)的管理秘訣
Anirudh Devgan:Jensen,你有著非常獨(dú)特的管理風(fēng)格和領(lǐng)導(dǎo)力,組織機(jī)動(dòng)性強(qiáng)、決策高效,這一點(diǎn)確實(shí)令人難以置信?,F(xiàn)場有很多工程師、經(jīng)理和領(lǐng)導(dǎo)人,不知您是否能分享一些建議,如何將想法轉(zhuǎn)化為行動(dòng)?
Jensen Huang:Nvidia管理體系和領(lǐng)導(dǎo)理念的核心,是為出色的員工創(chuàng)造條件,讓他們能夠做自己畢生的事業(yè)。要做到這一點(diǎn),最重要的一點(diǎn)是授權(quán)他們獲取信息。我基本上所有決策都是公開透明的,而不是只對(duì)某個(gè)人密授,因?yàn)槊總€(gè)人都應(yīng)該了解公司的信息和挑戰(zhàn)。
我也喜歡當(dāng)著大家的面,合理地闡述思路。這迫使我們提出方向建議時(shí)植根于良好的推理,在影響他人的同時(shí)也在教導(dǎo)如何合理思考。能夠?qū)⒁粋€(gè)復(fù)雜抽象的想法合理地闡釋到我們現(xiàn)在應(yīng)該做什么或不做什么,這個(gè)過程極富啟發(fā)性,這也是Nvidia雖然只有2.8萬員工但實(shí)力超群的原因。幾乎每個(gè)人都有權(quán)基于推理做出合理決策。
最后,你的組織結(jié)構(gòu)應(yīng)該反映你打造的產(chǎn)品特性。Nvidia是一家全棧公司,我們做聯(lián)合設(shè)計(jì),這就意味著不應(yīng)該只用硬件團(tuán)隊(duì)或軟件團(tuán)隊(duì)單獨(dú)工作,而是要跨團(tuán)隊(duì)同步,因?yàn)槲覀冊(cè)谧雎?lián)合設(shè)計(jì)。所以我努力營造一個(gè)環(huán)境,讓公司各層級(jí)的專家和貢獻(xiàn)者都能參與解決同一個(gè)問題。這就是我們的一些原則。