編輯|烏鴉智能說
在本期CadenceLIVE訪談中,來自Cadence的Anirudh Devgan與黃仁勛展開了對話。Nvidia創(chuàng)始人兼首席執(zhí)行官黃仁勛在對話中表示,在AI發(fā)展過程中,底層計算將發(fā)生轉型,加速計算將有效提升計算性能,加速計算和人工智能將徹底改變所有行業(yè),從設計電子產品和軟件到開發(fā)新材料和藥物。他認為,加速計算將使人工智能模型更加高效,并幫助我們節(jié)省能源。
他還分享了自己最感興趣的三個行業(yè):數據中心及計算、機器人和自動系統(tǒng)、生物領域。他非常熱衷于全新的自主系統(tǒng)領域,還將著手打造下一代人形機器人。制造一個人形機器人的成本可能會低于人們預期,可能只需1萬到2萬美元,而汽車的售價就在這個區(qū)間。人形機器人在為人類設計的環(huán)境中可能比人類更加靈活、高效,比如制造車間、倉庫等都是為人類設計的。生物學作為一個非常復雜的領域,還有很多創(chuàng)新空間,面對這樣一個大規(guī)模且高度混沌的系統(tǒng),他相信通過計算及將數據驅動與模擬方法相結合,可以有效解決很多存在的問題。
他還在訪談中談到了Nvidia的管理秘訣,強調授權員工、公開透明以及跨團隊協(xié)作的重要性。在英偉達,所有決策都是公開透明的。黃仁勛也喜歡當著大家的面,合理地闡述思路,這種工作方式也深深影響了英偉達的員工。他強調,英偉達是一家全棧公司,做聯合設計,因此在組織架構和運營上特別重視跨團隊同步。以下為本期內容目錄:
01 加速計算勢在必行
02 黃仁勛最期待的三個行業(yè)
03 AI和數據中心的功耗問題
04 英偉達的管理秘訣
/ 01 / 加速計算勢在必行
Anirudh Devgan:非常感謝,Jensen??吹轿覀兊倪@種伙伴關系令人難以置信。你現在確實是教父了,大家都這樣稱呼你。作為傾注全部心血推動行業(yè)創(chuàng)新的人,當"教父"說了什么,事情就會發(fā)生,當"教父"想要什么,就一定會得到,雖然對你來說顯然不是這樣。
但就AI而言,你占據了最佳位置,成為了推動大部分創(chuàng)新的引領者。在未來5年,你覺得會發(fā)生什么變化?比如模型會變得越來越大、越來越專門化,數據中心的架構會有何變化?當然,這是一個長期的過程,但特別是在未來5年里,你認為AI會沿著何種方向發(fā)展?
Jensen Huang:讓我們先退一步看看大局。確實,Anirudh,你的主題演講很可能是對底層計算轉型最集中、最生動的體現和例證。原因很簡單,我們都知道,沒有計算,就沒有Cadence;同樣,沒有Cadence,也就沒有計算。所以,底層計算平臺的根本轉變和轉型,對Cadence來說是最基礎的,也是對于每個依賴Cadence的行業(yè)來說是最基礎的,而幾乎所有行業(yè)都依賴Cadence。
回顧你的主題演講,僅僅是Millennium項目一個就足以突出加速計算帶來的巨大好處。一旦進入加速計算時代,就能實現生成式AI,而沒有向加速計算的這一轉型,生成式AI將非常難以實現。加速計算的好處是,過去用CPU算力擴展很難擴展的任務,突然之間就能獲得1000倍的加速;在此基礎上再疊加生成式AI,又能獲得30倍的性能提升;把生成式AI和加速計算結合使用,能獲得10萬倍的性能放大。
你一開始也說得非常好,設計師希望探索多模態(tài)、多維的設計空間,其中沒有一個正確答案,只有一個最佳答案。我們需要探索成千上萬種不同的可能性,但用遍歷的方式來窮舉所有設計可能性顯然是不可能的,即使有無限計算能力也無法完成。所以我們需要AI來幫助我們跳到特定的探索和優(yōu)化區(qū)域,然后來精確定位。
因此,我們可以在多個方面開展密切合作。加速計算首先將改變Cadence開發(fā)軟件的方式,也將改變我們使用軟件的方式。除此之外,我們設計電路、芯片、印制板、系統(tǒng),現在甚至包括數據中心,都在Cadence內完成。我們從頭到尾,從電路設計、邏輯設計、系統(tǒng)設計,到仿真、驗證、形式化驗證,以及其他各個環(huán)節(jié),都是使用的你們的工具?,F在,設計空間不再局限于芯片或系統(tǒng),而是橫跨整個領域的聯合設計。計算機科學行業(yè)稱之為全棧,而在工程領域,我們稱之為聯合設計。無論叫法如何,關鍵是要在整個系統(tǒng)上進行創(chuàng)新。
你還觸及了一個非常深刻的觀點,通過投資加速計算、AI和數據中心,我們能夠設計出更高效、更節(jié)能的產品。要知道,我們只需要設計一次芯片,但它會被運行數萬億次;我們只需建設一次數據中心,但你展示的6%能效優(yōu)化,將為全球數十億人持續(xù)帶來節(jié)能收益。所以,雖然我們會在AI數據中心上消耗更多電力,但另一方面,對于剩余98%的社會能源消耗,我們將通過設計更好的軟件、芯片、系統(tǒng)、電腦、汽車、手機、材料等來節(jié)省能源。我認為,現在確實是一個被人們稱為"轉折點"或"過渡期"的時代,而你的主題演講正是對此最好的詮釋,這也是令人非常振奮的時代。
Anirudh Devgan:Nvidia所做的轉型非常了不起。你們不僅在制造最佳芯片,更是在構建整個數據中心、整個系統(tǒng)和整個軟件棧。你在GTC的主題演講中展示了機架、液冷數據中心等,涵蓋了整個系統(tǒng)架構。對于一家典型的芯片公司來說,這樣的轉型并不容易。Nvidia已經成為一家完整的軟件系統(tǒng)公司。我很好奇,你是如何做到這一轉型的?一開始你就有這樣的想法,還是漸漸展開的?因為對一些公司來說,即使只是嘗試從系統(tǒng)公司轉型為芯片公司都很困難,但Nvidia已經完美地實現了從芯片到系統(tǒng)、軟件、數據等全方位轉型,我很想知道你是如何完成這一過程的。
Jensen Huang:我們當初做出了一些正確的判斷,這也經過了我們的長期觀察檢驗。
第一,我們觀察到,在一個程序中,很小一部分代碼占用了絕大部分運行時間。比如對于CFD(計算流體動力學),可能只有3%的代碼占用了99.9999%的運行時間。如果是這樣,為什么要對所有100%的代碼使用完全相同的工具、儀器和處理器呢?不如針對97%的代碼采用一種方式,針對3%的代碼采用另一種特殊方式,這樣就可以將應用程序加速10萬倍。這是我們當初的觀察結果。
當然,能從這種方式中獲益的應用程序種類很小,我們選擇計算機圖形學作為加速計算的第一個應用領域是很明智的,因為它需要大量并行計算,而且是一個創(chuàng)新迭代很快的大市場,非常適合嘗試加速計算。
但我們一直設想,除了計算機圖形學之外,還會有許多其他應用程序加入加速計算的行列。加速計算與通用計算是不同的,通用計算可以創(chuàng)建一種處理器來運行所有代碼,但加速計算則不是這樣,因為它是專門加速特定應用的計算平臺,必須知道加速的是什么應用。
在Nvidia,我們從計算機圖形學開始,然后擴展到影像處理、分子動力學等領域。順便說一句,我很高興看到你們在數字生物學領域所做的工作。如今我們把它稱為"藥物發(fā)現",之所以這樣稱呼,有點像蘑菇發(fā)現,你進入森林就會發(fā)現蘑菇。你能想象,如果把芯片設計行業(yè)稱為"芯片發(fā)現"行業(yè)嗎?那是因為我的工程團隊會過來說:“嘿,看看我們發(fā)現了什么,是Blackwell!”但第二年可能就一無所獲了。這在我們芯片設計行業(yè)是無法想象的,因為我們不會做出沒有目標和計劃的事情。
之所以會這樣,是因為生物學比我們想象的要復雜得多。我們可以調整晶體管,使用設計工具,但無法對生物做同樣的事情,設計工具需要追上生物學的步伐。所以我認為,生物學將成為Cadence的一個巨大產業(yè),你之前提到的1%機會,對生物學來說將是一個巨大的機遇。
生物學、交通運輸等,每個行業(yè)的應用都不盡相同,或涉及成像、粒子物理、流體、有限元等,算法也不同。Cadence和Nvidia都是數學和計算公司,這就是我們合作如此緊密的原因。當我和Anirudh一起時,我們都能很快理解對方,點頭便是明白,搖頭便是不理解。如果我們同時搖頭,那就說明我們遇到了麻煩。無論如何,我們始終專注于特定領域的加速計算。在過去30年里,我們在CUDA架構之上積累了大量特定領域的庫,涉及粒子、成像、人工智能等方方面面。
/ 02 / 黃仁勛最期待的三個行業(yè)
Anirudh Devgan:你在GTC上的主題演講非常精彩,以至于我建議你下次租用更大的體育館場地。你強調了幾乎所有行業(yè)的橫向賦能,但也提到了一些潛力巨大的行業(yè),比如你談到的生命科學、機器人和自動駕駛等。在短期或中期內,你最期待哪一兩個行業(yè)的發(fā)展?
Jensen Huang:你提到的數據中心和計算、汽車(我把它概括為機器人和自動系統(tǒng))、生物領域,正是我最感興趣的三個行業(yè)。
對于自動系統(tǒng)這一大類,無論是汽車、卡車、外賣機器人還是人形機器人,都有很多共同點。它們都需要多傳感器輸入、極其重視功能安全性,所以計算機的設計、驗證、認證非常重要。它們使用的不是普通的操作系統(tǒng),而是無故障安全操作系統(tǒng),系統(tǒng)設計要非常謹慎、專門化。當然,人工智能的使用也極為廣泛。而且這些系統(tǒng)都將與云和數據中心實時連接,以便更新新體驗、上報故障異常情況,并下載新模型。
我非常熱衷于這個全新的自主系統(tǒng)領域,我們將著手打造下一代人形機器人。制造一個人形機器人的成本可能會低于人們預期,可能只需1萬到2萬美元,而汽車的售價就在這個區(qū)間。人形機器人在為人類設計的環(huán)境中可能比人類更加靈活、高效,比如制造車間、倉庫等都是為人類設計的。所以我對這一領域很感興趣。
我也很期待我們能將生物學轉變?yōu)橐粋€工程領域??茖W發(fā)現的過程固然重要,但往往是零散和偶然的,這就是摩爾定律存在的原因。如果我們不轉向加速計算和AI,計算機行業(yè)也將受到摩爾定律的影響。這是因為我們所做的計算工作持續(xù)增長,但CPU的擴展能力已經放緩,因此我們將面臨計算成本上漲而非下降。所以我們必須轉向加速計算,以節(jié)省能源、時間和成本。我認為數字生物學將經歷一個整體復興,科學和工程將更加融合。生物學是一個非常復雜的領域,在這個領域還有很多創(chuàng)新空間。不過有一點是確定的,我們現在擁有了必要的工具,計算系統(tǒng)、算法能夠幫助我們處理大規(guī)模的、高度混沌的系統(tǒng)。正如你之前所說,將數據驅動方法與嚴謹的模擬方法融合,可能給了我們一線生機。
/ 03 / AI和數據中心的功耗問題
Anirudh Devgan:您對AI和數據中心的功耗問題有何看法?當然,我們可以進行優(yōu)化,一種方式是,加速計算實際上可以降低功耗,人們可能沒有意識到這一點。不知您對AI的功耗問題及其他可能的應對措施有何看法?
Jensen Huang:正如Anirudh在演講中所示,加速計算將成千上萬臺通用服務器(會消耗10-20倍的能源和成本)壓縮到非常密集的形態(tài)。人們之所以認為加速計算功耗很高、成本很大,正是由于加速計算的高密度造成的。但是,如果從完成的工作量或吞吐量角度看,加速計算實際上節(jié)省了大量資金。隨著CPU擴展能力放緩,轉向加速計算變得必不可少,因為傳統(tǒng)方式已無法繼續(xù)擴展。
其次,您在主題演講中非常精辟地指出,AI實際上有助于節(jié)能。如果不是您創(chuàng)建的AI模型,我們如何能找到6%或10倍的節(jié)能潛力?這是沒有AI無法實現的。你只需投資一次模型訓練,就能讓數百萬工程師獲益,數十億人在幾十年里從中獲得節(jié)能收益。所以我們不能只考慮單次的投資和成本,而要縱向地考慮醫(yī)療、氣候變化、資金和能源節(jié)約等長期影響。從這個角度看,AI在幫助我們應對氣候變化、節(jié)約能源等方面將產生深遠的變革作用。
/ 04 / 英偉達的管理秘訣
Anirudh Devgan:Jensen,你有著非常獨特的管理風格和領導力,組織機動性強、決策高效,這一點確實令人難以置信?,F場有很多工程師、經理和領導人,不知您是否能分享一些建議,如何將想法轉化為行動?
Jensen Huang:Nvidia管理體系和領導理念的核心,是為出色的員工創(chuàng)造條件,讓他們能夠做自己畢生的事業(yè)。要做到這一點,最重要的一點是授權他們獲取信息。我基本上所有決策都是公開透明的,而不是只對某個人密授,因為每個人都應該了解公司的信息和挑戰(zhàn)。
我也喜歡當著大家的面,合理地闡述思路。這迫使我們提出方向建議時植根于良好的推理,在影響他人的同時也在教導如何合理思考。能夠將一個復雜抽象的想法合理地闡釋到我們現在應該做什么或不做什么,這個過程極富啟發(fā)性,這也是Nvidia雖然只有2.8萬員工但實力超群的原因。幾乎每個人都有權基于推理做出合理決策。
最后,你的組織結構應該反映你打造的產品特性。Nvidia是一家全棧公司,我們做聯合設計,這就意味著不應該只用硬件團隊或軟件團隊單獨工作,而是要跨團隊同步,因為我們在做聯合設計。所以我努力營造一個環(huán)境,讓公司各層級的專家和貢獻者都能參與解決同一個問題。這就是我們的一些原則。