編譯 | 芯東西 尹明順
編輯 | 漠影
芯東西10月16日報道，今天在聯(lián)想創(chuàng)新科技大會上，英特爾和AMD宣布一個震圈消息：聯(lián)合成立x86生態(tài)系統(tǒng)顧問小組，以“確保x86架構(gòu)作為開發(fā)者和客戶首選的計算平臺持續(xù)發(fā)展和演進(jìn)”為目標(biāo)，要“在未來數(shù)十年延續(xù)x86卓越成就?！?/p>
這堪稱是歷史性的一次聯(lián)手。兩家當(dāng)了彼此40多年老對家的x86 CPU龍頭，此時并肩而立，為了共同的目標(biāo)——捍衛(wèi)x86架構(gòu)榮耀！
好巧不巧，這兩家芯片巨頭共同的勁敵——x86敵對陣營的半導(dǎo)體IP巨頭Arm和憑借AI計算平步青云的GPU巨頭英偉達(dá)，上周剛剛奉送了一場深度對話——Arm CEO瑞內(nèi)·哈斯（Rene Haas）的新播客節(jié)目開播，首期對話嘉賓便是英偉達(dá)創(chuàng)始人兼CEO黃仁勛。黃仁勛在交談期間特意提到自家基于Arm架構(gòu)的Grace CPU，夸它的能效是“世界上最好的CPU的4倍”。
這場千億市值與萬億市值半導(dǎo)體公司掌舵者之間的深度對談亮點紛呈，從英偉達(dá)怎么建立人才梯隊、如何搞定巨額收購和轉(zhuǎn)型，聊到對AI發(fā)展風(fēng)向的判斷，以及英偉達(dá)面向未來的投資。
本周英偉達(dá)股價再破歷史高位，市值超過3.3萬億美元，距離超越蘋果重返全球第一只差臨門一腳。黃仁勛的身價也水漲船高，總資產(chǎn)達(dá)1150億美元，超過英特爾總市值（969億美元）。英偉達(dá)的老搭檔Arm近幾個月股價同樣走勢上揚(yáng)，最新市值達(dá)到1579億美元。
在與哈斯的對談中，黃仁勛聊到要建立偉大的公司，就要找到偉大的人才。他透露說英偉達(dá)的員工流失率很低，有很多“有趣的人”，信息透明化做得很不錯。
他不僅分享了英偉達(dá)在招聘時考察面試者能力和適配性的策略，而且詳細(xì)回顧了如何順利收購美國網(wǎng)絡(luò)芯片廠商Mellanox并實現(xiàn)其產(chǎn)品組合的4倍增長。黃仁勛說，英偉達(dá)的新愿景是構(gòu)建AI超級集群，把整個數(shù)據(jù)中心變成計算單元。
談到對AI未來的預(yù)測，他更是不掩野心，稱AI發(fā)展速度比摩爾定律快得多，每年有望將AI成本降低到原來的1/3~1/2，而英偉達(dá)正通過給每個系統(tǒng)設(shè)計6~7款芯片，試圖重塑整個系統(tǒng)。他還解釋了CUDA的架構(gòu)理念，說行業(yè)軟件投資大約是硬件投資的千倍。
在他看來，降低成本是AI發(fā)展的關(guān)鍵，AI未來要做的是一些新事情，包括推理和物理AI，也就是教AI理解物理法則。
黃仁勛也聊到一些生活和工作插曲，比如他早上剛問過ChatGPT，還有他每天都在為發(fā)表主題演講做準(zhǔn)備，沒時間練習(xí)時只能硬著頭皮上。
以下是對該播客內(nèi)容的完整編譯（為提高可讀性，芯東西調(diào)整了部分問答的順序，并在不違背原意的前提下進(jìn)行了一定的增刪修改）。
01.揭秘英偉達(dá)招人策略，黃仁勛會找前雇主做背調(diào)
哈斯：非常榮幸可以與英偉達(dá)的CEO黃仁勛先生對話，他是一個真正具有遠(yuǎn)見的人，也是我的曾經(jīng)的老板和個人導(dǎo)師。我們將深入探討他的職業(yè)旅程，關(guān)于AI未來的暢想，探討英偉達(dá)獨特的創(chuàng)新意識以及推動技術(shù)邊界擴(kuò)展的雄心壯志，我們在圣克拉拉的英偉達(dá)總部進(jìn)行這場對談。現(xiàn)在英偉達(dá)已經(jīng)發(fā)展得如此龐大，我一直對招聘方面的事情感到好奇。英偉達(dá)具有獨一無二的文化，工作的方式方法也與眾不同，您是如何為英偉達(dá)篩選人才的？
黃仁勛：我們并不能經(jīng)常做到這一點，比如你就離開。人們都可以在面試中展現(xiàn)出自己最好的狀態(tài)，也都極力展現(xiàn)出自己非常合適這個崗位的樣子，通過對話也可以建構(gòu)一個近乎完美的個人形象。
現(xiàn)在人們還可以在YouTube學(xué)習(xí)到面試技巧。此外，人們也可以提前預(yù)測一些技術(shù)性難題并準(zhǔn)備好自己的答案。
我們盡可能讓面試過程變得嚴(yán)格、嚴(yán)謹(jǐn)，但依然難以準(zhǔn)確對面試者進(jìn)行評估。因此，我自己的方法是會進(jìn)行回溯查證，會問前雇主一些關(guān)于應(yīng)聘者的問題。
人可以“預(yù)制”一個精彩表現(xiàn)來欺騙別人，但卻無法改變過去，所以我覺得回溯查證是有效的。我也喜歡提出一個深入的問題，并去看一下他們?nèi)绾芜M(jìn)行推理。
歸根結(jié)底，我覺得英偉達(dá)總體還是成功的。如你所說，我們的人員流失率很低，這是一個多元化的環(huán)境，幕后也有很多有趣的人。我們的員工來自世界各地各大公司，但在這里他們?nèi)〉昧顺晒Α?/p>
因此，我認(rèn)為，建立一個偉大的公司就需要找到一些偉大的人才。另外一方面，公司也要創(chuàng)造一些條件，讓這些人做得能夠比他們想象中更好。
我們會花很多時間向應(yīng)聘者解釋公司的愿景以及戰(zhàn)略。公司也一直以清晰表述自身面臨的挑戰(zhàn)、機(jī)遇、戰(zhàn)略而被廣泛知曉。英偉達(dá)在信息透明化方面做的一直不錯。
我認(rèn)為，公司有太多的“信息孤島”時，其實并不利于公司發(fā)展。大家知道的越多反而越能夠為公司做出重要決定，我傾向于進(jìn)行信息公開化而不是限制信息。
所以，英偉達(dá)也常常被認(rèn)為是一個“最小”的大型公司。
我也傾向于向員工賦權(quán)，我們大約有3萬多的員工，他們每天大約要做上百個決策，如果所有員工都在做一些對公司有利的模糊性決策，那聚合起來將會非常有效的。
哈斯：有一件事也讓我很驚訝，我不知道是您精心篩選到了人才，還是因為偶然選擇...總之高層管理層非常能夠適應(yīng)各種不確定性，領(lǐng)導(dǎo)者會深入到不同的組織層面去確認(rèn)項目的重要性是嗎？這個過程究竟是什么樣的呢？在公司成長過程中，你們是如何獲得這些志同道合的伙伴的？
黃仁勛：我沒過問他們這些事，因為對于那些顯而易見的事情，你不需要得到所謂的許可。我們之所以這樣說，是因為英偉達(dá)從一開始就被設(shè)計為一家全棧計算公司，我們的目標(biāo)是打造GPU、CPU、網(wǎng)絡(luò)芯片和交換機(jī)，我們還要進(jìn)行芯片架構(gòu)的設(shè)計、開發(fā)系統(tǒng)軟件、創(chuàng)建算法，甚至開發(fā)求解器。
那么，該如何組織這樣一個既需要所有部門協(xié)同工作，又要分部分進(jìn)行工作的公司呢？
我們的解決方案就是，不設(shè)立組織壁壘，而是將組織視為領(lǐng)導(dǎo)者，培養(yǎng)員工、為員工創(chuàng)造條件以取得成功、為員工服務(wù)、幫助員工排除障礙等的場所。
重要的，領(lǐng)導(dǎo)者要堅守使命，這樣使命才會貫穿每個部門。使命可以跨越系統(tǒng)、芯片、網(wǎng)絡(luò)、軟件和算法，也可以跨越各種領(lǐng)域。
這樣的組織方式，需要我們提升信息透明度。組織之間的交流變多反而是能夠幫助我們獲得更多別人的意見與建議，可以幫助我們?nèi)ヲ炞C設(shè)想。所以我喜歡這樣的高透明度的運(yùn)作方式，每個人都在幫助我讓公司的氛圍變得更好。而不是讓一切都封鎖在黑色的壁壘中。
02.英偉達(dá)如何無縫收購Mellanox？黃仁勛解釋轉(zhuǎn)型策略與目標(biāo)
哈斯：你們差點就收購了我們（Arm），但最終你們卻收購了Mellanox。這不僅是一次出色的戰(zhàn)略性收購，從外部來看，它也非常順利的融入你們公司。就像你說的，使命高于一切。整個收購過程看起來十分順利，這是如何實現(xiàn)的呢？
黃仁勛：實際上還是很困難的，文化融合上很困難。Mellanox管理團(tuán)隊有十幾個人，十二個人已經(jīng)成為英偉達(dá)以色列管理團(tuán)隊E-staff的重要人員，我們現(xiàn)在要研究架構(gòu)、軟件系統(tǒng)、芯片、網(wǎng)絡(luò)架構(gòu)以及NVLink交換機(jī)等，此前我們只有InfiniBand產(chǎn)品線，但現(xiàn)在有了整個以太網(wǎng)的產(chǎn)品線。
合并后，Mellanox的產(chǎn)品組合增長了四倍。它們整合到了英偉達(dá)的方方面面，這次的轉(zhuǎn)型也讓我們回顧起上次收購，我們意識到，計算單元不再僅僅是GPU這樣的外設(shè)。
事實上，Arm也在幫助我們向一家SoC（片上系統(tǒng)）公司做轉(zhuǎn)型。此處要解釋一下SoC是什么，它基本上是一個完整的計算機(jī)系統(tǒng)。傳統(tǒng)計算機(jī)系統(tǒng)中，GPU是其中的一個部分，CPU先啟動，然后是ROM，再然后是操作系統(tǒng)，GPU是最后啟動的。但在SoC中，整個系統(tǒng)是一起啟動的。
因此英偉達(dá)從算法公司過渡到計算公司，是一次嘗試，也是一次轉(zhuǎn)型。最開始去做SoC對我們而言是很不容易的，但現(xiàn)在我們做出一些不錯的產(chǎn)品，未來就是去構(gòu)建一個系統(tǒng)，而DGX-1是我們的第一個系統(tǒng)。
我依然也很喜歡Shield，它是一個Android TV電腦，也是英偉達(dá)創(chuàng)建的第一個完整的系統(tǒng)，從中我們學(xué)到了許多東西。在那時，它是一個帶有顯示屏的PlayStation或者是Xbox控制器，我們當(dāng)時就在想應(yīng)該如何把它做好。時至今日，我們也依然對那個軟件進(jìn)行著更新。
Shield是由塑料制成的，而DGX-1重達(dá)600磅，這樣的轉(zhuǎn)變其實并不是什么大事。重要的是，我們現(xiàn)在能夠構(gòu)建系統(tǒng)，而在我們收購Mellanox之后，更大的愿景是計算機(jī)將不再僅僅是一個節(jié)點，而是整個數(shù)據(jù)中心，它將成為計算單元。
如果你無法將GPU、CPU、網(wǎng)絡(luò)接口、交換機(jī)等所有設(shè)備連接在一起，啟動整個系統(tǒng)，并在它們之間分配工作負(fù)載，那么你就無法真正理解如何建構(gòu)AI超級集群。
這個愿景如此清晰，對于激勵團(tuán)隊來說也至關(guān)重要。想要鼓勵團(tuán)隊需要非常清晰的愿景，而我們恰好擁有。那就是建構(gòu)超級集群，它的建構(gòu)需要兩家公司的共同努力，這個愿景非常具體。
作為CEO，你必須要把抽象的東西變得具體，然后公司才能夠?qū)嵺`。
03.預(yù)言AI發(fā)展速度：每年成本砍半，比摩爾定律快得多
哈斯：你和我在這個行業(yè)里待的時間差不多長，AI正在發(fā)生許多讓我們意想不到的事情，我本以為這種變革會在幾代人中逐步發(fā)展，但現(xiàn)在的一切是我從未預(yù)料到的，對我來說這好像進(jìn)入到了一個突破邊際的時候，我不知道除了AI領(lǐng)域外還會有哪些發(fā)展？或者說我們正在進(jìn)入一個什么樣的時代？
黃仁勛：我想我一直都期待計算機(jī)能夠執(zhí)行一些智能行為，我們編寫出如此出色的軟件，通過編寫算法讓計算機(jī)變得智能。
但我并未料想這會導(dǎo)致一場工業(yè)革命。AI首次超越傳統(tǒng)計算機(jī)行業(yè)，它可能不再是一個工具、儀器，而是制造業(yè)。
可以這樣來理解，我們在談話的時候口袋里有手機(jī)，如果不使用它，那它就不會為我做任何事情。大多數(shù)計算機(jī)都是這樣的，比如筆記本電腦。
然而我們正在建設(shè)的AI工廠，它時時刻刻都在運(yùn)行，無論你是否運(yùn)用它，它都在生產(chǎn)token，它們都在接收數(shù)據(jù)，過去的計算機(jī)如今變成了一個工廠，一個可以主動制造東西的地方，并且在大規(guī)模地生產(chǎn)有價值的東西，我們的行業(yè)正步入一個全新時代，我們正處于工業(yè)革命的開端。
哈斯：它的發(fā)展速度是否比你想的要快？你參與到了AlexNet和DGX-1等項目中，親眼目睹了創(chuàng)新發(fā)展的步伐，據(jù)我所知，自我接管Arm以來，我們深入研究了AI的發(fā)展，它的發(fā)展速度似乎比我兩年半前所想象的發(fā)展得更快。
黃仁勛：我們正努力讓它運(yùn)行得更快。我們已經(jīng)將周期縮短到了一年，原因是技術(shù)正在快速發(fā)展。而且，我們現(xiàn)在不僅僅是在制造芯片方面提速，我們也很了解芯片技術(shù)的進(jìn)步速度，如果幸運(yùn)的話，采用一個新的工藝，性能可能就會提升幾個百分點。
這太不可思議了，那么我們是如何做到每一代產(chǎn)品上都可以實現(xiàn)x倍的性能提升？我們主要的解決辦法是給每個系統(tǒng)設(shè)計6~7款芯片，然后我們使用協(xié)同設(shè)計的方法來對整個系統(tǒng)進(jìn)行重塑，并發(fā)明像NVLink交換機(jī)和新型系統(tǒng)機(jī)架這樣的新事物，它們可以幫助我們通過背板的銅線將所有GPU相連，并將它們放在一個非常大的封裝或者3D封裝中。目前我們也在開發(fā)新的技術(shù)來實現(xiàn)這個目標(biāo)。
我們每年能夠?qū)I的開發(fā)成本降低到原來的1/3~1/2，發(fā)展速度比摩爾定律快得多。所以，如果將這種進(jìn)展進(jìn)行復(fù)合計算，五年、六年、十年，我們就能讓AI成本降低到驚人的程度。
我們之所以這樣做，也是因為大家意識到了AI的重要性。如果我們能夠極大降低成本，那么我們就可以做一些新的事情，比如推理。
就像ChatGPT這個偉大的服務(wù)，我早上還用了它，輸入你的問題，只需要按下回車，稍許加載就會生成回復(fù)。在未來，它也可以用于迭代推理，從而輸出結(jié)果，也可能會經(jīng)過成百上千次的推理，那時候答案質(zhì)量也會好很多。
04.行業(yè)軟件投資是硬件的千倍，極度重視架構(gòu)兼容性
哈斯：我曾看過OpenAI模型的一個推理演示，誠如你所說，它會通過一個邏輯樹進(jìn)行決策的權(quán)衡，就像人類做決策一樣，但是速度非?？臁Ｗ屛页泽@的是，你引入全數(shù)據(jù)集和基礎(chǔ)設(shè)施的速度在業(yè)界也是前所未有的。CPU兩到三年通常都會更新一次，最終走向貶值。而現(xiàn)在，你們每年都在構(gòu)建新的系統(tǒng)，人們都在為盡快部署這些系統(tǒng)而買單。
黃仁勛：說起來比較容易，我們每年都在交付像這個房間這么大的新計算機(jī)，包括所有的布線、網(wǎng)絡(luò)、交換機(jī)和軟件等等。
哈斯：你怎么看？我不是想讓你預(yù)測未來，這更多是一個技術(shù)問題。它能以當(dāng)前的速度繼續(xù)發(fā)展下去嗎？
黃仁勛：我認(rèn)為可以，但是需要系統(tǒng)化的方式進(jìn)行，也就是說我們所做的一切都是有據(jù)可循的。這意味著，你為以前的集群開發(fā)的軟件，比如Hopper，這些軟件還可以在Blackwell、Rubin上運(yùn)行。而為Rubin創(chuàng)建的軟件，也可以在Hopper上運(yùn)行，架構(gòu)的兼容性很重要。
行業(yè)軟件上的投資比硬件大致千倍，軟件永遠(yuǎn)不會過時。所以你開發(fā)或者發(fā)布了某個軟件，你就要用一生去維護(hù)它。所以說，CUDA架構(gòu)理念并不是有數(shù)百萬人在為它編程，而是有數(shù)百萬乃至幾億個可與它兼容的GPU存在著。
哈斯：軟件不會過時。
黃仁勛：是的，因此你在一個GPU上的投資，都可以延續(xù)到其他GPU上，今天你所編寫的軟件，明天會變得更好。我們將來編寫的所有軟件都將在現(xiàn)有安裝基礎(chǔ)上運(yùn)行，所以首先，我們必須要有非常強(qiáng)烈的架構(gòu)意識。其次，即便是在系統(tǒng)層面，我們也非常重視架構(gòu)，我們會改變技術(shù)某些部分來推進(jìn)系統(tǒng)設(shè)計，而無需推翻之前的努力。
比如說，當(dāng)我們第一次進(jìn)入數(shù)據(jù)中心業(yè)務(wù)中時，一個超大規(guī)模數(shù)據(jù)中心的配電是每個機(jī)架12千瓦，而到了Blackwell時代，每個機(jī)架的配電已經(jīng)達(dá)到了120千瓦。密度提高了十倍，它節(jié)省了數(shù)百萬美元的服務(wù)器成本，節(jié)省了資金、能源和空間，真是太驚人了。
哈斯：與我們的故事很像，Arm架構(gòu)已經(jīng)存續(xù)30年了，我們的軟件有幾十年的編寫歷史。這也是人們總是不能理解的一點。
黃仁勛：我們關(guān)心每一塊Arm芯片上做的每一件事，前幾天還有人做了一些基準(zhǔn)測試，結(jié)果顯示，Grace的性能每瓦能量消耗是世界上最好的CPU的四倍。
這顯示出能源效率的重要性，能效是至關(guān)重要的，能效是一切。
05.從500兆瓦到5000兆瓦數(shù)據(jù)中心，怎么解決架構(gòu)升級挑戰(zhàn)？
哈斯：當(dāng)你從500兆瓦的數(shù)據(jù)中心升級到5000兆瓦的數(shù)據(jù)中心時，你是否關(guān)注到架構(gòu)上的問題是何時開始出現(xiàn)的？從高層物理角度來看都有哪些問題？
黃仁勛：一切都會失效，不會背離物理定律，這也是問題之所在。我們正在以非?？斓乃俣仍诠β拭芏惹€上攀升，呈現(xiàn)出指數(shù)增長態(tài)勢。從12千瓦到40千瓦，再到120千瓦、200千瓦，并且這個數(shù)值還會提升。我們正在盡可能提高計算密度、壓縮體積，通過這種做法，液體冷卻變得更加高效，從而可以更長時間使用銅來供給電信號。
長時間使用銅來導(dǎo)電也是好的，這樣就不必從電信號轉(zhuǎn)向光信號。雖然我們最終不得不轉(zhuǎn)向光信號，但我們還是盡可能堅持用電信號。
所以我們擁有的大多數(shù)數(shù)據(jù)中心都在采用電信號，電信號更具成本效益，更加節(jié)能也更加可靠。
此外，提高密度的另一個好處是，特定機(jī)架或相鄰機(jī)架中的所有GPU都可以作為一個巨型GPU來工作。這真的非常神奇。
06.時刻都在為演講做準(zhǔn)備，沒時間練習(xí)只能硬著頭皮上
哈斯：有一件事我很好奇，我記得在Computex上看過你做的主題演講，那是在一個周日的晚上，你講述的內(nèi)容量之大令人難以置信，我非常好奇你是如何做到的，你是否進(jìn)行了大量的排練？記得我們一起工作的時候，在演講前一天晚上你還在修改，最后你做得很好。包括現(xiàn)在你講述深入程度也在提升，特別是你在談?wù)摂?shù)據(jù)中心架構(gòu)時，可以展開非常詳細(xì)的分享。你是如何準(zhǔn)備這些事的？
黃仁勛：我們每天都在為此（演講）做準(zhǔn)備，你知道的，我們的工作不是演員。所以說，我們在這一個領(lǐng)域內(nèi)每天都要做這些事，很多事情說到底其實就是教學(xué)。為塑造一個行業(yè)、市場、引入我們的新想法，但這并不是廣告。
作為一家公司，我們不能單獨完成一些工作，需要合作伙伴，所以我們要專注于教學(xué)、啟發(fā)、展示或者是演示。并且希望一步步地讓更多人了解并相信CUDA。今天越來越多的人相信英偉達(dá)的加速計算，并愿意與我們共同步入AI之旅。
我們未來要做的，是物理AI，教會AI物理法則，理解物理定律。這個旅途十分漫長，GTC和Computex都是我們的機(jī)遇，在那里，我們慶祝生態(tài)系統(tǒng)的成功建構(gòu)，展示所做的工作，并要啟發(fā)更多人思考下一個目標(biāo)。
哈斯：非常相似，我們會做QBU、做演講，我的首席幕僚會說，天哪，幻燈片很容易啊，這就是你整天都在說的那些內(nèi)容呀。我也在想，實際上有什么不一樣的呢？
黃仁勛：依然很難，說實話，我們不做練習(xí)。但不是因為我們主動地選擇不練習(xí)。而是因為，當(dāng)我們把所有的東西準(zhǔn)備好后，就沒有時間練習(xí)了，所以我們只能硬著頭皮上。
哈斯：您所描述的清晰的愿景和持續(xù)前進(jìn)的動力只有極少數(shù)的公司能夠做到，30年后你還在領(lǐng)導(dǎo)這家公司。不言而喻，你已經(jīng)取得了巨大的成功。但是，你剛才描述的那些，是否只能由創(chuàng)始人領(lǐng)導(dǎo)公司來實現(xiàn)呢？
黃仁勛：不是的，我不這樣想。就像你在Arm公司做的很不錯，在我看到你工作時，我覺得非常自豪。
哈斯：我是從你那學(xué)到的。
黃仁勛：我認(rèn)為這需要你本身就有很強(qiáng)的韌性和毅力。成功的路上會有很多挫折，并不是一個成就接著一個成就出現(xiàn)的。在苦難中，會讓我們學(xué)到很多，讓我們變得強(qiáng)大，回過頭去，你也會為自己、為公司感到自豪，在公司里充滿了許多挫折故事。
他們大多數(shù)都會覺得：“哦，這次困難遠(yuǎn)不及那次?！泵看斡龅嚼щy的時候，他們都會說：“哦，這沒什么。這根本不算什么?！彼哉f能夠回憶起之前的苦難時期，就會覺得現(xiàn)在這個情況沒什么大不了的，這能夠讓公司在苦難中繼續(xù)前行。
來源：Tech Unheard Podcast