文 | Shushu 環(huán)球零碳研究中心

最近關(guān)于AI聊天創(chuàng)作工具ChatGPT的討論很多。這是伊隆·馬斯克創(chuàng)建的OpenAI公司所研發(fā)。

先是微軟宣布再砸100億美金入股OpenAI，然后亞馬遜和美版“今日頭條”BuzzFeed宣布將在日常工作中啟用ChatGPT，同時(shí)，百度也宣布將于3月推出“中國版”的ChatGPT聊天機(jī)器人。在多家科技公司推波助瀾后，ChatGPT瞬間引發(fā)全球關(guān)注。

一些網(wǎng)友開始瘋狂測試ChatGPT，比如寫代碼、寫劇本、寫小說、寫新聞、寫作業(yè)、廣告文案、知識搜查，甚至玩游戲等，而ChatGPT展現(xiàn)的能力也不負(fù)眾望，不僅對答如流，甚至還充滿智慧，洞察人性，比真人回答都絲毫不差。

還有一些網(wǎng)友開始談?wù)揅hatGPT的投入成本，像谷歌、華為、特斯拉、微軟、Meta、蘋果等，每年投入數(shù)以百億美元的研發(fā)費(fèi)用，被稱為燒錢無底洞。

但是，很少有人談?wù)揅hatGPT模型的環(huán)境成本。

我們要意識到，即使是數(shù)字產(chǎn)品也需要能源來開發(fā)和消耗。據(jù)統(tǒng)計(jì)，信息和通信技術(shù) (ICT) 行業(yè)和數(shù)據(jù)中心行業(yè)在全球溫室氣體排放中所占比例相對較大，約占全球電力消耗的3-5%。

如果這些數(shù)字產(chǎn)品（從我們手機(jī)上運(yùn)行的應(yīng)用程序到在云端運(yùn)行的數(shù)據(jù)），一旦所消耗的電力不是由可再生能源產(chǎn)生的，就會產(chǎn)生碳排放。這就是機(jī)器學(xué)習(xí)模型，也會產(chǎn)生碳排放的原因。ChatGPT也不例外。

谷歌曾表示，公司總能源消耗的15%用于研究、開發(fā)和生產(chǎn)中與機(jī)器學(xué)習(xí)相關(guān)的計(jì)算。據(jù)NVIDIA和亞馬遜估計(jì)，機(jī)器學(xué)習(xí)工作中推理處理占算力消耗的80%-90%。

這些模型所消耗的能源也影響著氣候變化。在本文中，我們將從碳足跡的角度來看一下ChatGPT對環(huán)境的影響。

這里我們可以采用廣泛使用的生命周期評估 (LCA)法，該法旨在涵蓋產(chǎn)品或過程生命周期的所有階段。

雖然生命周期評估 (LCA)法通常是評估產(chǎn)品從搖籃到墳?zāi)沟恼麄€(gè)階段的碳排放，這將考慮到原材料提取的所有過程對環(huán)境的影響。但此次對于ChatGPT的評估是僅專注于從制造設(shè)備到模型部署運(yùn)行，如下圖。

綠色部分為本次算ChatGPT生命周期碳足跡的3個(gè)主要階段，分別為設(shè)備制造，模型訓(xùn)練，模型部署和運(yùn)行。

那么，這3個(gè)主要階段中，ChatGPT的碳排放究竟是多少？

01 ChatGPT設(shè)備制造階段的隱形碳排放

首先，我們來看設(shè)備制造階段碳排放。

因目前關(guān)于ChatGPT的設(shè)備制造相關(guān)信息有限，我們以另一個(gè)大型語言模型BLOOM的設(shè)備制造碳排放作為類比，來推測ChatGPT該階段碳排放。

據(jù)了解，BLOOM和ChatGPT的前身GPT-3的模型大小大致相同，分別為176b和175b參數(shù)，因此設(shè)備方面也具有一定相似性。

設(shè)備制造階段的碳排放被稱為隱含碳。這是生產(chǎn)產(chǎn)品所涉及材料和過程相關(guān)的排放，例如訓(xùn)練和部署模型所需的計(jì)算設(shè)備。雖然這些排放的產(chǎn)生僅限于制造過程，但這一總量通常分布在設(shè)備使用期間，方法是將這部分排放總量除以使用時(shí)間。

BLOOM模型在含有Nvidia A100 40GB GPU的HPE Apollo 6500 Gen10 Plus服務(wù)器上進(jìn)行訓(xùn)練。根據(jù)相關(guān)資料，與HPE Apollo類似的服務(wù)器生產(chǎn)碳足跡2500kgCO2e（二氧化碳當(dāng)量）。這不包括服務(wù)器中使用的GPU的隱含碳排放，以論文[11]中估算，GPU的碳足跡約為150kgCO2e（二氧化碳當(dāng)量）。

以IDRIS的數(shù)據(jù)，假設(shè)以6年的更換率和85%的平均使用率，用排放總量除以使用時(shí)間轉(zhuǎn)化為后，服務(wù)器每小時(shí)約0.056kgCO2e，GPU每小時(shí)約0.003kgCO2e。

根據(jù)[11]中表示，BLOOM訓(xùn)練總時(shí)間共持續(xù)108萬小時(shí)，平均使用48個(gè)計(jì)算節(jié)點(diǎn)上的384個(gè)GPU，我們可以估計(jì)與模型訓(xùn)練相關(guān)的服務(wù)器隱含碳排放大約為7.57噸和GPU3.64噸，總計(jì)約11.2噸。

以此類推，根據(jù)相關(guān)資料顯示，ChatGPT的訓(xùn)練時(shí)間大約比BLOOM長3倍，單從這個(gè)角度估算，估算ChatGPT中模型訓(xùn)練的隱含碳排放總量約為33.6噸。

不過這部分隱含碳還不包括其余計(jì)算基礎(chǔ)設(shè)施（如網(wǎng)絡(luò)交換機(jī)、冷卻設(shè)備和其他設(shè)備）的隱含排放。

02 ChatGPT模型訓(xùn)練階段的碳排放

其次，估算模型訓(xùn)練階段碳排放。

因?yàn)镃hatGPT是基于GPT-3的一個(gè)升級版本，在GPT-3的模型架構(gòu)基礎(chǔ)上進(jìn)行了優(yōu)化并在訓(xùn)練時(shí)期增加了強(qiáng)化學(xué)習(xí)。以網(wǎng)上公開的數(shù)據(jù)表示，訓(xùn)練一個(gè)GPT-3約消耗1287 MWh（兆瓦時(shí)）的電，相當(dāng)于排放了552噸碳。

但由于強(qiáng)化學(xué)習(xí)需要額外消耗的電力，ChatGPT在模型訓(xùn)練階段所產(chǎn)生的碳排放將大于552噸。

從這些大型語言模型的碳排放來看，ChatGPT前身GPT-3碳排放最大。據(jù)悉，美國人平均每年產(chǎn)生16.4噸碳排放，丹麥人平均每年產(chǎn)生11噸碳排放。因此，ChatGPT的模型訓(xùn)練碳排放多于50個(gè)丹麥人每年的碳排放。

03 運(yùn)行推理過程中ChatGPT的碳排放

再來估計(jì)運(yùn)行推理階段碳排放。

假設(shè)繼續(xù)把BLOOM作為類比，可以推測ChatGPT運(yùn)行階段的碳排放。

大型語言模型BLOOM曾在具有16個(gè)Nvidia A100 40GB GPU的Google Cloud Platform實(shí)例上部署并運(yùn)行了18天，共432小時(shí)。

前面提到BLOOM與ChatGPT前身GPT-3的模型大小大致相同，因此我們假設(shè)把相同的硬件用于ChatGPT，并在16個(gè)Nvidia A100 40GB GPU上運(yùn)行，并推測硬件利用率始終為100%。

由于ChatGPT公司OpenAI的總部位于美國舊金山，所以猜測ChatGPT的托管在美國西部。

使用ML CO2 Impact計(jì)算器，我們可以估算ChatGPT的每日碳排放為25.92 kg，如下：

實(shí)際上16個(gè)A100 GPU的計(jì)算能力并不能滿足真實(shí)的需求，如果假設(shè)ChatGPT每天有100萬用戶咨詢，每個(gè)用戶有10個(gè)問題，每個(gè)問題有30個(gè)單詞，ChatGPT的每個(gè)響應(yīng)詞在A100 GPU上需要350毫秒，以此來計(jì)算：

100萬用戶*10個(gè)問題=10,000,000個(gè)響應(yīng)=每天300,000,000個(gè)單詞*每個(gè)單詞0.35秒/每小時(shí)3,600秒=每天29,167小時(shí)的A100 GPU時(shí)間

根據(jù)Cloud Carbon Footprint列出ChatGPT的Azure數(shù)據(jù)中心中A100的最低功耗46W（瓦特）和最高 407W（瓦特）。為了方便計(jì)算，假設(shè)ChatGPT處理器都處于工作狀態(tài)，因此取該范圍的頂端消耗值。

每天29,167小時(shí)* 407W = 11,870kWh（千瓦時(shí)）

根據(jù)Cloud Carbon Footprint，美國西部的排放因子為0.000322167噸/千瓦時(shí)，所以ChatGPT運(yùn)行階段的碳排放是：

0.000322167 * 11,870 = 每天3.82噸

04 ChatGPT的總生命周期碳足跡

根據(jù)以上計(jì)算，我們最后合算總生命周期碳足跡。

自ChatGPT于2022年11月30日上線以來，運(yùn)行約60天，我們可以非常簡單粗略得到：

CHATGPT制造設(shè)備碳排放>33.41噸

CHATGPT模型訓(xùn)練碳排放>552噸

CHATGPT運(yùn)行60天碳排放≈3.82噸*60天≈229.2噸

三者相加后，CHATGPT自上線以來的生命周期碳足跡將大于814.61噸CO2e。

這個(gè)數(shù)值估計(jì)是基于一些粗略的假設(shè)，因此帶有很多不確定性，但與BLOOM等的可比較語言模型的碳足跡的全面估計(jì)相比，也存在一定合理性。

不過，本文僅關(guān)注ChatGPT的CO2e排放量。除了CO2e排放外，其他類型的環(huán)境影響，包括用水、空氣污染、土壤污染等，也需要重點(diǎn)考慮。

最后，通過這個(gè)初步計(jì)算，希望能啟發(fā)機(jī)器學(xué)習(xí)模型的開發(fā)人員披露他們模型準(zhǔn)確的能耗或碳足跡。只有真正了解到這些信息，才能在我們討論如何減少我們的足跡時(shí)，優(yōu)先解決那些產(chǎn)生最大碳減排的問題，同時(shí)評估模型的性能。

參考資料：

[1]https://arxiv.org/ftp/arxiv/papers/2204/2204.05149.pdf

[2]https://openai.com/blog/chatgpt/

[3]https://arxiv.org/pdf/2211.02001.pdf

[4]https://news.microsoft.com/2019/07/22/openai-forms-exclusive-computing-partnership-with-microsoft-to-build-new-azure-ai-supercomputing-technologies/

[5]https://arxiv.org/pdf/2111.00364.pdf

[6]https://kefm.dk/aktuelt/nyheder/2021/apr/foerste-officielle-vurdering-af-danmarks-globale-klimaaftryk

[7]https://storymaps.arcgis.com/stories/5417cd9148c248c0985a5b6d028b0277

[8]https://medium.com/towards-data-science/how-to-estimate-and-reduce-the-carbon-footprint-of-machine-learning-models-49f24510880

[9]https://towardsdatascience.com/the-carbon-footprint-of-chatgpt-66932314627d

[10]https://mlco2.github.io/impact/#publish

[11]ESTIMATING THE CARBON FOOTPRINT OF BLOOM, A 176B PARAMETER LANGUAGE MODEL

[12]https://towardsdatascience.com/how-to-estimate-and-reduce-the-carbon-footprint-of-machine-learning-models-49f24510880