訂閱
糾錯
加入自媒體

AI大模型背后,竟是驚人的碳排放

自從ChatGPT這樣的大型語言模型在全球引起轟動以來,很少有人注意到,訓(xùn)練和運行大型語言模型正在產(chǎn)生驚人的碳排放量。

雖然OpenAI和谷歌都沒有說過他們各自產(chǎn)品的計算成本是多少,但據(jù)第三方研究人員分析,ChatGPT部分訓(xùn)練消耗了1287兆瓦時,并導(dǎo)致了超過550噸的二氧化碳排放量,這相當于一個人在紐約和舊金山之間往返550次。

事實上,這只是訓(xùn)練時的排放量,當AI大模型運行時還將排出更多的二氧化碳。

加拿大數(shù)據(jù)中心公司QScale聯(lián)合創(chuàng)始人Martin Bouchard認為,微軟和谷歌為了滿足搜索引擎用戶日益增長的需求,在搜索中加入ChatGPT這類生成式AI,會導(dǎo)致每次搜索至少增加4到5倍的計算量。

如果還要經(jīng)常重新訓(xùn)練模型,并添加更多的參數(shù),計算量的規(guī)模就完全不同了。

根據(jù)國際能源署(International Energy Agency)的數(shù)據(jù),數(shù)據(jù)中心的溫室氣體排放量已經(jīng)占到全球溫室氣體排放量的1%左右。

隨著AI大模型和對云計算需求的增長,這一數(shù)字預(yù)計還會上升。

AI大模型,正在成為碳排放的一個重要來源。

降低AI大模型的碳排放

AI模型的訓(xùn)練和運營過程需要消耗大量能源,但關(guān)鍵問題是,如何知道及測算單個機器學(xué)習(xí)實驗正在產(chǎn)生多少溫室氣體排放,以及可以減少多少?

目前數(shù)據(jù)科學(xué)家們?nèi)詿o法簡單可靠地獲取該領(lǐng)域的測量結(jié)果,這也妨礙著進一步制定可行的應(yīng)對策略。

針對這一問題,谷歌發(fā)表了一項研究,詳細介紹了最先進的語言模型的能源成本,包括早期和更大版本的LaMDA。

研究結(jié)果表明,將高效的模型、處理器和數(shù)據(jù)中心與清潔能源相結(jié)合,可以將機器學(xué)習(xí)系統(tǒng)的碳足跡減少1000倍。

該團隊提出了四種基本方法,可顯著減少機器學(xué)習(xí)工作負載的碳(和能源)足跡,這些方法目前在Google中使用,任何使用Google Cloud服務(wù)的人都可以使用。

Google能源和碳足跡減少最佳實踐(4Ms)如下:

模型:研究人員表示,選擇高效的ML模型架構(gòu)至關(guān)重要,因為它有可能提高ML質(zhì)量,同時將計算時間縮短一半。機器:與通用處理器相比,使用專門用于ML訓(xùn)練的處理器和系統(tǒng)可以將性能和能效提高2倍至5倍。

機械化:大多數(shù)情況下,本地數(shù)據(jù)中心更老、更小。因此,新的節(jié)能冷卻和配電系統(tǒng)的費用無法攤銷。

基于云的數(shù)據(jù)中心是全新的、定制設(shè)計的倉庫,具有可容納50000臺服務(wù)器的能效特性。它們提供異常高效的電源利用率 (PUE)。

因此,在云端而不是在本地進行計算,可以節(jié)省1.4-2倍的能源并減少污染。

優(yōu)化:云允許客戶選擇具有最清潔能源的區(qū)域,從而將總碳足跡減少5到10倍;4Ms改進的模型、特定于機器學(xué)習(xí)的硬件和高效的數(shù)據(jù)中心,大大抵消了這種負載增加。

谷歌的數(shù)據(jù)表明,機器學(xué)習(xí)訓(xùn)練和推理在過去三年中僅占谷歌整體能源使用量的10%至15%,其中每年有35%用于推理,25%用于訓(xùn)練。

為了找到改進的機器學(xué)習(xí)模型,谷歌采用了神經(jīng)架構(gòu)搜索 (NAS)。

每個問題域/搜索空間組合通常只執(zhí)行一次NAS,然后可以將生成的模型重復(fù)用于數(shù)百個應(yīng)用程序,NAS的一次性成本通常被持續(xù)使用的減排量所抵消。

研究人員進行了一項研究來訓(xùn)練Transformer模型。

為此,他們在典型的數(shù)據(jù)中心中使用了Nvidia P100 GPU,其能源組合與全球平均水平相似,而使用TPUv4等新一代ML硬件,性能比P100提升了14倍。

同時,高效的云數(shù)據(jù)中心比普通數(shù)據(jù)中心節(jié)省1.4倍的能源,從而使總能耗降低83倍。

此外,由低碳能源驅(qū)動的數(shù)據(jù)中心可以將碳排放量再減少9倍,從而在四年內(nèi)總共減少747倍。

谷歌團隊認為,在信息技術(shù)領(lǐng)域,制造各種類型和規(guī)模的計算設(shè)備的生命周期成本,比機器學(xué)習(xí)的運營成本要高得多。

排放估算的制造成本包括制造所有相關(guān)組件(從芯片到數(shù)據(jù)中心建筑)所排放的嵌入碳。

當然,除了使用4Ms方法,服務(wù)提供商和用戶還可以采取簡單的措施來提高他們的碳足跡績效,例如:

客戶應(yīng)通過讓數(shù)據(jù)中心提供商報告數(shù)據(jù)中心效率和每個位置的能源供應(yīng)清潔度,來分析和減少他們的能源使用和碳足跡。

工程師應(yīng)該在最環(huán)保的數(shù)據(jù)中心中最快的處理器上訓(xùn)練模型,這些數(shù)據(jù)中心越來越多地在云上。

機器學(xué)習(xí)的研究人員應(yīng)該專注于設(shè)計更有效的模型,如:利用稀疏性或包括檢索來減少模型。

此外,他們應(yīng)該報告他們的能源消耗和碳影響。這不僅會鼓勵超越模型質(zhì)量的競爭,而且還可以確保對他們的工作進行正確的核算。

AI助力降低碳排放

盡管AI大模型是碳排放大戶,但以AI為代表的前沿科技也正在為降碳減排做出貢獻。

百度與咨詢機構(gòu)IDC(International Data Corporation)聯(lián)合進行的研究顯示:與AI相關(guān)的技術(shù)減碳貢獻占比會逐年提升,到2060年將至少達到70%,減碳總量預(yù)計超過350億噸。

以交通行業(yè)為例,2020年中國交通行業(yè)的碳排放估測量為10.4億噸,占全國總體排放的9%。

而在驅(qū)動交通行業(yè)降碳減排過程中,使用以智能信控為主的緩堵型智能交通技術(shù),可以有效提升城市主要道路交叉口的通行效率,千萬級人口城市因此每年可至少減碳4.16萬噸——這相當于1.4萬輛私家車行駛一年的碳排量。

從目前的實踐來看,理解和實現(xiàn)減排的關(guān)鍵是對減排的效果進行預(yù)測和監(jiān)控,而AI在節(jié)能減排中具有預(yù)測排放、監(jiān)測排放、減少排放三個關(guān)鍵應(yīng)用。

據(jù)《碳中和產(chǎn)業(yè)發(fā)展白皮書》顯示,在預(yù)測排放方面,AI 能夠根據(jù)當前減排工作和需求,預(yù)測未來的碳排放量,同時為碳排放定下排放量指引。

在監(jiān)測排放方面,AI 能實時跟蹤碳足跡數(shù)據(jù),從采購、生產(chǎn)、銷售、運維、物流等全環(huán)節(jié)收集數(shù)據(jù),提升監(jiān)測準確性。

在減少排放方面,AI 收集各環(huán)節(jié)數(shù)據(jù)后,能夠以全局視角對各環(huán)節(jié)工作流程做出優(yōu)化調(diào)整。

事實上,在AI助力碳減排方面,目前國內(nèi)多個領(lǐng)域已有應(yīng)用。

在新能源領(lǐng)域,突出問題在于其具有波動性、隨機性、間歇性特點。

通過AI技術(shù)結(jié)合仿真計算,對風光電的不穩(wěn)定情況做場景預(yù)測,如:結(jié)合風速、風向、光照強度等自然氣象特征對未來的發(fā)電量進行合理的預(yù)測,向電網(wǎng)輸出更精準的發(fā)電計劃,將新能源的不確定性、不穩(wěn)定屏蔽在技術(shù)層之下。

再比如,水務(wù)集團的管轄范圍包括原水、制水、供水、排水、污水、節(jié)水等。

以居民供水為例,水壓過大,所需能耗大,管網(wǎng)漏損率高,可能會引起爆管事件;而水壓過小,可能會造成居民用水不便。

為了解決這一問題,水務(wù)集團在地下部署硬件傳感器監(jiān)測水壓、建設(shè)水務(wù)大腦,在保證安全、穩(wěn)定供水的前提下,通過AI技術(shù)可以實現(xiàn)智能化調(diào)壓控制、能耗優(yōu)化。

不僅如此,AI降碳技術(shù)也應(yīng)用在電廠、園區(qū)、數(shù)據(jù)中心等能源消耗較高的業(yè)務(wù)場景中,對其生產(chǎn)用電需求進行精確預(yù)測和控制,進行耗電設(shè)備、碳足跡的優(yōu)化。

結(jié)語

AI技術(shù)的進步給人類帶來了諸多便利,但也必須在發(fā)展中關(guān)注環(huán)境問題。

未來AI如何實現(xiàn)可持續(xù)發(fā)展,以及AI如何更好地支撐雙碳領(lǐng)域的變革,仍是亟需各行業(yè)共同解決的問題。

【科技云報道原創(chuàng)】

轉(zhuǎn)載請注明“科技云報道”并附本文鏈接

       原文標題 : AI大模型背后,竟是驚人的碳排放

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號