亚洲综合第一欧美日韩中文,91精品免费久久久久久久久,国产精品久久永久免费

AI大模型背后,竟是驚人的碳排放

文章來源:科技云報道碳交易網(wǎng)2023-03-06 17:05

降低AI大模型的碳排放

 
AI模型的訓(xùn)練和運營過程需要消耗大量能源,但關(guān)鍵問題是,如何知道及測算單個機器學(xué)習(xí)實驗正在產(chǎn)生多少溫室氣體排放,以及可以減少多少?
 
目前數(shù)據(jù)科學(xué)家們?nèi)詿o法簡單可靠地獲取該領(lǐng)域的測量結(jié)果,這也妨礙著進一步制定可行的應(yīng)對策略。
 
針對這一問題,谷歌發(fā)表了一項研究,詳細(xì)介紹了最先進的語言模型的能源成本,包括早期和更大版本的LaMDA。
 
研究結(jié)果表明,將高效的模型、處理器和數(shù)據(jù)中心與清潔能源相結(jié)合,可以將機器學(xué)習(xí)系統(tǒng)的碳足跡減少1000倍。
 
該團隊提出了四種基本方法,可顯著減少機器學(xué)習(xí)工作負(fù)載的碳(和能源)足跡,這些方法目前在Google中使用,任何使用Google Cloud服務(wù)的人都可以使用。
 
Google能源和碳足跡減少最佳實踐(4Ms)如下:
 
模型:研究人員表示,選擇高效的ML模型架構(gòu)至關(guān)重要,因為它有可能提高ML質(zhì)量,同時將計算時間縮短一半。
 
機器:與通用處理器相比,使用專門用于ML訓(xùn)練的處理器和系統(tǒng)可以將性能和能效提高2倍至5倍。
 
機械化:大多數(shù)情況下,本地數(shù)據(jù)中心更老、更小。 因此,新的節(jié)能冷卻和配電系統(tǒng)的費用無法攤銷。
 
基于云的數(shù)據(jù)中心是全新的、定制設(shè)計的倉庫,具有可容納50000臺服務(wù)器的能效特性。 它們提供異常高效的電源利用率 (PUE)。
 
因此,在云端而不是在本地進行計算,可以節(jié)省1.4-2倍的能源并減少污染。
 
優(yōu)化:云允許客戶選擇具有最清潔能源的區(qū)域,從而將總碳足跡減少5到10倍。
 
基于4Ms改進的模型、特定于機器學(xué)習(xí)的硬件和高效的數(shù)據(jù)中心,大大抵消了這種負(fù)載增加。
 
谷歌的數(shù)據(jù)表明,機器學(xué)習(xí)訓(xùn)練和推理在過去三年中僅占谷歌整體能源使用量的10%至15%,其中每年有35%用于推理,25%用于訓(xùn)練。
 
為了找到改進的機器學(xué)習(xí)模型,谷歌采用了神經(jīng)架構(gòu)搜索 (NAS)。
 
每個問題域/搜索空間組合通常只執(zhí)行一次NAS,然后可以將生成的模型重復(fù)用于數(shù)百個應(yīng)用程序,NAS的一次性成本通常被持續(xù)使用的減排量所抵消。
 
研究人員進行了一項研究來訓(xùn)練Transformer模型。
 
為此,他們在典型的數(shù)據(jù)中心中使用了Nvidia P100 GPU,其能源組合與全球平均水平相似,而使用TPUv4等新一代ML硬件,性能比P100提升了14倍。
 
同時,高效的云數(shù)據(jù)中心比普通數(shù)據(jù)中心節(jié)省1.4倍的能源,從而使總能耗降低83倍。
 
此外,由低碳能源驅(qū)動的數(shù)據(jù)中心可以將碳排放量再減少9倍,從而在四年內(nèi)總共減少747倍。
 
谷歌團隊認(rèn)為,在信息技術(shù)領(lǐng)域,制造各種類型和規(guī)模的計算設(shè)備的生命周期成本,比機器學(xué)習(xí)的運營成本要高得多。
 
排放估算的制造成本包括制造所有相關(guān)組件(從芯片到數(shù)據(jù)中心建筑)所排放的嵌入碳。
 
當(dāng)然,除了使用4Ms方法,服務(wù)提供商和用戶還可以采取簡單的措施來提高他們的碳足跡績效,例如:
 
客戶應(yīng)通過讓數(shù)據(jù)中心提供商報告數(shù)據(jù)中心效率和每個位置的能源供應(yīng)清潔度,來分析和減少他們的能源使用和碳足跡。
 
工程師應(yīng)該在最環(huán)保的數(shù)據(jù)中心中最快的處理器上訓(xùn)練模型,這些數(shù)據(jù)中心越來越多地在云上。
 
機器學(xué)習(xí)的研究人員應(yīng)該專注于設(shè)計更有效的模型,如:利用稀疏性或包括檢索來減少模型。
 
此外,他們應(yīng)該報告他們的能源消耗和碳影響。這不僅會鼓勵超越模型質(zhì)量的競爭,而且還可以確保對他們的工作進行正確的核算。 本`文@內(nèi)-容-來-自;中^國_碳0排0放^交-易=網(wǎng) ta n pa i fa ng . co m
 
【版權(quán)聲明】本網(wǎng)為公益類網(wǎng)站,本網(wǎng)站刊載的所有內(nèi)容,均已署名來源和作者,僅供訪問者個人學(xué)習(xí)、研究或欣賞之用,如有侵權(quán)請權(quán)利人予以告知,本站將立即做刪除處理(QQ:51999076)。
关注易碳家微信公众号
中国碳市场最新资讯
一扫即得
关注碳学会微信公众号
免费学习碳交易
业内大咖答疑解惑
安装易碳家APP
碳K线、工具、资讯
专业人士的必备软件

省區(qū)市分站:(各省/自治區(qū)/直轄市各省會城市碳交易所,碳市場,碳平臺)

華北【北京、天津、河北石家莊保定、山西太原、內(nèi)蒙】東北【黑龍江哈爾濱、吉林長春、遼寧沈陽】 華中【湖北武漢、湖南長沙、河南鄭州】
華東【上海、山東濟南、江蘇南京、安徽合肥、江西南昌、浙江溫州、福建廈門】 華南【廣東廣州深圳、廣西南寧、海南海口】【香港,澳門,臺灣】
西北【陜西西安、甘肅蘭州、寧夏銀川、新疆烏魯木齊、青海西寧】西南【重慶、四川成都、貴州貴陽、云南昆明、西藏拉薩】
關(guān)于我們|商務(wù)洽談|廣告服務(wù)|免責(zé)聲明 |隱私權(quán)政策 |版權(quán)聲明 |聯(lián)系我們|網(wǎng)站地圖
批準(zhǔn)單位:中華人民共和國工業(yè)信息部 國家工商管理總局? 指導(dǎo)單位:發(fā)改委 生態(tài)環(huán)境部 國家能源局 各地環(huán)境能源交易所
電話:13001194286
Copyright@2014 tanpaifang.com 碳排放交易網(wǎng) All Rights Reserved
國家工信部備案/許可證編號京ICP備16041442號-7
中國碳交易QQ群:?6群碳交易—中國碳市場??5群中國碳排放交易網(wǎng)
<strong id="j0xlh"><bdo id="j0xlh"></bdo></strong>

<strong id="j0xlh"><i id="j0xlh"></i></strong>
      1. 
        
          主站蜘蛛池模板: 瑞金市| 昌平区| 兰溪市| 于都县| 象州县| 岑巩县| 霞浦县| 井研县| 福泉市| 曲麻莱县| 申扎县| 邳州市| 阿城市| 青州市| 伊春市| 保山市| 蓝田县| 永善县| 龙泉市| 沛县| 东兰县| 共和县| 文安县| 岳西县| 昭通市| 康马县| 金秀| 邹城市| 河北区| 苗栗县| 隆化县| 治县。| 彝良县| 蓬溪县| 汝城县| 建瓯市| 湾仔区| 苍梧县| 黔南| 宁蒗| 车险|