亚洲综合第一欧美日韩中文,91精品免费久久久久久久久,国产精品久久永久免费

深度學習模型并非“越大越好”,它可能引起氣候變化問題

文章來源:科技薈萃碳交易網2020-06-23 09:56

人工智能的能源使用和碳排放

 
既然提到了人工智能能量消耗和碳排放之間的關系。那么思考這種關系的最好方式是什么呢?
 
EPA數據顯示,在美國,一千瓦時的能耗平均會產生0.954磅的二氧化碳排放量。這個平均值,反應了美國能源網中不同能量來源(例如可再生能源、核能、天然氣、煤炭)的相對比例和碳足跡的變化。
 
上述提到的那篇2019年研究分析,采用了全美國的平均值,以便根據各種人工智能模型的能量需求來計算碳排放量。這是一個比較合理的假設。例如,亞馬遜網絡服務公司(Amazon Web Services)的電力來源組合,大致反應了美國整體的電力來源,而且絕大多數的人工智能模型都是在云端進行訓練的。
 
當然,如果使用主要由可再生能源產生的電力訓練人工智能模型,那么碳足跡也會相應地降低。例如,與AWS相比,谷歌云平臺(Google Cloud Platform)使用的電力結構在可再生能源方面的比重更大。(上述那篇2019年研究論文顯示,兩家公司的這一比例分別為56%和17%。)
 
或者,舉另一個例子,如果在太平洋西北部的硬件上訓練一個模型,所產生的碳排放量會低于其他國家,這是因為這一地區擁有豐富的清潔水源。而在這方面,每一家云服務提供商都在鼓吹自己在碳補償方面的投資。
 
總體而言,使用美國總體能源平均值,應該可以大致準確地估算出人工智能模型的碳足跡。
 
效益遞減
 
通過不斷變大的模型,追求人工智能進步的做法,凸顯了模型規模和模型性能之間的關系。下列數據顯示得很清楚:模型規模的增加,最終會導致性能回報的急劇下降。
 
比如,ResNet是2015年發布的一個著名計算機視覺模型。該模型的改進版本稱為ResNeXt,于2017年問世。與ResNet相比,ResNeXt所需的計算資源要多35%(以總浮點運算來衡量),準確度卻只提高了0.5%。
 
艾倫人工智能研究所(Allen AI Institute)2019年的一篇論文提供了詳細的數據,記錄了不同任務、模型和人工智能子領域中的效益遞減問題。與GPT-2相比,最新發布的大型模型GPT-3出現了明顯的效益遞減跡象。
 
如果人工智能社區仍然繼續沿著當前的研究方向前進,就會不斷的構建越來越大的模型,耗費越來越多的能源,以實現越來越小的性能提升。任何成本/收益分析都會變得越來越比例失調。
 
既然存在效益遞減的問題,又是什么在推動著模型不斷地朝著越來越大的方向發展呢?一個主要的原因是,當前人工智能社區對獲取“最好的”性能基準測試結果非常關注。構建一個新模型,能夠在性能基準測試中創下新的準確性記錄,即便成績提升僅僅是微不足道的一點,也可以贏得研究人員的認可和好評。
 
正如加州大學洛杉磯分校(UCLA)的教授Guy Van den Broeck所說:“我認為對這種情況的一個最好的比喻,就是某個富油的國家能夠建造一座很高的摩天大樓。當然,建造這樣的東西需要花很多錢,還有很多的工程工作。你也確實可以在建造這座高樓的時候,獲得‘最先進的技術’。但是……這件事在本質上并沒有什么科學上的進步。”
 
在當前的人工智能研究領域,占據主導地位的“越大越好”思路,可能會在未來幾年對環境造成重大的破壞。需要在這個領域內進行思慮周詳但又大膽的變革,讓人工智能技術的發展變得更加可持續,并更具生產力。
 
展望未來
 
首先,每一位人工智能從業人員都應該考慮,如何在短期內“快速制勝”,以減輕其研究對碳足跡的影響。
 
重要的第一步是,提高這個問題的透明度和度量程度。當人工智能研究人員們發布新模型的結果時,除了性能和準確性指標之外,他們還應該公布在模型開發中消耗了多少能量的數據。
 
經過深入徹底的分析,艾倫人工智能研究所的團隊建議,將「浮點運算」作為研究人員追蹤的最通用、也是最有效的能效度量標準。另一組研究人員創建了一個機器學習排放計算器,從業人員可以使用這個計算器來評估他們構建的模型的碳足跡(根據硬件、云服務提供商和地理區域等因素)。
 
遵循這些思路,綜合考慮能源成本和性能收益的做法,將成為研究人員們在訓練模型時的最佳實踐。明確地量化這種關系,將促使研究人員在面對效益遞減問題時,對資源分配做出更明智、更平衡的決定。
 
隨著可持續人工智能實踐的擴散,希望人工智能社區能夠在評估人工智能研究的時候,開始考慮這些效率指標,就像今天我們對傳統性能指標(例如準確性)采取的做法一樣:在會議論文提交、演講、學術角色中考慮它們。
 
還有一些已經相對比較成熟的方法,能夠幫助人工智能技術在近期減少碳足跡:使用更有效的超參數搜索方法、減少訓練過程中不必要的實驗次數、使用更高能效的硬件等。
 
但是,單靠這些補救措施并不足以解決這個問題。人工智能領域需要更根本的長期轉變。
 
我們需要退后一步,并且承認,僅僅依靠建立越來越大的神經網絡并非通往通用智能的正確途徑。我們需要推動自己去發現更優雅、更有效的方法,來對機器中的智能進行建模。我們正在持續不斷地同氣候變化進行斗爭,這是一場關乎地球未來的戰爭。
 
在此引用人工智能傳奇人物、深度學習教父Geoff Hinton的話:“未來取決于那些‘對我所說的一切’都深表懷疑的研究生……我的觀點是將其全部拋棄并重新開始。”
 
人工智能社區必須開始致力于開創人工智能的新范例,這些范例應該既不需要指數級增長的數據集,也不需要龐大的能源消耗。小樣本學習(few-shot learning)等新興研究領域,都是有前途的途徑。
 
人類的大腦——智力的原始來源提供了重要的啟發。和當今的深度學習方法相比,我們大腦的效率高得不可思議。它們只有幾磅重,大概只需要20瓦左右的能量消耗,這個能耗只能夠給昏暗的燈泡供電。然而,它們代表了已知宇宙中最強大的智力形式。
 
人工智能研究人員Siva Reddy指出:“人類的大腦用很少的能量消耗,就能夠完成令人驚嘆的事情。問題是我們如何建造出這樣的機器來。”
【版權聲明】本網為公益類網站,本網站刊載的所有內容,均已署名來源和作者,僅供訪問者個人學習、研究或欣賞之用,如有侵權請權利人予以告知,本站將立即做刪除處理(QQ:51999076)。

省區市分站:(各省/自治區/直轄市各省會城市碳交易所,碳市場,碳平臺)

華北【北京、天津、河北石家莊保定、山西太原、內蒙】東北【黑龍江哈爾濱、吉林長春、遼寧沈陽】 華中【湖北武漢、湖南長沙、河南鄭州】
華東【上海、山東濟南、江蘇南京、安徽合肥、江西南昌、浙江溫州、福建廈門】 華南【廣東廣州深圳、廣西南寧、海南海口】【香港,澳門,臺灣】
西北【陜西西安、甘肅蘭州、寧夏銀川、新疆烏魯木齊、青海西寧】西南【重慶、四川成都、貴州貴陽、云南昆明、西藏拉薩】
關于我們|商務洽談|廣告服務|免責聲明 |隱私權政策 |版權聲明 |聯系我們|網站地圖
批準單位:中華人民共和國工業信息部 國家工商管理總局? 指導單位:發改委 生態環境部 國家能源局 各地環境能源交易所
電話:13001194286
Copyright@2014 tanpaifang.com 碳排放交易網 All Rights Reserved
國家工信部備案/許可證編號京ICP備16041442號-7
中國碳交易QQ群:?6群碳交易—中國碳市場??5群中國碳排放交易網
<strong id="j0xlh"><bdo id="j0xlh"></bdo></strong>

<strong id="j0xlh"><i id="j0xlh"></i></strong>
      1. 
        
          主站蜘蛛池模板: 辉县市| 钟祥市| 周宁县| 衡南县| 泾源县| 五家渠市| 海兴县| 太白县| 丹巴县| 普陀区| 新津县| 秀山| 如东县| 高清| 洪江市| 辽源市| 新乡市| 布拖县| 锦屏县| 淄博市| 新邵县| 新密市| 九江市| 灵璧县| 保德县| 盐池县| 那坡县| 襄汾县| 师宗县| 九江县| 子洲县| 沙洋县| 杨浦区| 饶平县| 迁安市| 虞城县| 奉新县| 呼伦贝尔市| 纳雍县| 泸州市| 固镇县|