本月早些時候，OpenAI宣布已經建成史上最大的人工智能模型，該模型規模驚人，被命名為“GPT-3”，是一項令人印象深刻的技術成就。然而，它卻凸顯了人工智能領域的一個隱患。

 

現代人工智能模型需要消耗大量能量，并且這些能量需求正以驚人的速度增長。在深度學習時代，產生一流的人工智能模型所需的計算資源，平均每3.4個月翻一番；這意味著，能量需求在2012年至2018年之間增加了300,000倍。而“GPT-3”只是這種指數級增長軌跡上的一個最新節點。

 

 

深度學習模型真的越大越好嗎？

 

在今天，人工智能的碳足跡是有意義的，而如果這個行業趨勢繼續下去，情況將很快變得糟糕得多。除非我們愿意重新評估并改革當今的人工智能研究方向，否則，人工智能領域可能會成為我們在未來幾年中應對氣候變化的對手。

 

GPT-3很好地說明了這種現象。該模型包含多達1750億個參數。如何理解這個數字呢？不妨參考一下它的前身模型GPT-2，它在去年發布時被認為是最先進的，GPT-2只有15億個參數。去年GPT-2的訓練耗費了數十千兆次/天，這個計算輸入的數量已經非常龐大了，而GPT-3需要的數量可能是GPT-2的好幾千倍。

 

依靠越來越大的模型，來推動人工智能技術進步，這種做法的問題在于，構建和部署這些模型需要大量的能源消耗，并因此產生碳排放。

 

在2019年一項被廣泛討論的研究《Energy and Policy Considerations for Deep Learning in NLP（NLP深度學習的能源和政策考慮）》中，由Emma Strubell領導的一組研究人員，評估了訓練單個深度學習模型的能量消耗，這個數值可能高達626,155磅的二氧化碳排放量——約相當于五輛汽車在整個生命周期內的碳足跡。相比之下，一個普通的美國人每年產生的二氧化碳排放量大約是36,156磅。

 

可以肯定的是，這項評估針對的是能耗特別高的模型。如今，訓練一個普通規模的機器學習模型產生的碳排放量應該遠遠小于626,155磅。

 

同時值得注意的是，在進行這項分析時，GPT-2是當時可供研究的、最大的模型，研究人員將其視為模型大小的上限。可僅僅一年之后，GPT-2看上去很袖珍了，比它的后繼產品小了一百倍。

 

那么，機器學習模型到底為什么會需要消耗這么多的能量呢？

 

第一個原因是，用于訓練這些模型的數據集的大小在不斷地膨脹。在2018年，BERT模型在使用了30億個單詞的數據集進行訓練之后，實現了同類中最佳的NLP（自然語言處理）性能。XLNet使用了320億個單詞的數據集進行訓練，并且在性能上超過了BERT。不久之后，GPT-2接受了400億個單詞的數據集的訓練。而讓之前所有此類工作都相形見絀的是，GPT-3將使用一個包含5,000億個單詞的加權數據集進行訓練。

 

在訓練過程中，神經網絡會針對輸入的每條數據，執行一整套冗長的數學運算（既包括正向傳播，也包括反向傳播），并且以復雜的方式更新其參數。因此，更大的數據集，就會轉化為飛速增長的計算和能源需求。

 

導致人工智能巨大能量消耗的另一個原因是，開發模型所需要進行的大量實驗和調校。今天的機器學習，在很大程度上仍然是反復試錯的練習。從業人員通常會在訓練過程中針對給定模型構建數百個不同的版本，在確定最佳設計之前，他們會嘗試不同的神經體系架構和超參數。

 

上述提到的那篇2019年研究論文中，描述了一個案例研究。研究人員們選擇了一個平均規模的模型——比GPT-3之類的博人眼球的龐然大物要小得多，并且不僅檢查了訓練最終版本所需的能量，還測量了為了生產這個最終版本進行的各種測試的總體能量消耗。

 

在六個月的過程之中，他們培訓了4,789個不同版本的模型，總共需要花費9,998天的GPU時間（超過27年）。考慮到所有這些因素，這些研究人員估計，構建該模型總計要產生78,000磅的二氧化碳排放量，超過一個普通美國成年人兩年的碳排放量。

 

到此為止，這次討論還僅僅涉及了機器學習模型的訓練環節。但是訓練只是一個模型生命周期的起點。模型訓練完成之后，就會在現實世界中得到應用。

 

部署人工智能模型，讓它們在現實環境中采取行動——這個過程被稱為推理，該過程的能耗比訓練環節更高。實際上，英偉達公司（Nvidia）估計，神經網絡80％至90％的能量消耗出現在推理環節，而不是訓練環節。

 

例如，想想自動駕駛汽車中的人工智能。首先必須要對神經網絡進行培訓，讓它學會駕駛。在訓練完成并部署到自動駕駛汽車上之后，模型會不斷地進行推理，才能在環境中行駛，只要汽車還在使用之中，這個過程就會日復一日地持續下去。

 

毋庸置疑，模型具有的參數越多，對這種持續不斷的推理的能量需求就越高。