當下風頭正勁的深度學習，起源於真空管計算機的時代。1958年，美國康奈爾大學的弗蘭克·羅森布拉特受大腦神經元的啟發，設計了第一個人工神經網絡，這個人工神經網絡被命名為“深度學習”。羅森布拉特知道，這項技術超越了當時的計算能力，他惋惜地表示：“隨著神經網絡連接節點的增加……傳統的數字計算機很快就會無法承擔計算量的負荷。”

幸運的是，計算機硬件在幾十年間快速升級，使計算速度提高了大約1000萬倍。因此，21世紀的研究人員得以實現具有更多連接的神經網絡，用來模擬更復雜的現象。如今深度學習已經廣泛普及，被應用於下圍棋、翻譯、預測蛋白質折疊、分析醫學影像等多個領域。深度學習的崛起勢如破竹，但它的未來很可能是坎坷的。羅森布拉特所擔憂的計算量的限制，仍然是籠罩在深度學習領域之上的一片陰雲。如今，深度學習正在逼近計算工具的極限。

巨大的計算成本

一個適用於所有統計學模型的規則是：要想使性能提高k倍，至少需要k2倍的數據來訓練模型。又因為深度學習模型的過參數化，使性能提高k倍將需要至少k4倍的計算量。指數中的“4”意味著，增加10000倍計算量最多能帶來10倍的改進。顯然，為了提高深度學習模型的性能，科學家需要構建更大的模型，使用更多的數據對其進行訓練。但是計算成本會變得多昂貴呢？是否會高到我們無法負擔，並因此阻礙該領域的發展？

為了探究這一問題，美國麻省理工學院的科學家收集了1000余篇深度學習研究論文的數據，涉及圖像分類、目標檢測、問答系統、命名實體識別和機器翻譯等。他們的研究顯示，深度學習正面臨嚴峻的挑戰。“如果不能在不增加計算負擔的前提下提高性能，計算量的限制就會使深度學習停滯不前”。芯片性能的提升是否跟上了深度學習的發展？並沒有。在NASNet-A增加的1000多倍的計算量中，隻有6倍的提升來自於更好的硬件，其余都是通過使用更多的處理器或運行更長時間達到的，伴隨著更高的成本。理論告訴我們， 提高k倍的性能需要增加k4倍的計算量，但在實踐中，增加的計算量至少是k9倍。

根據研究人員估計的圖像識別領域“計算成本—性能”曲線，將錯誤率降到5%，需要進行1028次浮點運算。另一項來自美國馬薩諸塞大學阿默斯特分校的研究顯示了計算負擔隱含的巨大經濟和環境成本：訓練一個錯誤率小於5%的圖像識別模型，將花費1000億美元，其消耗的電能產生的碳排放與紐約市一個月的碳排放量相當。而想要訓練錯誤率小於1%的圖像識別模型，成本就更是天價。

計算成本的重負在深度學習的前沿已經變得顯而易見。機器學習智庫OpenAI斥資400多萬美元，設計並訓練了深度學習語言系統GPT-3。盡管研究人員在操作中犯了一個錯誤，但他們並沒有修復它，僅僅在論文附錄中簡要解釋道：“由於高昂的訓練成本，對模型重新訓練是不現實的。”

企業也開始回避深度學習的計算成本。歐洲的一家大型連鎖超市最近放棄了一項基於深度學習預測哪些產品將被購買的系統。該公司的高管判斷，訓練和運行該系統的成本過高。

深度學習路在何方

面對不斷上升的經濟和環境成本，深度學習領域迫切地需要在計算量可控的前提下，提高性能的方法。研究人員為此進行了大量研究。

一種策略是，使用為深度學習專門設計的處理器。在過去10年中， CPU讓位給了GPU、現場可編程門陣列和應用於特定程序的集成電路。這些方法提高了專業化的效率，但犧牲了通用性，面臨收益遞減。長遠看來，我們可能需要全新的硬件框架。 另一種減少計算負擔的策略是，使用更小的神經網絡。這種策略降低了每次的使用成本，但通常會增加訓練成本。二者如何權衡取決於具體情況。比如廣泛應用的模型應當優先考慮巨大的使用成本，而需要不斷訓練的模型應當優先考慮訓練成本。元學習有望降低深度學習訓練成本。其理念是，讓一個系統的學習成果應用於多個領域。例如，與其分別建立識別狗、貓和汽車的系統，不如訓練一個識別系統並多次使用。但是研究發現，一旦原始數據與實際應用場景有微小的差異，元學習系統的性能就會嚴重降低。因此，全面的元學習系統可能需要巨大的數據量支撐。

一些尚未發現或被低估的機器學習類型也可能降低計算量。比如基於專家見解的機器學習系統更為高效，但如果專家不能辨別所有的影響因素，這樣的系統就無法與深度學習系統相媲美。仍在發展的神經符號等技術，有望將人類專家的知識和神經網絡的推理能力更好地結合。正如羅森布拉特在神經網絡誕生之初所感受到的困境，今天的深度學習研究者也開始面臨計算工具的限制。在經濟和環境的雙重壓力下，如果我們不能改變深度學習的方式，就必須面對這個領域進展緩慢的未來。我們期待一場算法或硬件的突破，讓靈活而強大的深度學習模型能繼續發展，並為我們所用。

（據《環球科學》 編譯：鄭昱虹）

分享讓更多人看到