【AI計算的新摩爾定律】3.5個月翻一倍，6年增加30萬倍

推進人工智能發展的因素有三個：算法創新、數據（能夠是有監督的數據或交互式的環境），以及可用於訓練的計算量。算法創新和數據很難追蹤，但計算量是可量化的，這爲衡量人工智能的進展速度提供了機會。固然，大規模計算的使用有時候會暴露當前算法的缺點。但至少在當前的許多領域中，更多的計算彷佛就能夠預見更好的性能，而且計算力經常與算法的進步相輔相成。

對於「計算能力」，咱們知道著名的「摩爾定律」（Moore's law）：集成電路上可容納的元器件的數目，約每隔 18-24 個月便會增長一倍，性能也將提高一倍。

今天，非盈利的AI研究機構OpenAI發佈了一份「AI與計算」的分析報告，報告顯示：

自2012年以來，在最大的AI訓練運行中所使用的計算力呈指數增加，每3.5個月增加一倍（相比之下，摩爾定律的翻倍時間是18個月）。
自2012年以來，這個指標已經增加了30萬倍以上（若是增加一倍的時間須要18個月，僅能增加12倍）。

計算能力的提高一直是AI進步的一個關鍵要素，因此只要這種趨勢繼續下去，就值得咱們爲遠遠超出當今能力的AI系統的影響作好準備。

AI計算的「摩爾定律」：3.43個月增加一倍

對於這個分析，咱們認爲相關的數字不是單個GPU的速度，也不是最大的數據中心的容量，而是用於訓練單個模型的計算量——這是與最好的模型有多麼強大最爲相關的數字。

因爲並行性（硬件和算法）限制了模型的大小和它能獲得有效訓練的程度，每一個模型的計算量與計算總量的差異很大。固然，少許的計算下仍取得了許多重要的突破，但這個分析僅涵蓋計算能力。