同一行公式,越來越高的算力 左邊寫著 1847 年的梯度下降公式和 GPT-3 的訓練計算量 3.14×10²³。右邊一張寫著公式的舊稿紙後面,一排代表算力的柱子從矮到高指數增長,最高的一根是強調色。 1847 年 · Cauchy w ← w − η·∂L/∂w 2020 年 · GPT-3 訓練一次 3.14×10²³ 次浮點運算

在《Transformer 是怎麼訓練的》裡,我們手算過一個只有一個旋鈕的機器:損失是 L=(2w−6)2L=(2w-6)^2,每一步按下面這條規則擰一下旋鈕。

w ← w − 学习率 × dL/dw

後面那個 10 個引數的 Transformer 用的也是這一行,只不過 ww 從一個數變成了十個數,損失換成了交叉熵,訓練時螢幕上打出 0.615、0.594、0.572……。交叉熵這個數還有一個更樸素的讀法:把對數的底換成 2,它就是模型每猜一個字,平均要花幾個位元去糾正自己。花得越少,拿它去壓縮文字就壓得越小。所以訓練一個語言模型,換個說法就是在訓練一個壓縮器。

順著這個讀法往前找,會碰到一句更大膽的話:壓縮即智慧。2006 年起有人專門懸賞,誰能把一份維基百科壓得更小,誰就領獎,理由是壓縮文字和人工智慧本來就是同一個問題。

這樣看,大模型像是幾件舊東西拼起來的:梯度下降是 1847 年一位法國數學家為了算行星軌道寫下的,“預測就是壓縮”是夏農在 1948 年說清楚的,求導的鏈式法則更是萊布尼茨在 1676 年就寫出來了。既然這些都早就有了,為什麼大模型直到最近幾年才出現?之前的一百多年裡,這些辦法沒被拿來做這件事嗎?還是做過,沒做成? 一個壓縮器,又憑什麼看起來像有了智慧?

我們順著時間往下走,在每一個路口停下來看兩件事:當時的人手裡有什麼工具,他們能把世界上的文字“壓”到多小。

一、梯度下降的來歷

最小二乘:用誤差去調引數

1801 年元旦,義大利天文學家皮亞齊發現了一顆新的小行星,也就是後來的穀神星。他跟蹤了 40 天,穀神星就轉到太陽背後看不見了。要在半年後重新找到它,得從這 40 天的觀測裡反推出它的軌道。

一條橢圓軌道由 6 個數確定(軌道的大小、形狀、傾角等,天文學上叫軌道根數)。觀測有誤差,6 個數怎麼取都不可能讓每一次觀測都對上,所以問題變成:哪一組數讓總誤差最小? 高斯的回答是把每次觀測的誤差平方、加起來,讓這個和最小。他用這個辦法算出的軌道,讓天文學家在年底重新找到了穀神星。勒讓德在 1805 年先發表了這個方法,高斯 1809 年發表時說自己 1795 年就在用,這就是最小二乘法1。

這裡已經出現了訓練的全部要素:一組要調的引數(6 個軌道根數),一個衡量好壞的損失(誤差平方和),還有一批資料(觀測記錄)。只是最小二乘的損失形狀特別好,令導數等於零,解一組線性方程就能一步得到答案,用不著“一步步走”。

換個角度看,這也是一次壓縮。40 天的觀測記錄被概括成了 6 個數,再加上一串很小的誤差:只要記住這 6 個數和誤差,就能把全部觀測原樣“解壓”回來,規律找得越準,誤差越小,要另外記的東西就越少。這種“規律 + 殘差”的寫法,在 30u30 那篇裡叫兩部分碼,後面還會反覆出現。

Cauchy:一步步往下走

方程不是線性的時候,就沒有一步到位的公式了。1847 年 10 月,柯西(Cauchy)向法國科學院提交了一篇只有三頁的短文,討論的還是天文計算:要解一組複雜的方程,不妨把所有方程的誤差平方加起來變成一個函式,然後沿著這個函式下降最快的方向,走一小步,再重新看方向,再走一小步2。這就是梯度下降。今天的最佳化教科書都把這個方法記在柯西名下,不過他在文中並沒有認真分析這樣走會不會收斂3。

一百年後的 1951 年,Robbins 和 Monro 又補上了一塊:如果每次只能看到帶噪聲的測量,比如每次只抽一部分資料來算梯度,這樣一步步走下去仍然能逼近答案4。這是今天“隨機梯度下降”每次只取一小批樣本的數學源頭。

同一個公式的三次使用 Cauchy 1847 年算軌道、本站手算的 10 引數 Transformer 和 GPT-3 用的是同一條梯度下降規則,引數個數從 6 漲到 1750 億。 同一條更新規則 引數 ← 引數 − 學習率 × 損失對引數的導數 三處用的是同一行 Cauchy 1847 · 算軌道 引數個數 6 個軌道根數 損失 觀測誤差平方和 求導 手算 訓練步數 幾步 一步的乘法 約幾十次 手算 Transformer 本站 · 10 引數 引數個數 10 損失 交叉熵 求導 反向傳播 訓練步數 幾十步 一步的乘法 約幾百次 GPT-3 2020 引數個數 1750 億 損失 交叉熵 求導 反向傳播 訓練步數 約 9.4 萬 一步的乘法 約 3.4×10¹⁸ 公式一個字沒改,變的是引數個數(強調色)和每一步要做的乘法。
圖 1 · 從 1847 年到 2020 年,梯度下降的公式沒變,變的是引數個數和每一步的計算量

圖 1把三個用了同一條規則的問題擺在一起。柯西的問題只有幾個引數,手算幾步就夠了;GPT-3 有 1750 億個引數,一共走了大約 9.4 萬步,每一步要做的乘法是 101810^{18} 量級。公式本身一個字也沒改。

所以,調引數的數學在 19 世紀就齊了。可是要把它用在文字上,還得先回答一個問題:對一個讀文字的機器來說,什麼叫“調好了”?損失應該衡量什麼?

二、預測與壓縮

夏農:一個字值幾個位元

1948 年,貝爾實驗室的夏農發表了《通訊的數學理論》5,回答的是一個工程問題:一段訊息最少要用幾個位元才能傳過去?

他的答案是,訊息裡每個符號的代價取決於它有多出人意料。一個出現機率是 pp 的符號,最少要用 log⁡2(1/p)\log_2(1/p) 個位元來記:機率 1/2 的要 1 位元,機率 1/1024 的要 10 位元,必然出現的不花位元。所以壓縮的關鍵不在怎麼編碼,而在能不能把下一個符號猜準。如果用來編碼的機率是一個模型 qq 給的,而文字真實的規律是 pp,平均每個符號要花的位元數就是兩者的交叉熵。這正是今天訓練語言模型時用的損失,只是對數的底一般取 ee。損失每降一點,就是這個模型當壓縮器時壓得更小一點。

每個字的碼長 用部落格文章訓練的 2 階字元模型給“每個引數減去學習率乘它的偏導數”逐字計算碼長,可預測的字只要不到 1 位元,意外的字要十幾位元。 2 階字元模型給每個字報的碼長(位元,越高越意外) 0 8 16 5.6 每 1.6 個 6.2 參 0.2 數 18.0 減 2.8 去 10.5 學 5.0 習 3.7 率 15.7 乘 10.8 它 3.0 的 11.3 偏 17.4 導 4.3 數 “參”後面的“數”只要 0.2 位元,“它的偏導數”裡的“導”要 17 位元:猜得準,就花得少。 整句 15 個字合計 116 位元;用 UTF-8 原樣存是 360 位元。
圖 2 · 一個字的碼長等於它的機率取負對數:模型猜得越準,存下這句話要的位元越少

圖 2是我們用本站文章訓練的一個小模型(第七節還會用到它),給“每個引數減去學習率乘它的偏導數”這句話逐字報的碼長。“參”後面跟“數”幾乎是必然的,只花 0.2 位元;“減”“導”這幾個字它沒料到,各要十幾位元。整句 15 個字合計 116 位元,而用 UTF-8 原樣存要 360 位元。

1951 年,夏農又做了一個實驗:給人看一段英文的前半截,讓人一個字母一個字母地猜後面,記下要猜幾次才猜中6。由此估出來,對一個熟悉英語的人,每個字母平均只有 1 位元左右的資訊量,而計算機存一個字母要 8 位元。一段文字裡大部分內容都是可以猜出來的,猜得越像人,壓得越小。

算術編碼:預測器就是壓縮器

夏農的定理說的是“最少要多少位元”,並沒有給出一個真能達到它的編碼方法。七十年代,裡薩寧(Rissanen)等人發明的算術編碼補上了這一環7:只要有一個模型能對下一個符號給出機率,算術編碼就能把整段文字壓到和 ∑log⁡2(1/q)\sum\log_2(1/q) 只差幾個位元的長度,解壓時用同一個模型一邊猜一邊還原。

從此預測和壓縮成了一回事的兩面:任何一個預測器,配上算術編碼就是一個壓縮器;它壓得多小,只看它猜得多準。

最短的描述

還剩一個問題:怎樣才能猜得最準?六十年代,所羅門諾夫(Solomonoff)和柯爾莫哥洛夫(Kolmogorov)分別給出了同一個方向的答案89。一段資料的複雜度,是能輸出它的最短程式的長度;預測下一個符號時,越短的解釋越可信。一串 0101……0101 再長,用一行“重複 01”就能寫出來;一串真隨機的位元,最短的寫法就是把它原樣抄一遍。

這套理論把“找到規律”和“壓縮”畫上了等號:能把資料壓到最短的那個程式,就是找到了資料裡全部規律的那個程式,用它來預測也最準。這就是“壓縮即智慧”的理論根源。後來胡特(Marcus Hutter)在此基礎上構造了一個理論上最優的智慧體,並在 2006 年設立了開頭提到的那個壓縮獎10。

問題是,最短程式是不可計算的,理論只指了方向,沒有給出路。到六十年代為止,目標和工具其實都擺在桌上了:目標是把下一個字猜準,工具是梯度下降。缺的是一臺能從資料裡自己學出規律的機器。

三、會學習的機器:感知機

把神經元寫成數學

1943 年,神經生理學家麥卡洛克和邏輯學家皮茨發表了一篇論文:把一個神經元簡化成“把輸入加權求和,超過閾值就輸出 1,否則輸出 0”,這樣的單元連起來就能實現任何邏輯運算11。這是人工神經網路的起點,但它裡面的權重是人設計的,不會學習。

1958 年,康奈爾航空實驗室的羅森布拉特(Rosenblatt)提出了感知機,讓權重自己學12。規則很簡單:拿一個樣本,算出輸出,如果答錯了,就把權重往正確答案的方向挪一點;答對了就不動。他還把它造成了一臺機器 Mark I:一塊 20×20 共 400 個光電管的“視網膜”,接到 512 個關聯單元上,權重存在電位器裡,學習的時候由電機去擰電位器13。權重是實實在在的旋鈕,學習就是電機在擰旋鈕。

當時的反響非常熱烈。《紐約時報》報道說,海軍展示了一臺電子計算機的“胚胎”,預計它將來能走路、說話、看東西、寫字、複製自己,並意識到自己的存在14。

一道 XOR 題

1969 年,明斯基和派珀特出版了《感知機》一書15,書裡用數學證明了單層感知機能做什麼、不能做什麼。最常被引用的例子是異或(XOR):兩個輸入不同時輸出 1,相同時輸出 0。

為什麼單層感知機做不了?單層感知機的判斷就是“加權和是否超過閾值”,在平面上就是用一條直線把點分成兩邊。圖 3左邊畫了 XOR 的四個點,輸出 1 的兩個點在對角線上,輸出 0 的兩個點在另一條對角線上,任何一條直線都沒法把它們分開。我們用 1958 年的規則實際跑了 100 輪,權重一直在擺,每一輪仍然錯 4 個。

XOR 和兩種啟用函式 單層感知機學不會 XOR;兩層網路用階躍開關時梯度處處為 0,換成 sigmoid 後反向傳播能學會。 XOR:兩個輸入不同才輸出 1 x₁ x₂ (0,0)→0 (1,1)→0 (0,1)→1 (1,0)→1 任何一條直線都沒法把 實心點和空心點分到兩邊 兩種“開關” 階躍:0 或 1 除跳變點外斜率處處為 0 sigmoid:平滑的 S 形 每一處都有斜率,可以求導 實測 單層感知機 1958 規則 100 輪後 每輪仍錯 4 個 兩層 · 階躍 數值梯度 ∂L/∂W₁ 0 0 0 0 兩層 · sigmoid 反向傳播 100 個起點 78 個學會 中位步數 629 換成平滑開關,梯度才流得動
圖 3 · XOR 難住了單層感知機;多層網路要能用梯度訓練,開關必須換成平滑的

多加一層就能表示 XOR:先用兩個單元分別判斷“x₁ 且非 x₂”“x₂ 且非 x₁”,再用一個單元把兩者“或”起來。問題在於怎麼訓練中間那一層。感知機的規則是“看輸出對不對,再改權重”,可中間層的單元沒有自己的標準答案,它們答得對不對,只能間接從最後的輸出上看出來。這叫作“功勞分配”問題:最後錯了,該怪中間哪個單元?

第一次嘗試:直接對階躍網路求導

既然鏈式法則 1676 年就有了,我們自然會想:把誤差對中間層的權重求導,不就知道該怪誰了嗎?

這條路在感知機上走不通。感知機的開關是階躍函式,輸入過了閾值就是 1,沒過就是 0,圖 3中間上面那條線。它除了跳變的那一點,斜率處處是 0:把權重稍微擰一點,輸出紋絲不動,損失也紋絲不動。我們給一個用階躍開關的兩層網路算了數值梯度,第一層四個權重的導數全是 0。導數沒有提供任何“往哪邊調”的資訊。

解決:換一個平滑的開關

辦法是把開關換成平滑的 sigmoid 函式 σ(z)=1/(1+e−z)\sigma(z)=1/(1+e^{-z}),圖 3中間下面那條 S 形曲線。它在 0 附近從 0 平滑地升到 1,每一處都有斜率,於是每個權重都能求出“擰一點,損失變多少”。同樣兩層的網路換上 sigmoid,用梯度下降訓練,100 個隨機起點裡有 78 個學會了 XOR。

剩下的 22 個,後面還會再提到。這裡先回到功勞分配:平滑開關讓中間層的導數存在了,但網路一大,怎麼把這麼多導數算出來?

四、反向傳播:求導的代價

現象:導數存在,不等於算得起

求一個引數的導數,最樸素的辦法是數值差分:把這個引數加一點點,跑一遍網路算損失;再減一點點,再跑一遍;兩個損失相減,除以改動量。我們在訓練那篇文章裡就用它來核對手算的梯度。

這個辦法的問題在於,每個引數都要單獨跑兩遍。網路有 N 個引數,一次完整的梯度就要跑 2N 遍前向。下面是我們實測的一個三層小網路,引數從 84 個加到 106 萬個。

算一次完整梯度要多久(3 層 tanh 網路,64 個樣本)
引數個數一次前向反向傳播數值差分差分 / 反傳
8410 µs30 µs2.0 ms68 倍
52822 µs70 µs23.3 ms332 倍
5,18450 µs170 µs423.6 ms2,485 倍
69,888230 µs800 µs32.3 秒*40,297 倍
1,065,9841.8 ms8.5 ms57 分鐘*406,838 倍

數值差分要把每個引數各推一下、各算兩次前向。帶 * 的兩行只實測了 2000 個引數,按比例外推。兩種方法算出的梯度最大相差 1e-11。

表 4 · 反向傳播的耗時只是前向的幾倍,和引數個數無關;數值差分的耗時隨引數個數線性增長

表 4的最後一列就是問題所在:引數越多,數值差分比反向傳播慢得越多,到一百萬個引數時已經慢了幾十萬倍。照這個比例推到 GPT-3 的 1750 億個引數,數值差分算一次梯度要跑 3500 億遍前向,走完一步訓練的時間夠反向傳播走完整個訓練好多遍。

原因:鏈式法則裡有大量重複計算

為什麼反向傳播的耗時和引數個數無關?在訓練那篇文章的第五節,我們從損失往回算過 10 個偏導數:先算損失對輸出的導數,再用它算出對上一層的導數,一層一層往回傳,每一層的中間結果只算一次,被後面所有引數共享。數值差分沒有這種共享,每推一個引數都從頭算一遍。

所以反向傳播並不是新的數學,它只是鏈式法則的一種演算法安排:從輸出往輸入的方向套鏈式法則,代價大約是前向的兩三倍,表 4裡實測是 3 到 5 倍。這也是今天估算訓練計算量時常說的“前向加反向約等於 3 倍前向”的來歷。

它被髮明瞭好幾次

這個安排有好幾個獨立的發明者16。1970 年,芬蘭的林納因馬(Linnainmaa)在碩士論文裡寫出了反向模式自動微分,用來估計程式里舍入誤差的累積,跟神經網路沒有關係。1974 年,沃博斯(Werbos)在哈佛的博士論文裡把它用到了神經網路上,但沒有引起注意。直到 1986 年,魯梅爾哈特、辛頓和威廉姆斯在《自然》上發表論文,演示了用反向傳播訓練的多層網路能學出有意義的中間表示,這個方法才在神經網路圈子裡流行起來17。

到 1986 年,訓練一個多層網路需要的東西已經全部齊了:平滑的開關、反向傳播、隨機梯度下降,再加上第二節的目標,猜準下一個字。那為什麼大模型又等了三十多年?

五、1986 年以後的二十年

它其實被用起來了

先回答開頭那個問題:這些能力並不是沒人用。1989 年,貝爾實驗室的楊立昆(LeCun)用反向傳播訓練了一個卷積網路,識別美國郵政信件上的手寫郵編,錯誤率約 1%18。這個網路有 9760 個引數,在一臺 SUN-4/260 工作站上訓練了 3 天。2022 年卡帕西(Karpathy)用 PyTorch 復現了它,在一臺 M1 MacBook Air 的 CPU 上跑完只要 90 秒左右19,演算法一樣,快了約 3000 倍。後來這一系列網路被用來識別支票上的手寫數字,進入了真實的銀行業務。

用神經網路猜下一個詞也有人做了。2003 年,本吉奧(Bengio)等人做出了第一個神經網路語言模型,猜下一個詞比當時主流的統計方法更準20。

所以 1986 年以後的問題不是“沒人想到”,而是做出來的東西只在小問題上管用,一做深、做大就不靈了。

現象:網路一深,前面的層就學不動

1991 年,霍赫賴特(Hochreiter)在畢業論文裡分析了一個現象21,1994 年本吉奧等人又從另一個角度證明了它22:梯度從輸出往回傳的時候,每經過一層要乘一次這一層開關的斜率。sigmoid 的斜率最大隻有 0.25,層數一多,梯度就按指數縮小。

我們搭了一個 20 層的網路,在剛初始化的時候量了每一層權重梯度的大小,結果畫在圖 5裡。

梯度消失 20 層 sigmoid 網路從輸出往回傳,梯度每層縮小,到第 1 層只剩 1e-12;ReLU 網路各層梯度在同一量級。 20 層網路剛初始化時,每一層權重梯度的大小(對數座標) 10⁻¹³ 10⁻¹⁰ 10⁻⁷ 10⁻⁴ 10⁻¹ 10² 第 1 層 第 5 層 第 10 層 第 15 層 第 19 層 ReLU:3.6 … 42 sigmoid:第 1 層只有 1.7×10⁻¹² sigmoid 的斜率最大 0.25,每往回一層再乘一次
圖 5 · 用 sigmoid 的深層網路,梯度傳到前幾層幾乎為零,前面的層學不動

用 sigmoid 時,最後一層的梯度是 2.1,第一層只剩 1.7×10−121.7\times10^{-12},差了 12 個數量級;作為對照,0.2519≈3.6×10−120.25^{19}\approx3.6\times10^{-12},幾乎就是這個比例。梯度下降按梯度的大小調引數,第一層的引數等於根本沒動。這叫作梯度消失。圖裡另一條線換成了 ReLU 開關 max⁡(0,z)\max(0,z),它在正半邊的斜率恆為 1,各層梯度在同一個量級。

第一次嘗試:繞開它

九十年代的人知道這個問題,也找到了一些繞開的辦法。1997 年的 LSTM 給迴圈網路加了一條梯度能原樣透過的“傳送帶”,讓它能記住幾十步以前的內容23,這個結構後來用了二十年。但在大多數任務上,研究者乾脆不用深網路。

同一時期,支援向量機(SVM)出現了24。它的訓練是一個凸最佳化問題,只有一個最低點,保證找得到,背後還有一套漂亮的統計學習理論。相比之下,神經網路的損失地形坑坑窪窪,可能卡在區域性最低點裡出不來,調參全靠經驗。前面 XOR 實驗裡那 22 個沒學會的起點,就是卡在了這樣的地方。在當時的資料量下,SVM 的效果往往不比神經網路差,於是神經網路在主流學術界冷了大約十年。

壓縮榜上的手寫模型

壓縮這條線上,情形也一樣。這二十年裡最會“猜下一個位元組”的程式,都是人手寫的統計模型。1984 年的 PPM 按前面幾個位元組出現過的次數,統計下一個位元組的機率25,第七節的小實驗就是這一類。後來 Mahoney 的 PAQ 系列把幾百個這樣的手寫模型放在一起,再用一個很小的神經網路,按各自最近猜得準不準來給它們加權。

2006 年,胡特設立了壓縮獎:把 100MB 的英文維基百科(enwik8)壓得更小,就按壓小的比例發獎金,理由是壓縮文字和人工智慧是同一個問題10。從 2006 到 2017 年,每一次破紀錄的都是在 PAQ 基礎上改出來的手寫混合模型。神經網路語言模型猜得更準,但慢到沒法拿來壓 100MB 的文字。“壓縮即智慧”這個想法有了,比賽也有了,贏的卻是手工的統計。

回頭看,這二十年裡缺的演算法其實不多。ReLU 就是 max⁡(0,z)\max(0,z),1990 年也寫得出來;到 2011 年格洛羅(Glorot)等人系統地說明它在深層網路裡好用26,才普及開來。那段時間更大的問題在別處:XOR 實驗裡,隱藏層從 2 個單元加到 3 個,100 個起點裡能學會的從 78 個變成 99 個,到 4 個單元就全部學會了。網路大一點反而更好訓練,可那時的機器養不起大網路,資料也喂不飽它。下面我們分別看這兩樣差多少。

六、算力:差了多少個數量級

訓練一次要多少次運算

一個大語言模型訓練一次要多少次浮點運算,有一個很好用的估算:每個引數、每個 token,前向約 2 次運算,加上反向一共約 6 次。GPT-3 有 1750 億個引數、看了 3000 億個 token:

6×1.75×1011×3×1011≈3.1×10236\times1.75\times10^{11}\times3\times10^{11}\approx3.1\times10^{23}

GPT-3 論文附錄給出的數字是 3.14×10233.14\times10^{23}27。這個數有多大?我們把歷史上幾臺有代表性的機器拿來對比。

如果在當年的機器上訓練 GPT-3(3.14×10²³ 次浮點運算)
機器年份峰值要多久備註
Cray-119761.6 億次/秒約 6218 萬年約 800 萬美元
ASCI Red 超算19971.07 萬億次/秒約 9,316 年第一臺過萬億次的機器
一張 GTX 58020101.58 萬億次/秒約 6,297 年AlexNet 用了兩張
一張 V1002017125 萬億次/秒約 80 年張量核心,半精度
一張 H1002022989 萬億次/秒約 10 年張量核心,BF16
真實做法:成千上萬張卡一起算
1024 張 A1002021按實測效率約 34 天Megatron-LM 論文的估算

按峰值滿負荷算,是最樂觀的情形;真實訓練的利用率通常只有峰值的三到五成。

表 6 · 同樣的演算法,放在 2010 年以前的任何一臺機器上都要跑幾千年以上

1976 年的 Cray-1 是當時最快的超級計算機,峰值每秒 1.6 億次,售價約 800 萬美元28。用它訓練 GPT-3 要 6000 多萬年。1997 年的 ASCI Red 是第一臺每秒過萬億次的計算機29,也要 9000 多年。即使只看記憶體,GPT-3 的引數用半精度存要 350GB,訓練時連同梯度和最佳化器狀態要好幾 TB;Cray-1 的記憶體是 8MB,AlexNet 用的 GTX 580 每張 3GB。

這張表的意思很清楚:就算 1986 年有人寫出了 Transformer 和全部訓練技巧,也不可能訓練出 GPT-3。不是沒想到,是做不到。

GPU:給遊戲造的矩陣乘法機器

轉機來自一個意想不到的地方。遊戲畫面要給幾百萬個畫素各算一遍顏色,顯示卡因此被造成了成千上萬個簡單計算單元一起幹活的樣子,最擅長的恰好是大批次的乘加運算,也就是矩陣乘法。神經網路的前向和反向,絕大部分也是矩陣乘法。

2007 年英偉達推出 CUDA,顯示卡可以直接用 C 語言風格的程式碼程式設計了。2009 年,吳恩達的團隊用 GPU 訓練深度網路,比雙核 CPU 快了最多約 70 倍30。2006 年辛頓用逐層預訓練讓深層網路重新訓得動31,再加上 ReLU、GPU,幾條線開始匯合。

2012 年,克里熱夫斯基、蘇茨克維和辛頓用兩張 GTX 580 遊戲顯示卡,在 ImageNet 影象識別比賽上把錯誤率從 26% 降到了 15% 左右32。這個網路叫 AlexNet,有 6000 萬個引數,訓練了五到六天,因為一張卡 3GB 視訊記憶體放不下,模型被拆在兩張卡上。演算法上它沒有什麼 1990 年想不到的東西,卷積、反向傳播、隨機梯度下降都是老的,新的是 ReLU、Dropout 和兩張顯示卡。

壓縮榜的換手

壓縮榜上的換手來得更晚一些。Mahoney 維護的大文字壓縮榜比的是把 1GB 的英文維基百科(enwik9)壓到多小,不限硬體33。

把 1GB 英文維基百科(enwik9)壓到多小
壓縮器年份怎麼猜下一個位元組壓縮後位元/位元組
gzip -9在前面 32KB 裡找重複片段322.6 MB2.58
bzip2 -9整塊重排後統計254.0 MB2.03
xz -9e在 1GB 視窗裡找重複片段197.3 MB1.58
PPMd(7-Zip)按前幾個位元組統計下一個位元組179.0 MB1.43
paq8hp122007幾百個手寫上下文模型加權混合132.0 MB1.06
cmix v12014上千個手寫模型混合128.6 MB1.03
nncp(LSTM)2019神經網路邊讀邊訓練,CPU125.6 MB1.00
cmix v182019手寫模型 + 小 LSTM 混合115.7 MB0.93
nncp v3.1(Transformer)2021約 2 億引數,GPU108.4 MB0.87
nncp v3.2(Transformer)2023同上,再調參106.6 MB0.85

資料來自 Matt Mahoney 的大文字壓縮榜,只列壓縮後大小,不含解壓程式本身。年份為該版本提交日期,經典工具不標。

表 7 · 壓縮榜的前排一直是“猜下一個位元組”的模型;手寫的統計模型被神經網路超過,是 GPU 普及以後的事

2019 年,寫過 QEMU 和 FFmpeg 的貝拉(Fabrice Bellard)釋出了 nncp:一個神經網路一邊讀維基百科一邊訓練,一邊給下一個位元組報機率,再用算術編碼寫下來。第一版是 LSTM,在 CPU 上壓 1GB 要好幾天,成績還不如手寫模型最好的 cmix。2021 年他換成了約 2 億引數的 Transformer,放到 GPU 上跑,登上了榜首,2023 年的版本壓到 106.6MB,平均每個位元組約 0.85 位元(表 7)。對照開頭那句話:這臺“壓縮器”裡裝的,就是一個邊讀邊學的小語言模型。

訓練所需漲得比單卡更快

AlexNet 之後,訓練用的算力增長得非常快。圖 8把幾個有代表性的模型的訓練計算量,和同期一臺機器滿負荷跑一天的運算量畫在一起。

訓練計算量與單機算力 LeNet 到 Llama 3.1 的訓練計算量,對比同期一臺機器滿負荷一天的運算量。 浮點運算次數(對數座標) 10¹⁰ 10¹⁴ 10¹⁸ 10²² 10²⁶ 1975 1985 1995 2005 2015 2025 Cray-1 ASCI Red 整臺 GTX 580 V100 H100 LeNet AlexNet GPT-3 Llama 3.1 405B 實線:訓練一個模型要的運算量 虛線:當年一臺機器或一張卡,滿負荷跑一天 2012 年以後,實線越過了虛線, 差距只能靠成千上萬張卡補
圖 8 · 訓練一個模型要的運算量漲得比單張卡的算力更快,大模型只能靠大叢集

LeNet 的訓練量還在一臺工作站幾天的能力之內;AlexNet 大約等於兩張 GTX 580 跑滿兩天(實際利用率不到一半,所以用了五六天);到 GPT-3,實線已經比虛線高出三四個數量級,一張 H100 滿負荷也要跑 10 年。這些差距只能靠把成千上萬張卡連起來補:Megatron-LM 的作者估算,1024 張 A100 訓練 GPT-3 大約要 34 天34。怎麼讓一萬張卡像一臺機器一樣幹活,又是一整套工程:模型怎麼切開放在不同的卡上,梯度怎麼彙總,網路頻寬夠不夠,一張卡壞了怎麼續上。在顯示卡對比那篇裡我們看過這些卡的價格和效能,單張 H100 就要幾萬美元。

算力在 2012 年前後夠了,可是拿什麼去餵它?

七、資料:標籤是瓶頸

現象:資料集停在百萬級

神經網路要從例子裡學。在很長時間裡,“例子”指的是帶標籤的例子:一張圖配一個“貓”,一句話配一棵句法樹。標籤要人來打,這就把資料集的規模卡住了。

幾個有代表性的資料集
資料集年份規模標籤從哪來
Brown 語料庫1961約 100 萬詞人工挑選、人工標詞性
Penn Treebank1993約 450 萬詞人工標句法樹
MNIST19987 萬張手寫數字人寫、人標
ImageNet2009約 1400 萬張圖約 4.9 萬名眾包工人,標了近兩年
GPT-3 訓練集20203000 億 token下一個詞本身
Llama 3 訓練集2024約 15 萬億 token下一個詞本身
表 9 · 要人來打標籤的資料集停在百萬到千萬級;標籤不用人打以後,規模一下子大了幾萬倍

1961 年的 Brown 語料庫有約 100 萬詞,是第一個計算機可讀的大規模英語語料,每個詞的詞性都是人工標的35。三十年後的 Penn Treebank 有約 450 萬詞,標了句法樹36,九十年代到 2010 年代的大量語言研究都在它上面做。1998 年的 MNIST 有 7 萬張手寫數字37。

2009 年李飛飛團隊釋出的 ImageNet 是一個轉折:約 1400 萬張圖片,標註靠亞馬遜的眾包平臺 Mechanical Turk,約 4.9 萬名來自 167 個國家的工人,從 2008 年 7 月一直標到 2010 年 4 月38。AlexNet 正是在它的一個 120 萬張圖的子集上訓練出來的。但這也幾乎是人工標註能走到的上限了。

解決:把壓縮當目標

語言模型繞開了這個瓶頸,靠的正是第二節的那個目標。它要做的是壓縮文字,也就是猜下一個詞,而下一個詞就寫在原文裡:每一段人寫的文字,本身就是成千上萬個“題目 + 答案”,不用任何人來打標籤。這種做法叫自監督。

標籤不再需要人打,能用的資料就只受“人類寫了多少字”的限制。2008 年開始,非營利組織 Common Crawl 定期抓取整個公開網頁,把資料免費放出來39。GPT-3 的訓練資料有 3000 億個 token,大部分來自過濾後的 Common Crawl;2024 年的 Llama 3 用了約 15 萬億個 token40。和 Penn Treebank 比,大了幾百萬倍。

資料越多,壓得越小

資料量對壓縮有多大影響?我們拿本站的文章做了一個小實驗:用其中 53 篇訓練字元級的“k 階模型”,也就是按前 k 個字的出現次數去猜下一個字(和 PPM 同類),再用它壓縮另外 4 篇沒見過的文章。

用本站文章訓練字元模型,壓縮另外 4 篇(每字位元,越低越好)
訓練文字0 階1 階2 階3 階4 階
3.8 萬字8.647.327.427.557.60
15 萬字8.446.526.416.536.62
60 萬字8.356.005.785.896.00
對照:通用壓縮器(只看這四篇本身)
gzip / bzip2 / xz7.20 / 5.92 / 6.41

“k 階”指按前 k 個字猜下一個字。測試的 4 篇共 42,255 字、89,154 位元組,不在訓練集裡。每行最好的一格用強調色。

表 10 · 訓練文字越多,壓得越好;模型越大越吃資料,資料少時大模型反而更差

表 10裡有兩個現象。第一,訓練文字從 3.8 萬字加到 60 萬字,最好的成績從每字 7.32 位元降到 5.78 位元,已經比 bzip2 好,比 gzip 好得多:模型見過的文字越多,越能猜中沒見過的文字。第二,模型越大越吃資料。只有 3.8 萬字時,看前 1 個字的模型最好,看前 2 到 4 個字的反而更差,因為大部分“前 4 個字”的組合在訓練集里根本沒出現過,模型沒有可以依據的統計;資料加到 15 萬字以後,看前 2 個字的才追上來。60 萬字對這樣的模型來說仍然太少,4 階始終沒有翻身。

這正是大模型需要海量文字的原因:引數越多,能記下的規律越多,要把它們都學到,就要越多的文字。網際網路把人類幾十年寫下的文字放到了同一個地方,自監督讓這些文字不用標註就能直接用。算力有了,資料也有了,還差什麼?

八、架構與規模:最後兩塊

現象:迴圈網路喂不飽 GPU

2017 年以前,處理文字的主力是迴圈網路(RNN 和 LSTM),nncp 的第一版用的也是它。它讀一句話的方式和人一樣,一個字一個字地讀,每讀一個字更新一次內部狀態。問題在於,第 6 個字的計算要等前 5 個字算完,整句話的計算是一條序列的鏈。GPU 有上萬個計算單元,卻只能一步一步地等。

2014 年,巴達瑙(Bahdanau)等人在機器翻譯里加入了注意力:翻譯每個詞時,直接回頭看原文的所有位置,按相關程度加權取資訊41。2017 年穀歌的《Attention Is All You Need》走到底,把迴圈結構整個拿掉,只留注意力,這就是 Transformer42。

RNN 與 Transformer 的計算順序 RNN 讀一句話要按字依次算,Transformer 把整句一次放進矩陣乘法。 迴圈網路(RNN):一個字算完,才能算下一個 Transformer:所有位置一起算 h1 大 第 1 步 h2 模 第 2 步 h3 型 第 3 步 h4 為 第 4 步 h5 什 第 5 步 h6 麼 第 6 步 h6 要等 h1…h5 依次算完:6 步序列 Q·Kᵀ:一次矩陣乘法算出 6×6 個注意力分數 大 模 型 為 什 麼 第 1 步 句子再長, 也只是矩陣大一點: 1 步,交給 GPU 並行
圖 11 · RNN 的計算是一條鏈,Transformer 的計算是一塊矩陣,後者正好是 GPU 擅長的形狀

圖 11是兩者的區別。Transformer 裡每個位置看其他位置的注意力分數,可以寫成一次矩陣乘法 QK⊤QK^\top 一起算出來,句子再長也只是矩陣大一點。這正是 GPU 最擅長的形狀。胡克(Sara Hooker)把這種現象叫作“硬體彩票”:一種演算法能不能勝出,很大程度上取決於它是否碰巧適合當時的硬體43。Transformer 中了這張彩票,nncp 從 LSTM 換成 Transformer 以後登上壓縮榜首,也是同一個原因。

這一時期還補上了幾塊讓深網路穩定訓練的零件:Adam 最佳化器自動調整每個引數的步長44,殘差連線讓梯度可以跳過若干層直接往回傳,網路因此能疊到上百層45。它們解決的都是第五節那種“網路一深就訓不動”的問題。

規模定律:壓縮率可以預算

到 2018 年前後,架構、算力、資料都有了,但還有一個現實的問題:訓練一個大模型要花幾百萬美元,花了錢,模型會變好多少? 如果事先不知道,沒有人敢押這麼大的注。

2020 年 1 月,OpenAI 的卡普蘭(Kaplan)等人發表了規模定律:語言模型的測試損失隨引數量、資料量和計算量按冪律平穩下降,可以用小模型的結果外推大模型的結果46。按第二節的讀法,這張圖的縱軸就是每個 token 平均要花多少位元,規模定律畫的是一條壓縮率曲線:多投多少算力,能把人類的文字多壓掉多少,事先就能算出來。這讓“做大”從一場賭博變成了一筆可以預算的投資。同年 5 月,GPT-3 釋出27。2022 年 DeepMind 的 Chinchilla 進一步指出,在算力固定時引數和資料應該同比例增長,GPT-3 那一代模型其實資料給少了47,這和表 10裡“模型越大越吃資料”是同一回事。

壓縮的視角在這幾年被重新提了出來。2023 年蘇茨克維(Ilya Sutskever)在伯克利的一次演講裡,用壓縮來解釋為什麼只靠“猜下一個詞”的無監督學習能學到有用的東西48。同年 DeepMind 的論文《語言模型即壓縮》把這件事做成了實驗:主要用文字訓練的 Chinchilla 70B,配上算術編碼去壓圖片和音訊,把 ImageNet 的圖塊壓到原大小的 43.4%,把 LibriSpeech 的語音壓到 16.4%,比專門的 PNG(58.5%)和 FLAC(30.3%)還小49,前提是不把模型本身的體積算進去。

最後一塊是讓模型“聽話”。只會預測下一個詞的模型,你問它問題,它可能接著編出另一個問題。2022 年 3 月的 InstructGPT 用人類反饋做強化學習,把一個預測器調成了能按指令回答的助手50。同年 11 月 30 日,ChatGPT 上線。

九、四條線的交匯

把前面幾節放到一張圖上,就能看出“為什麼是最近幾年”。

四條線的時間線 數學在 19 世紀就緒,演算法在 1986 年基本齊全,算力和資料要到 2010 年代才夠。 虛線框:2009–2022,四條線先後就緒 數學 1676 鏈式法則 1805 最小二乘 1847 梯度下降 1948 資訊理論 1951 隨機梯度 演算法 1958 感知機 1969 XOR 難題 1986 反向傳播 1997 LSTM 2017 Transformer 算力 1946 ENIAC 1976 Cray-1 1997 萬億次超算 2012 兩張 GTX 580 2020 萬卡叢集 資料 1961 百萬詞語料 1993 Treebank 2009 ImageNet 2020 3000 億 token 1670–1940(壓縮) 1950 1970 1990 2010
圖 12 · 數學最早就緒,演算法其次,算力和資料最晚;四條線要同時到位,大模型才出現

圖 12有四條線。數學最早就緒:鏈式法則、最小二乘、梯度下降,以及夏農把“預測”和“壓縮”連在一起的資訊理論,在 1951 年以前全部齊了。演算法在 1986 年反向傳播流行時基本齊全,剩下的 ReLU、注意力、Transformer 都是小改動,卻要等算力和資料到了,才知道哪種改動值得。算力和資料是最晚的兩條:一直到 2010 年前後,單機算力和人工標註的資料集都還差著好幾個數量級,而它們的轉機,GPU 和網際網路文字,都不是為人工智慧準備的。

這四條線有一個順序上的依賴:沒有足夠的算力和資料,就看不出大網路的好處;看不出好處,就沒人去發明適合大網路的架構,也沒人去建萬卡叢集。壓縮榜就是一個縮影:同樣是“猜下一個位元組”,手寫模型領先了十幾年,神經網路要等到 GPU 和 Transformer 都到位才超過它。所以四條線不是各自獨立地“到期”,而是在 2012 到 2022 年這十年裡,一條帶動另一條,先後就位。

薩頓(Rich Sutton)2019 年寫過一篇短文《苦澀的教訓》,總結 AI 研究七十年的經驗:能隨著算力增長而變好的通用方法,最終總是贏過精心設計的人類知識,而且贏得很多51。PAQ 和 cmix 裡上千個手寫模型,就是“精心設計的人類知識”;梯度下降簡單到幾乎沒有可以加進去的知識,所以能一直擴充套件下去。

十、回到開頭

回到開頭那行規則:

w ← w − 学习率 × dL/dw

從柯西到 GPT-3,它一個字也沒改,損失也一直是夏農 1948 年定義的那個位元數。我們覺得從梯度到 Transformer“好像也沒那麼複雜”,這個感覺是對的:大模型的原理確實不復雜,複雜的是讓這行規則在 1750 億個引數上、在 3000 億個 token 上走 9 萬多步。

這一百多年裡,規則一直都在被使用:1801 年算穀神星,1958 年擰感知機的電位器,1989 年識別郵編,2006 年在壓縮獎上擠維基百科,2012 年認 ImageNet 裡的貓。每一次都做到了當時的硬體和資料所允許的最大規模。大模型之所以等到最近幾年,是因為直到最近,這個“最大規模”才大到讓一個壓縮器把人類的文字壓得足夠小。

那麼,一個壓縮器憑什麼像有了智慧?回到第二節:要把一本物理教科書的下一個字猜準,光記住常見的詞搭配是不夠的,遲早要“知道”能量守恆;要把一段程式碼的下一行猜準,遲早要“知道”這段程式碼在幹什麼。損失每往下壓一點,模型就被逼著多掌握一條這樣的規律。穀神星的 6 個軌道根數是 40 天觀測的壓縮,規律找對了,就能預言半年後它在哪裡;語言模型的引數是人類文字的壓縮,規律找得夠多,就能接著寫出一段從沒見過、但說得通的文字。“壓縮即智慧”說的就是這件事。至於這樣的壓縮能不能算真正的理解,還是一個開放的問題。

這也和本站另外幾篇文章連在一起。AdderBoard 那篇裡,36 個引數的 Transformer 就能把十位數加法學對,因為加法的規律很小,壓縮它用不了多少引數;語言的規律大得多,所以要大得多的模型。FPGA 那篇問過“為什麼 FPGA 的四十年裡沒有湧現智慧”,答案的一半就在第三節:位元像階躍開關一樣沒有梯度,沒法用這行規則去調;另一半在第六、七節:即使能調,當年也沒有足夠的算力和資料。

小結

  1. 梯度下降多老? 鏈式法則 1676 年,最小二乘 1805 年,梯度下降 1847 年,隨機梯度 1951 年。調引數的數學在一百多年前就齊了。
  2. 訓練要最佳化的是什麼? 夏農 1948 年說明,一個字的碼長是它的機率取負對數,交叉熵損失就是壓縮後的位元數;算術編碼讓任何預測器都成了壓縮器;所羅門諾夫和柯爾莫哥洛夫把“找到規律”和“壓到最短”畫上等號。這就是“壓縮即智慧”。
  3. 會學習的機器為什麼停在 1969 年? 單層感知機分不開 XOR;多層網路能分開,但階躍開關的導數處處為 0,沒法用梯度訓練。換成 sigmoid 這樣的平滑開關才行。
  4. 反向傳播解決了什麼? 求導的代價。數值差分要跑 2N 遍前向,反向傳播只要前向的幾倍,和引數個數無關。
  5. 1986 年以後為什麼又冷了二十年? 深網路有梯度消失,小資料上 SVM 更穩;壓縮榜上贏的是手寫統計模型。讓大網路好訓練的規模,當時的機器和資料都給不起。
  6. 算力差多少? GPT-3 要 3.14×10233.14\times10^{23} 次運算,在 1976 年的 Cray-1 上要 6000 多萬年,在一張 2010 年的顯示卡上也要 6000 多年。GPU 和萬卡叢集把它縮到一個月,壓縮榜首也在 GPU 上換成了 Transformer。
  7. 資料差多少? 人工標註的資料集停在百萬到千萬級;把壓縮當目標就不用人打標籤,訓練資料到了萬億 token。模型越大越吃資料。
  8. 最後幾塊是什麼? 適合 GPU 並行的 Transformer,把壓縮率變成可以預算的規模定律,以及把預測器調成助手的人類反饋。
  9. 為什麼是最近幾年? 數學、演算法、算力、資料四條線要同時到位,最晚的算力和資料在 2010 年代才到,並且一條帶動另一條,在 2012 到 2022 年間先後就位。

本文的四個小實驗(數值差分與反向傳播的耗時、20 層網路的梯度消失、XOR 的三種訓練、用字元模型壓縮本站文章)都是幾十到一百來行的 Python 指令碼,在筆記本上幾分鐘就能跑完。

參考資料

參考資料

  1. Gauss and the Invention of Least SquaresStephen M. Stigler · The Annals of Statistics 9(3) · 1981doi.org ↗Legendre 1805 年發表最小二乘法,Gauss 1809 年發表並稱自己 1795 年就在用;Gauss 用它算出了穀神星的軌道。https://doi.org/10.1214/aos/1176345451 ↩

  2. Méthode générale pour la résolution des systèmes d'équations simultanéesAugustin-Louis Cauchy · Comptes Rendus de l'Académie des Sciences 25 · 1847gtfp.cs.rhul.ac.uk ↗1847 年 10 月 18 日提交科學院的短文,第 536–538 頁,動機是天體軌道計算。https://gtfp.cs.rhul.ac.uk/pulskamp/Cauchy/Orbits/1847%20CR%20536%28383%29.pdf ↩

  3. Cauchy and the Gradient MethodClaude Lemaréchal · Documenta Mathematica, Extra Volume ISMP · 2012math.uni-bielefeld.de ↗梯度法的來歷考證:Cauchy 的短文沒有做嚴格的收斂分析。https://www.math.uni-bielefeld.de/documenta/vol-ismp/40_lemarechal-claude.pdf ↩

  4. A Stochastic Approximation MethodHerbert Robbins, Sutton Monro · The Annals of Mathematical Statistics 22(3) · 1951doi.org ↗用帶噪聲的觀測一步步逼近解,隨機梯度下降的數學源頭。https://doi.org/10.1214/aoms/1177729586 ↩

  5. A Mathematical Theory of CommunicationClaude Shannon · Bell System Technical Journal 27(3) · 1948doi.org ↗https://doi.org/10.1002/j.1538-7305.1948.tb01338.x ↩

  6. Prediction and Entropy of Printed EnglishClaude Shannon · Bell System Technical Journal 30(1) · 1951doi.org ↗https://doi.org/10.1002/j.1538-7305.1951.tb01366.x ↩

  7. Generalized Kraft Inequality and Arithmetic CodingJorma Rissanen · IBM Journal of Research and Development 20(3) · 1976doi.org ↗算術編碼的奠基論文之一,同年 Pasco 的博士論文也獨立提出了類似方法。https://doi.org/10.1147/rd.203.0198 ↩

  8. A Formal Theory of Inductive Inference, Part IRay Solomonoff · Information and Control 7(1) · 1964doi.org ↗https://doi.org/10.1016/S0019-9958(64)90223-2 ↩

  9. Three approaches to the quantitative definition of informationAndrey Kolmogorov · Problems of Information Transmission 1(1) · 1965 ↩

  10. 500'000€ Prize for Compressing Human KnowledgeMarcus Hutter · Hutter Prizeprize.hutter1.net ↗2006 年設立,最初用 100MB 的 enwik8,2020 年改為 1GB 的 enwik9、獎金池增至 50 萬歐元;主辦方認為文字壓縮和 AI 是等價的問題。歷屆獲獎者見 Wikipedia 的 Hutter Prize 詞條。http://prize.hutter1.net/ ↩ ↩2

  11. A Logical Calculus of the Ideas Immanent in Nervous ActivityWarren McCulloch, Walter Pitts · Bulletin of Mathematical Biophysics 5 · 1943doi.org ↗https://doi.org/10.1007/BF02478259 ↩

  12. The Perceptron: A Probabilistic Model for Information Storage and Organization in the BrainFrank Rosenblatt · Psychological Review 65(6) · 1958doi.org ↗https://doi.org/10.1037/h0042519 ↩

  13. PerceptronWikipediaen.wikipedia.org ↗Mark I 感知機的硬體:20×20 共 400 個光電管、512 個關聯單元,權重存在電位器裡,學習時由電機轉動電位器。https://en.wikipedia.org/wiki/Perceptron ↩

  14. New Navy Device Learns By DoingThe New York Times · 1958-07-08nytimes.com ↗https://www.nytimes.com/1958/07/08/archives/new-navy-device-learns-by-doing-psychologist-shows-embryo-of.html ↩

  15. Perceptrons: An Introduction to Computational GeometryMarvin Minsky, Seymour Papert · MIT Press · 1969mitpress.mit.edu ↗https://mitpress.mit.edu/9780262630221/perceptrons/ ↩

  16. Who Invented the Reverse Mode of Differentiation?Andreas Griewank · Documenta Mathematica, Extra Volume ISMP · 2012math.uni-bielefeld.de ↗反向模式自動微分的來歷:Linnainmaa 1970 年的碩士論文,用來估計舍入誤差;Werbos 1974 年的博士論文把它用到神經網路上。https://www.math.uni-bielefeld.de/documenta/vol-ismp/52_griewank-andreas-b.pdf ↩

  17. Learning representations by back-propagating errorsDavid Rumelhart, Geoffrey Hinton, Ronald Williams · Nature 323 · 1986nature.com ↗https://www.nature.com/articles/323533a0 ↩

  18. Backpropagation Applied to Handwritten Zip Code RecognitionYann LeCun 等 · Neural Computation 1(4) · 1989doi.org ↗布法羅郵局的 9298 個手寫郵編數字;網路有 64,660 個連線、9760 個獨立引數。https://doi.org/10.1162/neco.1989.1.4.541 ↩

  19. Deep Neural Nets: 33 years ago and 33 years from nowAndrej Karpathy · 2022-03-14karpathy.github.io ↗復現 LeCun 1989:原文在 SUN-4/260 工作站上訓練 3 天,M1 MacBook Air 的 CPU 上約 90 秒。https://karpathy.github.io/2022/03/14/lecun1989/ ↩

  20. A Neural Probabilistic Language ModelYoshua Bengio 等 · JMLR 3 · 2003jmlr.org ↗https://www.jmlr.org/papers/v3/bengio03a.html ↩

  21. Untersuchungen zu dynamischen neuronalen NetzenSepp Hochreiter · 慕尼黑工業大學畢業論文 · 1991people.idsia.ch ↗德文,首次系統分析了梯度在深層 / 長序列中指數衰減的問題。https://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf ↩

  22. Learning long-term dependencies with gradient descent is difficultYoshua Bengio, Patrice Simard, Paolo Frasconi · IEEE Transactions on Neural Networks 5(2) · 1994doi.org ↗https://doi.org/10.1109/72.279181 ↩

  23. Long Short-Term MemorySepp Hochreiter, Jürgen Schmidhuber · Neural Computation 9(8) · 1997doi.org ↗https://doi.org/10.1162/neco.1997.9.8.1735 ↩

  24. Support-vector networksCorinna Cortes, Vladimir Vapnik · Machine Learning 20 · 1995doi.org ↗https://doi.org/10.1007/BF00994018 ↩

  25. Data Compression Using Adaptive Coding and Partial String MatchingJohn Cleary, Ian Witten · IEEE Transactions on Communications 32(4) · 1984doi.org ↗https://doi.org/10.1109/TCOM.1984.1096090 ↩

  26. Deep Sparse Rectifier Neural NetworksXavier Glorot, Antoine Bordes, Yoshua Bengio · AISTATS 2011 · 2011proceedings.mlr.press ↗https://proceedings.mlr.press/v15/glorot11a.html ↩

  27. Language Models are Few-Shot LearnersTom Brown 等 · 2020arxiv.org ↗1750 億引數、3000 億 token;附錄 D 給出訓練計算量 3.14×10²³ FLOP。https://arxiv.org/abs/2005.14165 ↩ ↩2

  28. Cray-1Wikipediaen.wikipedia.org ↗1976 年首臺裝機於洛斯阿拉莫斯,峰值 160 MFLOPS,售價約 800 萬美元。https://en.wikipedia.org/wiki/Cray-1 ↩

  29. ASCI RedWikipediaen.wikipedia.org ↗1997 年第一臺 LINPACK 實測超過 1 TFLOPS 的計算機。https://en.wikipedia.org/wiki/ASCI_Red ↩

  30. Large-scale Deep Unsupervised Learning using Graphics ProcessorsRajat Raina, Anand Madhavan, Andrew Ng · ICML 2009 · 2009doi.org ↗用 GPU 訓練深度信念網,比雙核 CPU 快最多約 70 倍。https://doi.org/10.1145/1553374.1553486 ↩

  31. A Fast Learning Algorithm for Deep Belief NetsGeoffrey Hinton, Simon Osindero, Yee-Whye Teh · Neural Computation 18(7) · 2006doi.org ↗https://doi.org/10.1162/neco.2006.18.7.1527 ↩

  32. ImageNet Classification with Deep Convolutional Neural NetworksAlex Krizhevsky, Ilya Sutskever, Geoffrey Hinton · NeurIPS 2012 · 2012papers.nips.cc ↗6000 萬引數,兩張 GTX 580(各 3GB)訓練五到六天。https://papers.nips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html ↩

  33. Large Text Compression BenchmarkMatt Mahoneymattmahoney.net ↗enwik9 壓縮榜,表中的 gzip、bzip2、xz、PPMd、paq8hp12、cmix、nncp 各版本的大小都取自這裡。nncp 的作者是 Fabrice Bellard。https://mattmahoney.net/dc/text.html ↩

  34. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LMDeepak Narayanan 等 · SC21 · 2021arxiv.org ↗估算 1024 張 A100 訓練 GPT-3 約需 34 天。https://arxiv.org/abs/2104.04473 ↩

  35. Brown CorpusWikipediaen.wikipedia.org ↗https://en.wikipedia.org/wiki/Brown_Corpus ↩

  36. Building a Large Annotated Corpus of English: The Penn TreebankMitchell Marcus, Beatrice Santorini, Mary Ann Marcinkiewicz · Computational Linguistics 19(2) · 1993aclanthology.org ↗https://aclanthology.org/J93-2004/ ↩

  37. Gradient-based learning applied to document recognitionYann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner · Proceedings of the IEEE 86(11) · 1998doi.org ↗https://doi.org/10.1109/5.726791 ↩

  38. ImageNetWikipediaen.wikipedia.org ↗約 4.9 萬名 Mechanical Turk 工人,來自 167 個國家,標註從 2008 年 7 月做到 2010 年 4 月。https://en.wikipedia.org/wiki/ImageNet ↩

  39. Common CrawlCommon Crawlcommoncrawl.org ↗https://commoncrawl.org/ ↩

  40. The Llama 3 Herd of ModelsLlama Team, Meta · 2024arxiv.org ↗約 15 萬億 token;405B 模型訓練計算量 3.8×10²⁵ FLOP。https://arxiv.org/abs/2407.21783 ↩

  41. Neural Machine Translation by Jointly Learning to Align and TranslateDzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · 2014arxiv.org ↗https://arxiv.org/abs/1409.0473 ↩

  42. Attention Is All You NeedAshish Vaswani 等 · NeurIPS 2017 · 2017arxiv.org ↗https://arxiv.org/abs/1706.03762 ↩

  43. The Hardware LotterySara Hooker · 2020arxiv.org ↗https://arxiv.org/abs/2009.06489 ↩

  44. Adam: A Method for Stochastic OptimizationDiederik Kingma, Jimmy Ba · 2014arxiv.org ↗https://arxiv.org/abs/1412.6980 ↩

  45. Deep Residual Learning for Image RecognitionKaiming He 等 · 2015arxiv.org ↗https://arxiv.org/abs/1512.03385 ↩

  46. Scaling Laws for Neural Language ModelsJared Kaplan 等 · 2020arxiv.org ↗https://arxiv.org/abs/2001.08361 ↩

  47. Training Compute-Optimal Large Language ModelsJordan Hoffmann 等 · 2022arxiv.org ↗https://arxiv.org/abs/2203.15556 ↩

  48. An Observation on GeneralizationIlya Sutskever · Simons Institute · 2023simons.berkeley.edu ↗https://simons.berkeley.edu/news/observation-generalization ↩

  49. Language Modeling Is CompressionGrégoire Delétang 等 · ICLR 2024 · 2023arxiv.org ↗Chinchilla 70B 把 ImageNet 圖塊壓到 43.4%、LibriSpeech 壓到 16.4%,PNG 和 FLAC 分別是 58.5% 和 30.3%;不計模型本身的大小。https://arxiv.org/abs/2309.10668 ↩

  50. Training language models to follow instructions with human feedbackLong Ouyang 等 · 2022arxiv.org ↗https://arxiv.org/abs/2203.02155 ↩

  51. The Bitter LessonRich Sutton · 2019-03-13incompleteideas.net ↗http://www.incompleteideas.net/IncIdeas/BitterLesson.html ↩

延伸閱讀