在《Transformer 是怎麼訓練的》裡,我們手算過一個只有一個旋鈕的機器:損失是 ,每一步按下面這條規則擰一下旋鈕。
w ← w − 学习率 × dL/dw後面那個 10 個引數的 Transformer 用的也是這一行,只不過 從一個數變成了十個數,損失換成了交叉熵,訓練時螢幕上打出 0.615、0.594、0.572……。交叉熵這個數還有一個更樸素的讀法:把對數的底換成 2,它就是模型每猜一個字,平均要花幾個位元去糾正自己。花得越少,拿它去壓縮文字就壓得越小。所以訓練一個語言模型,換個說法就是在訓練一個壓縮器。
順著這個讀法往前找,會碰到一句更大膽的話:壓縮即智慧。2006 年起有人專門懸賞,誰能把一份維基百科壓得更小,誰就領獎,理由是壓縮文字和人工智慧本來就是同一個問題。
這樣看,大模型像是幾件舊東西拼起來的:梯度下降是 1847 年一位法國數學家為了算行星軌道寫下的,“預測就是壓縮”是夏農在 1948 年說清楚的,求導的鏈式法則更是萊布尼茨在 1676 年就寫出來了。既然這些都早就有了,為什麼大模型直到最近幾年才出現?之前的一百多年裡,這些辦法沒被拿來做這件事嗎?還是做過,沒做成? 一個壓縮器,又憑什麼看起來像有了智慧?
我們順著時間往下走,在每一個路口停下來看兩件事:當時的人手裡有什麼工具,他們能把世界上的文字“壓”到多小。
一、梯度下降的來歷
最小二乘:用誤差去調引數
1801 年元旦,義大利天文學家皮亞齊發現了一顆新的小行星,也就是後來的穀神星。他跟蹤了 40 天,穀神星就轉到太陽背後看不見了。要在半年後重新找到它,得從這 40 天的觀測裡反推出它的軌道。
一條橢圓軌道由 6 個數確定(軌道的大小、形狀、傾角等,天文學上叫軌道根數)。觀測有誤差,6 個數怎麼取都不可能讓每一次觀測都對上,所以問題變成:哪一組數讓總誤差最小? 高斯的回答是把每次觀測的誤差平方、加起來,讓這個和最小。他用這個辦法算出的軌道,讓天文學家在年底重新找到了穀神星。勒讓德在 1805 年先發表了這個方法,高斯 1809 年發表時說自己 1795 年就在用,這就是最小二乘法1。
這裡已經出現了訓練的全部要素:一組要調的引數(6 個軌道根數),一個衡量好壞的損失(誤差平方和),還有一批資料(觀測記錄)。只是最小二乘的損失形狀特別好,令導數等於零,解一組線性方程就能一步得到答案,用不著“一步步走”。
換個角度看,這也是一次壓縮。40 天的觀測記錄被概括成了 6 個數,再加上一串很小的誤差:只要記住這 6 個數和誤差,就能把全部觀測原樣“解壓”回來,規律找得越準,誤差越小,要另外記的東西就越少。這種“規律 + 殘差”的寫法,在 30u30 那篇裡叫兩部分碼,後面還會反覆出現。
Cauchy:一步步往下走
方程不是線性的時候,就沒有一步到位的公式了。1847 年 10 月,柯西(Cauchy)向法國科學院提交了一篇只有三頁的短文,討論的還是天文計算:要解一組複雜的方程,不妨把所有方程的誤差平方加起來變成一個函式,然後沿著這個函式下降最快的方向,走一小步,再重新看方向,再走一小步2。這就是梯度下降。今天的最佳化教科書都把這個方法記在柯西名下,不過他在文中並沒有認真分析這樣走會不會收斂3。
一百年後的 1951 年,Robbins 和 Monro 又補上了一塊:如果每次只能看到帶噪聲的測量,比如每次只抽一部分資料來算梯度,這樣一步步走下去仍然能逼近答案4。這是今天“隨機梯度下降”每次只取一小批樣本的數學源頭。
圖 1把三個用了同一條規則的問題擺在一起。柯西的問題只有幾個引數,手算幾步就夠了;GPT-3 有 1750 億個引數,一共走了大約 9.4 萬步,每一步要做的乘法是 量級。公式本身一個字也沒改。
所以,調引數的數學在 19 世紀就齊了。可是要把它用在文字上,還得先回答一個問題:對一個讀文字的機器來說,什麼叫“調好了”?損失應該衡量什麼?
二、預測與壓縮
夏農:一個字值幾個位元
1948 年,貝爾實驗室的夏農發表了《通訊的數學理論》5,回答的是一個工程問題:一段訊息最少要用幾個位元才能傳過去?
他的答案是,訊息裡每個符號的代價取決於它有多出人意料。一個出現機率是 的符號,最少要用 個位元來記:機率 1/2 的要 1 位元,機率 1/1024 的要 10 位元,必然出現的不花位元。所以壓縮的關鍵不在怎麼編碼,而在能不能把下一個符號猜準。如果用來編碼的機率是一個模型 給的,而文字真實的規律是 ,平均每個符號要花的位元數就是兩者的交叉熵。這正是今天訓練語言模型時用的損失,只是對數的底一般取 。損失每降一點,就是這個模型當壓縮器時壓得更小一點。
圖 2是我們用本站文章訓練的一個小模型(第七節還會用到它),給“每個引數減去學習率乘它的偏導數”這句話逐字報的碼長。“參”後面跟“數”幾乎是必然的,只花 0.2 位元;“減”“導”這幾個字它沒料到,各要十幾位元。整句 15 個字合計 116 位元,而用 UTF-8 原樣存要 360 位元。
1951 年,夏農又做了一個實驗:給人看一段英文的前半截,讓人一個字母一個字母地猜後面,記下要猜幾次才猜中6。由此估出來,對一個熟悉英語的人,每個字母平均只有 1 位元左右的資訊量,而計算機存一個字母要 8 位元。一段文字裡大部分內容都是可以猜出來的,猜得越像人,壓得越小。
算術編碼:預測器就是壓縮器
夏農的定理說的是“最少要多少位元”,並沒有給出一個真能達到它的編碼方法。七十年代,裡薩寧(Rissanen)等人發明的算術編碼補上了這一環7:只要有一個模型能對下一個符號給出機率,算術編碼就能把整段文字壓到和 只差幾個位元的長度,解壓時用同一個模型一邊猜一邊還原。
從此預測和壓縮成了一回事的兩面:任何一個預測器,配上算術編碼就是一個壓縮器;它壓得多小,只看它猜得多準。
最短的描述
還剩一個問題:怎樣才能猜得最準?六十年代,所羅門諾夫(Solomonoff)和柯爾莫哥洛夫(Kolmogorov)分別給出了同一個方向的答案89。一段資料的複雜度,是能輸出它的最短程式的長度;預測下一個符號時,越短的解釋越可信。一串 0101……0101 再長,用一行“重複 01”就能寫出來;一串真隨機的位元,最短的寫法就是把它原樣抄一遍。
這套理論把“找到規律”和“壓縮”畫上了等號:能把資料壓到最短的那個程式,就是找到了資料裡全部規律的那個程式,用它來預測也最準。這就是“壓縮即智慧”的理論根源。後來胡特(Marcus Hutter)在此基礎上構造了一個理論上最優的智慧體,並在 2006 年設立了開頭提到的那個壓縮獎10。
問題是,最短程式是不可計算的,理論只指了方向,沒有給出路。到六十年代為止,目標和工具其實都擺在桌上了:目標是把下一個字猜準,工具是梯度下降。缺的是一臺能從資料裡自己學出規律的機器。
三、會學習的機器:感知機
把神經元寫成數學
1943 年,神經生理學家麥卡洛克和邏輯學家皮茨發表了一篇論文:把一個神經元簡化成“把輸入加權求和,超過閾值就輸出 1,否則輸出 0”,這樣的單元連起來就能實現任何邏輯運算11。這是人工神經網路的起點,但它裡面的權重是人設計的,不會學習。
1958 年,康奈爾航空實驗室的羅森布拉特(Rosenblatt)提出了感知機,讓權重自己學12。規則很簡單:拿一個樣本,算出輸出,如果答錯了,就把權重往正確答案的方向挪一點;答對了就不動。他還把它造成了一臺機器 Mark I:一塊 20×20 共 400 個光電管的“視網膜”,接到 512 個關聯單元上,權重存在電位器裡,學習的時候由電機去擰電位器13。權重是實實在在的旋鈕,學習就是電機在擰旋鈕。
當時的反響非常熱烈。《紐約時報》報道說,海軍展示了一臺電子計算機的“胚胎”,預計它將來能走路、說話、看東西、寫字、複製自己,並意識到自己的存在14。
一道 XOR 題
1969 年,明斯基和派珀特出版了《感知機》一書15,書裡用數學證明了單層感知機能做什麼、不能做什麼。最常被引用的例子是異或(XOR):兩個輸入不同時輸出 1,相同時輸出 0。
為什麼單層感知機做不了?單層感知機的判斷就是“加權和是否超過閾值”,在平面上就是用一條直線把點分成兩邊。圖 3左邊畫了 XOR 的四個點,輸出 1 的兩個點在對角線上,輸出 0 的兩個點在另一條對角線上,任何一條直線都沒法把它們分開。我們用 1958 年的規則實際跑了 100 輪,權重一直在擺,每一輪仍然錯 4 個。
多加一層就能表示 XOR:先用兩個單元分別判斷“x₁ 且非 x₂”“x₂ 且非 x₁”,再用一個單元把兩者“或”起來。問題在於怎麼訓練中間那一層。感知機的規則是“看輸出對不對,再改權重”,可中間層的單元沒有自己的標準答案,它們答得對不對,只能間接從最後的輸出上看出來。這叫作“功勞分配”問題:最後錯了,該怪中間哪個單元?
第一次嘗試:直接對階躍網路求導
既然鏈式法則 1676 年就有了,我們自然會想:把誤差對中間層的權重求導,不就知道該怪誰了嗎?
這條路在感知機上走不通。感知機的開關是階躍函式,輸入過了閾值就是 1,沒過就是 0,圖 3中間上面那條線。它除了跳變的那一點,斜率處處是 0:把權重稍微擰一點,輸出紋絲不動,損失也紋絲不動。我們給一個用階躍開關的兩層網路算了數值梯度,第一層四個權重的導數全是 0。導數沒有提供任何“往哪邊調”的資訊。
解決:換一個平滑的開關
辦法是把開關換成平滑的 sigmoid 函式 ,圖 3中間下面那條 S 形曲線。它在 0 附近從 0 平滑地升到 1,每一處都有斜率,於是每個權重都能求出“擰一點,損失變多少”。同樣兩層的網路換上 sigmoid,用梯度下降訓練,100 個隨機起點裡有 78 個學會了 XOR。
剩下的 22 個,後面還會再提到。這裡先回到功勞分配:平滑開關讓中間層的導數存在了,但網路一大,怎麼把這麼多導數算出來?
四、反向傳播:求導的代價
現象:導數存在,不等於算得起
求一個引數的導數,最樸素的辦法是數值差分:把這個引數加一點點,跑一遍網路算損失;再減一點點,再跑一遍;兩個損失相減,除以改動量。我們在訓練那篇文章裡就用它來核對手算的梯度。
這個辦法的問題在於,每個引數都要單獨跑兩遍。網路有 N 個引數,一次完整的梯度就要跑 2N 遍前向。下面是我們實測的一個三層小網路,引數從 84 個加到 106 萬個。
| 引數個數 | 一次前向 | 反向傳播 | 數值差分 | 差分 / 反傳 |
|---|---|---|---|---|
| 84 | 10 µs | 30 µs | 2.0 ms | 68 倍 |
| 528 | 22 µs | 70 µs | 23.3 ms | 332 倍 |
| 5,184 | 50 µs | 170 µs | 423.6 ms | 2,485 倍 |
| 69,888 | 230 µs | 800 µs | 32.3 秒* | 40,297 倍 |
| 1,065,984 | 1.8 ms | 8.5 ms | 57 分鐘* | 406,838 倍 |
數值差分要把每個引數各推一下、各算兩次前向。帶 * 的兩行只實測了 2000 個引數,按比例外推。兩種方法算出的梯度最大相差 1e-11。
表 4的最後一列就是問題所在:引數越多,數值差分比反向傳播慢得越多,到一百萬個引數時已經慢了幾十萬倍。照這個比例推到 GPT-3 的 1750 億個引數,數值差分算一次梯度要跑 3500 億遍前向,走完一步訓練的時間夠反向傳播走完整個訓練好多遍。
原因:鏈式法則裡有大量重複計算
為什麼反向傳播的耗時和引數個數無關?在訓練那篇文章的第五節,我們從損失往回算過 10 個偏導數:先算損失對輸出的導數,再用它算出對上一層的導數,一層一層往回傳,每一層的中間結果只算一次,被後面所有引數共享。數值差分沒有這種共享,每推一個引數都從頭算一遍。
所以反向傳播並不是新的數學,它只是鏈式法則的一種演算法安排:從輸出往輸入的方向套鏈式法則,代價大約是前向的兩三倍,表 4裡實測是 3 到 5 倍。這也是今天估算訓練計算量時常說的“前向加反向約等於 3 倍前向”的來歷。
它被髮明瞭好幾次
這個安排有好幾個獨立的發明者16。1970 年,芬蘭的林納因馬(Linnainmaa)在碩士論文裡寫出了反向模式自動微分,用來估計程式里舍入誤差的累積,跟神經網路沒有關係。1974 年,沃博斯(Werbos)在哈佛的博士論文裡把它用到了神經網路上,但沒有引起注意。直到 1986 年,魯梅爾哈特、辛頓和威廉姆斯在《自然》上發表論文,演示了用反向傳播訓練的多層網路能學出有意義的中間表示,這個方法才在神經網路圈子裡流行起來17。
到 1986 年,訓練一個多層網路需要的東西已經全部齊了:平滑的開關、反向傳播、隨機梯度下降,再加上第二節的目標,猜準下一個字。那為什麼大模型又等了三十多年?
五、1986 年以後的二十年
它其實被用起來了
先回答開頭那個問題:這些能力並不是沒人用。1989 年,貝爾實驗室的楊立昆(LeCun)用反向傳播訓練了一個卷積網路,識別美國郵政信件上的手寫郵編,錯誤率約 1%18。這個網路有 9760 個引數,在一臺 SUN-4/260 工作站上訓練了 3 天。2022 年卡帕西(Karpathy)用 PyTorch 復現了它,在一臺 M1 MacBook Air 的 CPU 上跑完只要 90 秒左右19,演算法一樣,快了約 3000 倍。後來這一系列網路被用來識別支票上的手寫數字,進入了真實的銀行業務。
用神經網路猜下一個詞也有人做了。2003 年,本吉奧(Bengio)等人做出了第一個神經網路語言模型,猜下一個詞比當時主流的統計方法更準20。
所以 1986 年以後的問題不是“沒人想到”,而是做出來的東西只在小問題上管用,一做深、做大就不靈了。
現象:網路一深,前面的層就學不動
1991 年,霍赫賴特(Hochreiter)在畢業論文裡分析了一個現象21,1994 年本吉奧等人又從另一個角度證明了它22:梯度從輸出往回傳的時候,每經過一層要乘一次這一層開關的斜率。sigmoid 的斜率最大隻有 0.25,層數一多,梯度就按指數縮小。
我們搭了一個 20 層的網路,在剛初始化的時候量了每一層權重梯度的大小,結果畫在圖 5裡。
用 sigmoid 時,最後一層的梯度是 2.1,第一層只剩 ,差了 12 個數量級;作為對照,,幾乎就是這個比例。梯度下降按梯度的大小調引數,第一層的引數等於根本沒動。這叫作梯度消失。圖裡另一條線換成了 ReLU 開關 ,它在正半邊的斜率恆為 1,各層梯度在同一個量級。
第一次嘗試:繞開它
九十年代的人知道這個問題,也找到了一些繞開的辦法。1997 年的 LSTM 給迴圈網路加了一條梯度能原樣透過的“傳送帶”,讓它能記住幾十步以前的內容23,這個結構後來用了二十年。但在大多數任務上,研究者乾脆不用深網路。
同一時期,支援向量機(SVM)出現了24。它的訓練是一個凸最佳化問題,只有一個最低點,保證找得到,背後還有一套漂亮的統計學習理論。相比之下,神經網路的損失地形坑坑窪窪,可能卡在區域性最低點裡出不來,調參全靠經驗。前面 XOR 實驗裡那 22 個沒學會的起點,就是卡在了這樣的地方。在當時的資料量下,SVM 的效果往往不比神經網路差,於是神經網路在主流學術界冷了大約十年。
壓縮榜上的手寫模型
壓縮這條線上,情形也一樣。這二十年裡最會“猜下一個位元組”的程式,都是人手寫的統計模型。1984 年的 PPM 按前面幾個位元組出現過的次數,統計下一個位元組的機率25,第七節的小實驗就是這一類。後來 Mahoney 的 PAQ 系列把幾百個這樣的手寫模型放在一起,再用一個很小的神經網路,按各自最近猜得準不準來給它們加權。
2006 年,胡特設立了壓縮獎:把 100MB 的英文維基百科(enwik8)壓得更小,就按壓小的比例發獎金,理由是壓縮文字和人工智慧是同一個問題10。從 2006 到 2017 年,每一次破紀錄的都是在 PAQ 基礎上改出來的手寫混合模型。神經網路語言模型猜得更準,但慢到沒法拿來壓 100MB 的文字。“壓縮即智慧”這個想法有了,比賽也有了,贏的卻是手工的統計。
回頭看,這二十年裡缺的演算法其實不多。ReLU 就是 ,1990 年也寫得出來;到 2011 年格洛羅(Glorot)等人系統地說明它在深層網路裡好用26,才普及開來。那段時間更大的問題在別處:XOR 實驗裡,隱藏層從 2 個單元加到 3 個,100 個起點裡能學會的從 78 個變成 99 個,到 4 個單元就全部學會了。網路大一點反而更好訓練,可那時的機器養不起大網路,資料也喂不飽它。下面我們分別看這兩樣差多少。
六、算力:差了多少個數量級
訓練一次要多少次運算
一個大語言模型訓練一次要多少次浮點運算,有一個很好用的估算:每個引數、每個 token,前向約 2 次運算,加上反向一共約 6 次。GPT-3 有 1750 億個引數、看了 3000 億個 token:
GPT-3 論文附錄給出的數字是 27。這個數有多大?我們把歷史上幾臺有代表性的機器拿來對比。
| 機器 | 年份 | 峰值 | 要多久 | 備註 |
|---|---|---|---|---|
| Cray-1 | 1976 | 1.6 億次/秒 | 約 6218 萬年 | 約 800 萬美元 |
| ASCI Red 超算 | 1997 | 1.07 萬億次/秒 | 約 9,316 年 | 第一臺過萬億次的機器 |
| 一張 GTX 580 | 2010 | 1.58 萬億次/秒 | 約 6,297 年 | AlexNet 用了兩張 |
| 一張 V100 | 2017 | 125 萬億次/秒 | 約 80 年 | 張量核心,半精度 |
| 一張 H100 | 2022 | 989 萬億次/秒 | 約 10 年 | 張量核心,BF16 |
| 真實做法:成千上萬張卡一起算 | ||||
| 1024 張 A100 | 2021 | 按實測效率 | 約 34 天 | Megatron-LM 論文的估算 |
按峰值滿負荷算,是最樂觀的情形;真實訓練的利用率通常只有峰值的三到五成。
1976 年的 Cray-1 是當時最快的超級計算機,峰值每秒 1.6 億次,售價約 800 萬美元28。用它訓練 GPT-3 要 6000 多萬年。1997 年的 ASCI Red 是第一臺每秒過萬億次的計算機29,也要 9000 多年。即使只看記憶體,GPT-3 的引數用半精度存要 350GB,訓練時連同梯度和最佳化器狀態要好幾 TB;Cray-1 的記憶體是 8MB,AlexNet 用的 GTX 580 每張 3GB。
這張表的意思很清楚:就算 1986 年有人寫出了 Transformer 和全部訓練技巧,也不可能訓練出 GPT-3。不是沒想到,是做不到。
GPU:給遊戲造的矩陣乘法機器
轉機來自一個意想不到的地方。遊戲畫面要給幾百萬個畫素各算一遍顏色,顯示卡因此被造成了成千上萬個簡單計算單元一起幹活的樣子,最擅長的恰好是大批次的乘加運算,也就是矩陣乘法。神經網路的前向和反向,絕大部分也是矩陣乘法。
2007 年英偉達推出 CUDA,顯示卡可以直接用 C 語言風格的程式碼程式設計了。2009 年,吳恩達的團隊用 GPU 訓練深度網路,比雙核 CPU 快了最多約 70 倍30。2006 年辛頓用逐層預訓練讓深層網路重新訓得動31,再加上 ReLU、GPU,幾條線開始匯合。
2012 年,克里熱夫斯基、蘇茨克維和辛頓用兩張 GTX 580 遊戲顯示卡,在 ImageNet 影象識別比賽上把錯誤率從 26% 降到了 15% 左右32。這個網路叫 AlexNet,有 6000 萬個引數,訓練了五到六天,因為一張卡 3GB 視訊記憶體放不下,模型被拆在兩張卡上。演算法上它沒有什麼 1990 年想不到的東西,卷積、反向傳播、隨機梯度下降都是老的,新的是 ReLU、Dropout 和兩張顯示卡。
壓縮榜的換手
壓縮榜上的換手來得更晚一些。Mahoney 維護的大文字壓縮榜比的是把 1GB 的英文維基百科(enwik9)壓到多小,不限硬體33。
| 壓縮器 | 年份 | 怎麼猜下一個位元組 | 壓縮後 | 位元/位元組 |
|---|---|---|---|---|
| gzip -9 | 在前面 32KB 裡找重複片段 | 322.6 MB | 2.58 | |
| bzip2 -9 | 整塊重排後統計 | 254.0 MB | 2.03 | |
| xz -9e | 在 1GB 視窗裡找重複片段 | 197.3 MB | 1.58 | |
| PPMd(7-Zip) | 按前幾個位元組統計下一個位元組 | 179.0 MB | 1.43 | |
| paq8hp12 | 2007 | 幾百個手寫上下文模型加權混合 | 132.0 MB | 1.06 |
| cmix v1 | 2014 | 上千個手寫模型混合 | 128.6 MB | 1.03 |
| nncp(LSTM) | 2019 | 神經網路邊讀邊訓練,CPU | 125.6 MB | 1.00 |
| cmix v18 | 2019 | 手寫模型 + 小 LSTM 混合 | 115.7 MB | 0.93 |
| nncp v3.1(Transformer) | 2021 | 約 2 億引數,GPU | 108.4 MB | 0.87 |
| nncp v3.2(Transformer) | 2023 | 同上,再調參 | 106.6 MB | 0.85 |
資料來自 Matt Mahoney 的大文字壓縮榜,只列壓縮後大小,不含解壓程式本身。年份為該版本提交日期,經典工具不標。
2019 年,寫過 QEMU 和 FFmpeg 的貝拉(Fabrice Bellard)釋出了 nncp:一個神經網路一邊讀維基百科一邊訓練,一邊給下一個位元組報機率,再用算術編碼寫下來。第一版是 LSTM,在 CPU 上壓 1GB 要好幾天,成績還不如手寫模型最好的 cmix。2021 年他換成了約 2 億引數的 Transformer,放到 GPU 上跑,登上了榜首,2023 年的版本壓到 106.6MB,平均每個位元組約 0.85 位元(表 7)。對照開頭那句話:這臺“壓縮器”裡裝的,就是一個邊讀邊學的小語言模型。
訓練所需漲得比單卡更快
AlexNet 之後,訓練用的算力增長得非常快。圖 8把幾個有代表性的模型的訓練計算量,和同期一臺機器滿負荷跑一天的運算量畫在一起。
LeNet 的訓練量還在一臺工作站幾天的能力之內;AlexNet 大約等於兩張 GTX 580 跑滿兩天(實際利用率不到一半,所以用了五六天);到 GPT-3,實線已經比虛線高出三四個數量級,一張 H100 滿負荷也要跑 10 年。這些差距只能靠把成千上萬張卡連起來補:Megatron-LM 的作者估算,1024 張 A100 訓練 GPT-3 大約要 34 天34。怎麼讓一萬張卡像一臺機器一樣幹活,又是一整套工程:模型怎麼切開放在不同的卡上,梯度怎麼彙總,網路頻寬夠不夠,一張卡壞了怎麼續上。在顯示卡對比那篇裡我們看過這些卡的價格和效能,單張 H100 就要幾萬美元。
算力在 2012 年前後夠了,可是拿什麼去餵它?
七、資料:標籤是瓶頸
現象:資料集停在百萬級
神經網路要從例子裡學。在很長時間裡,“例子”指的是帶標籤的例子:一張圖配一個“貓”,一句話配一棵句法樹。標籤要人來打,這就把資料集的規模卡住了。
| 資料集 | 年份 | 規模 | 標籤從哪來 |
|---|---|---|---|
| Brown 語料庫 | 1961 | 約 100 萬詞 | 人工挑選、人工標詞性 |
| Penn Treebank | 1993 | 約 450 萬詞 | 人工標句法樹 |
| MNIST | 1998 | 7 萬張手寫數字 | 人寫、人標 |
| ImageNet | 2009 | 約 1400 萬張圖 | 約 4.9 萬名眾包工人,標了近兩年 |
| GPT-3 訓練集 | 2020 | 3000 億 token | 下一個詞本身 |
| Llama 3 訓練集 | 2024 | 約 15 萬億 token | 下一個詞本身 |
1961 年的 Brown 語料庫有約 100 萬詞,是第一個計算機可讀的大規模英語語料,每個詞的詞性都是人工標的35。三十年後的 Penn Treebank 有約 450 萬詞,標了句法樹36,九十年代到 2010 年代的大量語言研究都在它上面做。1998 年的 MNIST 有 7 萬張手寫數字37。
2009 年李飛飛團隊釋出的 ImageNet 是一個轉折:約 1400 萬張圖片,標註靠亞馬遜的眾包平臺 Mechanical Turk,約 4.9 萬名來自 167 個國家的工人,從 2008 年 7 月一直標到 2010 年 4 月38。AlexNet 正是在它的一個 120 萬張圖的子集上訓練出來的。但這也幾乎是人工標註能走到的上限了。
解決:把壓縮當目標
語言模型繞開了這個瓶頸,靠的正是第二節的那個目標。它要做的是壓縮文字,也就是猜下一個詞,而下一個詞就寫在原文裡:每一段人寫的文字,本身就是成千上萬個“題目 + 答案”,不用任何人來打標籤。這種做法叫自監督。
標籤不再需要人打,能用的資料就只受“人類寫了多少字”的限制。2008 年開始,非營利組織 Common Crawl 定期抓取整個公開網頁,把資料免費放出來39。GPT-3 的訓練資料有 3000 億個 token,大部分來自過濾後的 Common Crawl;2024 年的 Llama 3 用了約 15 萬億個 token40。和 Penn Treebank 比,大了幾百萬倍。
資料越多,壓得越小
資料量對壓縮有多大影響?我們拿本站的文章做了一個小實驗:用其中 53 篇訓練字元級的“k 階模型”,也就是按前 k 個字的出現次數去猜下一個字(和 PPM 同類),再用它壓縮另外 4 篇沒見過的文章。
| 訓練文字 | 0 階 | 1 階 | 2 階 | 3 階 | 4 階 |
|---|---|---|---|---|---|
| 3.8 萬字 | 8.64 | 7.32 | 7.42 | 7.55 | 7.60 |
| 15 萬字 | 8.44 | 6.52 | 6.41 | 6.53 | 6.62 |
| 60 萬字 | 8.35 | 6.00 | 5.78 | 5.89 | 6.00 |
| 對照:通用壓縮器(只看這四篇本身) | |||||
| gzip / bzip2 / xz | 7.20 / 5.92 / 6.41 | ||||
“k 階”指按前 k 個字猜下一個字。測試的 4 篇共 42,255 字、89,154 位元組,不在訓練集裡。每行最好的一格用強調色。
表 10裡有兩個現象。第一,訓練文字從 3.8 萬字加到 60 萬字,最好的成績從每字 7.32 位元降到 5.78 位元,已經比 bzip2 好,比 gzip 好得多:模型見過的文字越多,越能猜中沒見過的文字。第二,模型越大越吃資料。只有 3.8 萬字時,看前 1 個字的模型最好,看前 2 到 4 個字的反而更差,因為大部分“前 4 個字”的組合在訓練集里根本沒出現過,模型沒有可以依據的統計;資料加到 15 萬字以後,看前 2 個字的才追上來。60 萬字對這樣的模型來說仍然太少,4 階始終沒有翻身。
這正是大模型需要海量文字的原因:引數越多,能記下的規律越多,要把它們都學到,就要越多的文字。網際網路把人類幾十年寫下的文字放到了同一個地方,自監督讓這些文字不用標註就能直接用。算力有了,資料也有了,還差什麼?
八、架構與規模:最後兩塊
現象:迴圈網路喂不飽 GPU
2017 年以前,處理文字的主力是迴圈網路(RNN 和 LSTM),nncp 的第一版用的也是它。它讀一句話的方式和人一樣,一個字一個字地讀,每讀一個字更新一次內部狀態。問題在於,第 6 個字的計算要等前 5 個字算完,整句話的計算是一條序列的鏈。GPU 有上萬個計算單元,卻只能一步一步地等。
2014 年,巴達瑙(Bahdanau)等人在機器翻譯里加入了注意力:翻譯每個詞時,直接回頭看原文的所有位置,按相關程度加權取資訊41。2017 年穀歌的《Attention Is All You Need》走到底,把迴圈結構整個拿掉,只留注意力,這就是 Transformer42。
圖 11是兩者的區別。Transformer 裡每個位置看其他位置的注意力分數,可以寫成一次矩陣乘法 一起算出來,句子再長也只是矩陣大一點。這正是 GPU 最擅長的形狀。胡克(Sara Hooker)把這種現象叫作“硬體彩票”:一種演算法能不能勝出,很大程度上取決於它是否碰巧適合當時的硬體43。Transformer 中了這張彩票,nncp 從 LSTM 換成 Transformer 以後登上壓縮榜首,也是同一個原因。
這一時期還補上了幾塊讓深網路穩定訓練的零件:Adam 最佳化器自動調整每個引數的步長44,殘差連線讓梯度可以跳過若干層直接往回傳,網路因此能疊到上百層45。它們解決的都是第五節那種“網路一深就訓不動”的問題。
規模定律:壓縮率可以預算
到 2018 年前後,架構、算力、資料都有了,但還有一個現實的問題:訓練一個大模型要花幾百萬美元,花了錢,模型會變好多少? 如果事先不知道,沒有人敢押這麼大的注。
2020 年 1 月,OpenAI 的卡普蘭(Kaplan)等人發表了規模定律:語言模型的測試損失隨引數量、資料量和計算量按冪律平穩下降,可以用小模型的結果外推大模型的結果46。按第二節的讀法,這張圖的縱軸就是每個 token 平均要花多少位元,規模定律畫的是一條壓縮率曲線:多投多少算力,能把人類的文字多壓掉多少,事先就能算出來。這讓“做大”從一場賭博變成了一筆可以預算的投資。同年 5 月,GPT-3 釋出27。2022 年 DeepMind 的 Chinchilla 進一步指出,在算力固定時引數和資料應該同比例增長,GPT-3 那一代模型其實資料給少了47,這和表 10裡“模型越大越吃資料”是同一回事。
壓縮的視角在這幾年被重新提了出來。2023 年蘇茨克維(Ilya Sutskever)在伯克利的一次演講裡,用壓縮來解釋為什麼只靠“猜下一個詞”的無監督學習能學到有用的東西48。同年 DeepMind 的論文《語言模型即壓縮》把這件事做成了實驗:主要用文字訓練的 Chinchilla 70B,配上算術編碼去壓圖片和音訊,把 ImageNet 的圖塊壓到原大小的 43.4%,把 LibriSpeech 的語音壓到 16.4%,比專門的 PNG(58.5%)和 FLAC(30.3%)還小49,前提是不把模型本身的體積算進去。
最後一塊是讓模型“聽話”。只會預測下一個詞的模型,你問它問題,它可能接著編出另一個問題。2022 年 3 月的 InstructGPT 用人類反饋做強化學習,把一個預測器調成了能按指令回答的助手50。同年 11 月 30 日,ChatGPT 上線。
九、四條線的交匯
把前面幾節放到一張圖上,就能看出“為什麼是最近幾年”。
圖 12有四條線。數學最早就緒:鏈式法則、最小二乘、梯度下降,以及夏農把“預測”和“壓縮”連在一起的資訊理論,在 1951 年以前全部齊了。演算法在 1986 年反向傳播流行時基本齊全,剩下的 ReLU、注意力、Transformer 都是小改動,卻要等算力和資料到了,才知道哪種改動值得。算力和資料是最晚的兩條:一直到 2010 年前後,單機算力和人工標註的資料集都還差著好幾個數量級,而它們的轉機,GPU 和網際網路文字,都不是為人工智慧準備的。
這四條線有一個順序上的依賴:沒有足夠的算力和資料,就看不出大網路的好處;看不出好處,就沒人去發明適合大網路的架構,也沒人去建萬卡叢集。壓縮榜就是一個縮影:同樣是“猜下一個位元組”,手寫模型領先了十幾年,神經網路要等到 GPU 和 Transformer 都到位才超過它。所以四條線不是各自獨立地“到期”,而是在 2012 到 2022 年這十年裡,一條帶動另一條,先後就位。
薩頓(Rich Sutton)2019 年寫過一篇短文《苦澀的教訓》,總結 AI 研究七十年的經驗:能隨著算力增長而變好的通用方法,最終總是贏過精心設計的人類知識,而且贏得很多51。PAQ 和 cmix 裡上千個手寫模型,就是“精心設計的人類知識”;梯度下降簡單到幾乎沒有可以加進去的知識,所以能一直擴充套件下去。
十、回到開頭
回到開頭那行規則:
w ← w − 学习率 × dL/dw從柯西到 GPT-3,它一個字也沒改,損失也一直是夏農 1948 年定義的那個位元數。我們覺得從梯度到 Transformer“好像也沒那麼複雜”,這個感覺是對的:大模型的原理確實不復雜,複雜的是讓這行規則在 1750 億個引數上、在 3000 億個 token 上走 9 萬多步。
這一百多年裡,規則一直都在被使用:1801 年算穀神星,1958 年擰感知機的電位器,1989 年識別郵編,2006 年在壓縮獎上擠維基百科,2012 年認 ImageNet 裡的貓。每一次都做到了當時的硬體和資料所允許的最大規模。大模型之所以等到最近幾年,是因為直到最近,這個“最大規模”才大到讓一個壓縮器把人類的文字壓得足夠小。
那麼,一個壓縮器憑什麼像有了智慧?回到第二節:要把一本物理教科書的下一個字猜準,光記住常見的詞搭配是不夠的,遲早要“知道”能量守恆;要把一段程式碼的下一行猜準,遲早要“知道”這段程式碼在幹什麼。損失每往下壓一點,模型就被逼著多掌握一條這樣的規律。穀神星的 6 個軌道根數是 40 天觀測的壓縮,規律找對了,就能預言半年後它在哪裡;語言模型的引數是人類文字的壓縮,規律找得夠多,就能接著寫出一段從沒見過、但說得通的文字。“壓縮即智慧”說的就是這件事。至於這樣的壓縮能不能算真正的理解,還是一個開放的問題。
這也和本站另外幾篇文章連在一起。AdderBoard 那篇裡,36 個引數的 Transformer 就能把十位數加法學對,因為加法的規律很小,壓縮它用不了多少引數;語言的規律大得多,所以要大得多的模型。FPGA 那篇問過“為什麼 FPGA 的四十年裡沒有湧現智慧”,答案的一半就在第三節:位元像階躍開關一樣沒有梯度,沒法用這行規則去調;另一半在第六、七節:即使能調,當年也沒有足夠的算力和資料。
小結
- 梯度下降多老? 鏈式法則 1676 年,最小二乘 1805 年,梯度下降 1847 年,隨機梯度 1951 年。調引數的數學在一百多年前就齊了。
- 訓練要最佳化的是什麼? 夏農 1948 年說明,一個字的碼長是它的機率取負對數,交叉熵損失就是壓縮後的位元數;算術編碼讓任何預測器都成了壓縮器;所羅門諾夫和柯爾莫哥洛夫把“找到規律”和“壓到最短”畫上等號。這就是“壓縮即智慧”。
- 會學習的機器為什麼停在 1969 年? 單層感知機分不開 XOR;多層網路能分開,但階躍開關的導數處處為 0,沒法用梯度訓練。換成 sigmoid 這樣的平滑開關才行。
- 反向傳播解決了什麼? 求導的代價。數值差分要跑 2N 遍前向,反向傳播只要前向的幾倍,和引數個數無關。
- 1986 年以後為什麼又冷了二十年? 深網路有梯度消失,小資料上 SVM 更穩;壓縮榜上贏的是手寫統計模型。讓大網路好訓練的規模,當時的機器和資料都給不起。
- 算力差多少? GPT-3 要 次運算,在 1976 年的 Cray-1 上要 6000 多萬年,在一張 2010 年的顯示卡上也要 6000 多年。GPU 和萬卡叢集把它縮到一個月,壓縮榜首也在 GPU 上換成了 Transformer。
- 資料差多少? 人工標註的資料集停在百萬到千萬級;把壓縮當目標就不用人打標籤,訓練資料到了萬億 token。模型越大越吃資料。
- 最後幾塊是什麼? 適合 GPU 並行的 Transformer,把壓縮率變成可以預算的規模定律,以及把預測器調成助手的人類反饋。
- 為什麼是最近幾年? 數學、演算法、算力、資料四條線要同時到位,最晚的算力和資料在 2010 年代才到,並且一條帶動另一條,在 2012 到 2022 年間先後就位。
本文的四個小實驗(數值差分與反向傳播的耗時、20 層網路的梯度消失、XOR 的三種訓練、用字元模型壓縮本站文章)都是幾十到一百來行的 Python 指令碼,在筆記本上幾分鐘就能跑完。
參考資料
參考資料
-
Gauss and the Invention of Least Squaresdoi.org ↗Legendre 1805 年發表最小二乘法,Gauss 1809 年發表並稱自己 1795 年就在用;Gauss 用它算出了穀神星的軌道。https://doi.org/10.1214/aos/1176345451 ↩
-
Méthode générale pour la résolution des systèmes d'équations simultanéesgtfp.cs.rhul.ac.uk ↗1847 年 10 月 18 日提交科學院的短文,第 536–538 頁,動機是天體軌道計算。https://gtfp.cs.rhul.ac.uk/pulskamp/Cauchy/Orbits/1847%20CR%20536%28383%29.pdf ↩
-
Cauchy and the Gradient Methodmath.uni-bielefeld.de ↗梯度法的來歷考證:Cauchy 的短文沒有做嚴格的收斂分析。https://www.math.uni-bielefeld.de/documenta/vol-ismp/40_lemarechal-claude.pdf ↩
-
A Stochastic Approximation Methoddoi.org ↗用帶噪聲的觀測一步步逼近解,隨機梯度下降的數學源頭。https://doi.org/10.1214/aoms/1177729586 ↩
-
A Mathematical Theory of Communicationdoi.org ↗https://doi.org/10.1002/j.1538-7305.1948.tb01338.x ↩
-
Prediction and Entropy of Printed Englishdoi.org ↗https://doi.org/10.1002/j.1538-7305.1951.tb01366.x ↩
-
Generalized Kraft Inequality and Arithmetic Codingdoi.org ↗算術編碼的奠基論文之一,同年 Pasco 的博士論文也獨立提出了類似方法。https://doi.org/10.1147/rd.203.0198 ↩
-
A Formal Theory of Inductive Inference, Part Idoi.org ↗https://doi.org/10.1016/S0019-9958(64)90223-2 ↩
-
Three approaches to the quantitative definition of information ↩
-
500'000€ Prize for Compressing Human Knowledgeprize.hutter1.net ↗2006 年設立,最初用 100MB 的 enwik8,2020 年改為 1GB 的 enwik9、獎金池增至 50 萬歐元;主辦方認為文字壓縮和 AI 是等價的問題。歷屆獲獎者見 Wikipedia 的 Hutter Prize 詞條。http://prize.hutter1.net/ ↩ ↩2
-
A Logical Calculus of the Ideas Immanent in Nervous Activitydoi.org ↗https://doi.org/10.1007/BF02478259 ↩
-
The Perceptron: A Probabilistic Model for Information Storage and Organization in the Braindoi.org ↗https://doi.org/10.1037/h0042519 ↩
-
Perceptronen.wikipedia.org ↗Mark I 感知機的硬體:20×20 共 400 個光電管、512 個關聯單元,權重存在電位器裡,學習時由電機轉動電位器。https://en.wikipedia.org/wiki/Perceptron ↩
-
New Navy Device Learns By Doingnytimes.com ↗https://www.nytimes.com/1958/07/08/archives/new-navy-device-learns-by-doing-psychologist-shows-embryo-of.html ↩
-
Perceptrons: An Introduction to Computational Geometrymitpress.mit.edu ↗https://mitpress.mit.edu/9780262630221/perceptrons/ ↩
-
Who Invented the Reverse Mode of Differentiation?math.uni-bielefeld.de ↗反向模式自動微分的來歷:Linnainmaa 1970 年的碩士論文,用來估計舍入誤差;Werbos 1974 年的博士論文把它用到神經網路上。https://www.math.uni-bielefeld.de/documenta/vol-ismp/52_griewank-andreas-b.pdf ↩
-
Learning representations by back-propagating errorsnature.com ↗https://www.nature.com/articles/323533a0 ↩
-
Backpropagation Applied to Handwritten Zip Code Recognitiondoi.org ↗布法羅郵局的 9298 個手寫郵編數字;網路有 64,660 個連線、9760 個獨立引數。https://doi.org/10.1162/neco.1989.1.4.541 ↩
-
Deep Neural Nets: 33 years ago and 33 years from nowkarpathy.github.io ↗復現 LeCun 1989:原文在 SUN-4/260 工作站上訓練 3 天,M1 MacBook Air 的 CPU 上約 90 秒。https://karpathy.github.io/2022/03/14/lecun1989/ ↩
-
A Neural Probabilistic Language Modeljmlr.org ↗https://www.jmlr.org/papers/v3/bengio03a.html ↩
-
Untersuchungen zu dynamischen neuronalen Netzenpeople.idsia.ch ↗德文,首次系統分析了梯度在深層 / 長序列中指數衰減的問題。https://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf ↩
-
Learning long-term dependencies with gradient descent is difficultdoi.org ↗https://doi.org/10.1109/72.279181 ↩
-
Long Short-Term Memorydoi.org ↗https://doi.org/10.1162/neco.1997.9.8.1735 ↩
-
Support-vector networksdoi.org ↗https://doi.org/10.1007/BF00994018 ↩
-
Data Compression Using Adaptive Coding and Partial String Matchingdoi.org ↗https://doi.org/10.1109/TCOM.1984.1096090 ↩
-
Deep Sparse Rectifier Neural Networksproceedings.mlr.press ↗https://proceedings.mlr.press/v15/glorot11a.html ↩
-
Language Models are Few-Shot Learnersarxiv.org ↗1750 億引數、3000 億 token;附錄 D 給出訓練計算量 3.14×10²³ FLOP。https://arxiv.org/abs/2005.14165 ↩ ↩2
-
Cray-1en.wikipedia.org ↗1976 年首臺裝機於洛斯阿拉莫斯,峰值 160 MFLOPS,售價約 800 萬美元。https://en.wikipedia.org/wiki/Cray-1 ↩
-
ASCI Reden.wikipedia.org ↗1997 年第一臺 LINPACK 實測超過 1 TFLOPS 的計算機。https://en.wikipedia.org/wiki/ASCI_Red ↩
-
Large-scale Deep Unsupervised Learning using Graphics Processorsdoi.org ↗用 GPU 訓練深度信念網,比雙核 CPU 快最多約 70 倍。https://doi.org/10.1145/1553374.1553486 ↩
-
A Fast Learning Algorithm for Deep Belief Netsdoi.org ↗https://doi.org/10.1162/neco.2006.18.7.1527 ↩
-
ImageNet Classification with Deep Convolutional Neural Networkspapers.nips.cc ↗6000 萬引數,兩張 GTX 580(各 3GB)訓練五到六天。https://papers.nips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html ↩
-
Large Text Compression Benchmarkmattmahoney.net ↗enwik9 壓縮榜,表中的 gzip、bzip2、xz、PPMd、paq8hp12、cmix、nncp 各版本的大小都取自這裡。nncp 的作者是 Fabrice Bellard。https://mattmahoney.net/dc/text.html ↩
-
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LMarxiv.org ↗估算 1024 張 A100 訓練 GPT-3 約需 34 天。https://arxiv.org/abs/2104.04473 ↩
-
Brown Corpusen.wikipedia.org ↗https://en.wikipedia.org/wiki/Brown_Corpus ↩
-
Building a Large Annotated Corpus of English: The Penn Treebankaclanthology.org ↗https://aclanthology.org/J93-2004/ ↩
-
Gradient-based learning applied to document recognitiondoi.org ↗https://doi.org/10.1109/5.726791 ↩
-
ImageNeten.wikipedia.org ↗約 4.9 萬名 Mechanical Turk 工人,來自 167 個國家,標註從 2008 年 7 月做到 2010 年 4 月。https://en.wikipedia.org/wiki/ImageNet ↩
-
The Llama 3 Herd of Modelsarxiv.org ↗約 15 萬億 token;405B 模型訓練計算量 3.8×10²⁵ FLOP。https://arxiv.org/abs/2407.21783 ↩
-
Neural Machine Translation by Jointly Learning to Align and Translatearxiv.org ↗https://arxiv.org/abs/1409.0473 ↩
-
Attention Is All You Needarxiv.org ↗https://arxiv.org/abs/1706.03762 ↩
-
The Hardware Lotteryarxiv.org ↗https://arxiv.org/abs/2009.06489 ↩
-
Adam: A Method for Stochastic Optimizationarxiv.org ↗https://arxiv.org/abs/1412.6980 ↩
-
Deep Residual Learning for Image Recognitionarxiv.org ↗https://arxiv.org/abs/1512.03385 ↩
-
Scaling Laws for Neural Language Modelsarxiv.org ↗https://arxiv.org/abs/2001.08361 ↩
-
Training Compute-Optimal Large Language Modelsarxiv.org ↗https://arxiv.org/abs/2203.15556 ↩
-
An Observation on Generalizationsimons.berkeley.edu ↗https://simons.berkeley.edu/news/observation-generalization ↩
-
Language Modeling Is Compressionarxiv.org ↗Chinchilla 70B 把 ImageNet 圖塊壓到 43.4%、LibriSpeech 壓到 16.4%,PNG 和 FLAC 分別是 58.5% 和 30.3%;不計模型本身的大小。https://arxiv.org/abs/2309.10668 ↩
-
Training language models to follow instructions with human feedbackarxiv.org ↗https://arxiv.org/abs/2203.02155 ↩
-
The Bitter Lessonincompleteideas.net ↗http://www.incompleteideas.net/IncIdeas/BitterLesson.html ↩