我們平時解決一個問題,大致是這樣走的:先出一個方案,落地看看結果,開會評審符不符合預期,提幾條修改意見,改出第二版。第二版也不一定比第一版好,於是再評審、再改。一個方案來來回回倒騰好多輪,最後定下來的也只是“目前最滿意的”,誰也不敢說它最優。
訓練一個大模型,看起來卻完全是另一回事。我們在《Transformer 是怎麼訓練的》裡手算過:算出損失對每個引數的坡度,每個引數朝下坡挪一小步,重複。螢幕上的損失從 0.615 一路降到 0.030,中間沒有人開會,也沒有人拍板說“這一版不行,推倒重來”。幾千億個引數,靠這麼一條規則,就被調到了一個相當好的地方。
這就讓人想問:人要反覆權衡、反覆評審才能做好的事,訓練裡是怎麼省掉的?按梯度走一步,憑什麼就是在往對的方向改?走到後來,是不是每個引數都已經調到了最優?如果是,這裡面到底用了什麼魔法。
本文就順著這幾個疑問,一層一層往下講。
一、訓練裡的評審
現象:看起來沒人評審
先把訓練的一步,和人改方案的一輪,放在一起看(圖 1)。
左邊是人。方案落地之後,評審會回答的是“好還是不好”,最多再給幾條方向性的意見:“這裡再想想”“那裡改激進一點”。具體改哪、改多少,還得靠人自己琢磨,所以改完常常發現改歪了。
右邊是訓練的一步。損失就是評審。 它是一個提前寫死的分數,比如語言模型的損失就是“下一個詞猜錯了多少”,用當前引數答一批題,算出這個分數,評審就完成了。然後反向傳播把這個分數往回拆,拆出每一個引數的偏導數,也就是梯度:這個引數往大調,損失會漲還是降,漲降有多快。這相當於評審會給 1750 億個引數各寫了一條意見,每條都精確到“往哪邊、改多少”。
所以訓練不是沒有評審,而是每一步都是一輪評審。GPT-3 一步要答約 320 萬個詞元的題,一共走了約 9.4 萬步1,也就是被評審了 9.4 萬輪。
評審意見為什麼能這麼具體
人的評審給不出這麼具體的意見,是因為沒人知道“方案”和“結果”之間的公式:改一下預算,口碑會變好多少?只能改了再看。訓練裡,從引數到損失的每一步運算都是我們自己寫的公式,能求導,所以評審可以順帶算出“每個引數對結果的影響”。上一篇第十一節專門比過這一點:只看結果好壞的搜尋,引數一多就走不動;能拿到每個引數坡度的梯度下降,步數幾乎不隨引數個數上漲。
不過,評審意見具體,不代表照著改就一定變好。這正是人擔心的那件事:新方案可能還不如舊方案。訓練裡會不會也這樣?
現象:每一步並不保證變好
會,而且非常頻繁。
我們訓練一個小網路來做一個分類題:平面上有兩條交錯的螺旋,200 個點,每個點屬於其中一條,網路要學會判斷任意一個點屬於哪條。
這個網路由神經元搭成,後文的實驗都用它。一個神經元只做一件很小的事:把收到的幾個數各乘一個係數,加起來,再加一個常數,最後把結果壓進 −1 到 1 之間(圖 2 左)。乘的係數叫權重,表示每個輸入有多重要;加的常數叫偏置,用來整體抬高或壓低;壓的那一步用的函式叫 tanh,結果越大越貼近 1,越小越貼近 −1,在 0 附近差不多原樣輸出。“神經元”這個名字來自它粗略地模仿了腦細胞:收到好幾路訊號,各有輕重,總量夠了才興奮起來。如果沒有最後壓的那一步,不管疊多少層,整個網路都只是一次加權求和,只能用一條直線去分兩類點;有了它,網路才能畫出彎曲的分界線。
把很多個神經元並排放,就是一個網路(圖 2 右)。每個神經元都讀同一個點的兩個座標,但各有各的權重,於是各自對平面上不同的區域敏感;最後把它們的輸出再各乘一個權重(叫這個神經元的輸出權重)加起來,再加一個偏置,得到一個分數,大於 0 判為第一條螺旋,小於 0 判為另一條。訓練要調的引數,就是所有這些權重和偏置。
這裡用 64 個神經元,一共 257 個引數。真實的大模型訓練不會每步都用全部資料,而是每步隨機抽一小批,這裡每步只抽 20 個點來算梯度。
每走一步,我們都用全部 200 個點量一次損失(圖 3)。本文的實驗都只用 numpy 寫成,指令碼和日誌見參考資料2。
細線上下亂跳。前 1000 步裡,有 494 步走完以後整體損失比走之前還高;一共 10000 步裡,有 3774 步是在“改壞”。原因不難理解:每一步的評審只看了 20 道題,照著這 20 道題改,對這 20 道題有利,對其他 180 道題可能不利。可是把前後幾十步平均起來看,粗線一路往下,最後整體損失從 0.70 降到 0.0012,200 個點全部判斷正確。
這和人改方案其實是一回事:單獨一輪的改動可能是錯的,但只要評審不斷,下一輪會把它糾回來。 訓練的不同之處只是一輪極便宜,改壞了也就是幾毫秒的事,所以它敢每輪只改一點點、改上幾萬輪,而不必像人那樣每輪都想清楚再動手。
可是,每一步只看腳下的坡度,就像在霧裡下山。會不會走進一個小坑,四面都是上坡,再也出不來?
二、會不會卡在半路
一個引數時,確實會卡
先看最簡單的情況:只有一個引數 w,損失隨 w 變化的曲線有兩個谷(圖 4)。
從 −0.6 出發,坡度一直指向左邊,走到更深的谷,損失 −5.64。從 0.6 出發,坡度指向右邊,走到右邊那個淺一點的谷,損失 −2.44。到了那裡,往左往右都是上坡,坡度是 0,梯度下降就停了。它並不知道左邊還有一個更深的谷,因為它只看腳下。
這種四面都是上坡、但又不是最低的地方,叫區域性極小。如果大模型的損失地形裡到處都是這種坑,訓練就會像人憑區域性經驗改方案一樣,常常停在一個“改哪兒都更差、但其實不是最好”的方案上。
那真實的網路裡到底卡不卡?我們直接試。
實驗:神經元越多,越不容易卡
第一個任務是 XOR,也就是“異或”:平面上 4 個點,(−1, −1) 和 (1, 1) 標 0,(−1, 1) 和 (1, −1) 標 1。它很小,但一條直線分不開這兩類,所以網路裡至少要有 2 個神經元才學得會。第二個任務是上面那兩條螺旋。兩個任務都用全部樣本一起算梯度,走法裡沒有任何隨機性,唯一隨機的是引數的起點。我們只改隱藏神經元的個數,每種個數從很多個隨機起點各訓練一遍,看有幾次學會(表 1)。
| 神經元 | 引數個數 | 學會的次數 | 最差一次停在 |
|---|---|---|---|
| XOR(4 個點) | |||
| 1 | 5 | 0 / 100 | 0.693 |
| 2 | 9 | 74 / 100 | 0.347 |
| 3 | 13 | 98 / 100 | 0.347 |
| 4 | 17 | 100 / 100 | 0.001 |
| 8 | 33 | 100 / 100 | 0.001 |
| 32 | 129 | 100 / 100 | 0.000 |
| 兩條螺旋(200 個點) | |||
| 2 | 9 | 0 / 40 | 0.679 |
| 4 | 17 | 0 / 40 | 0.340 |
| 8 | 33 | 40 / 40 | 0.004 |
| 16 | 65 | 40 / 40 | 0.001 |
| 32 | 129 | 40 / 40 | 0.001 |
| 64 | 257 | 40 / 40 | 0.001 |
學會:訓練後平均損失低於 0.05。XOR 每種 100 個起點、走 5000 步;螺旋每種 40 個起點、走 2 萬步。學習率都是 0.5,全部樣本一起算梯度,沒有隨機性。
規律很清楚。XOR 用 2 個神經元時,100 個起點裡有 26 個卡住了,每個都停在同一個損失 0.347;用 3 個時只剩 2 個卡住;4 個以上,100 個起點全部學會。螺旋也一樣:2 個、4 個神經元一次都學不會,8 個以上次次學會。同樣的任務、同樣的走法,只是引數多了,卡住就沒了。
這和直覺相反。引數多了,要調的東西更多,按說應該更難才對。為什麼反而更容易?
卡住的地方長什麼樣
我們去看 XOR 那 26 個卡住的起點。它們停下的樣子都一樣:4 個點裡 2 個判斷對了,另外 2 個判斷成“一半一半”,平均損失 0.347。再多走 10 萬步,損失只從 0.3470 降到 0.3466,確實是停住了。
怎麼知道四周有沒有下坡?對一個引數,看曲線是向上彎還是向下彎就行。對 9 個引數,可以算出損失在各個方向上的彎曲程度:往某個方向挪一點,損失像開口向上的拋物線那樣變大,就是向上彎;像開口向下的拋物線那樣變小,就是向下彎。結果是:9 個方向裡,1 個向上彎,8 個幾乎完全平,沒有一個向下彎。這是一片四周沒有下坡的平地,梯度下降在這裡沒有任何方向可走。
現在給這個卡住的網路加第 3 個神經元,它的輸入權重和輸出權重全部設成 0。這個神經元什麼也不輸出,網路算出來的結果和原來一模一樣,損失還是 0.3466。可是引數從 9 個變成了 13 個,我們再量一次各個方向的彎曲:多出了一個向下彎的方向(圖 5)。
圖 5 裡有個很像人改方案的細節。在這個點上,13 個引數單獨改哪一個,從 −3 一直改到 3,損失都紋絲不動,最好還是 0.3466。原因是新神經元的兩個權重互相“卡著”:輸出權重是 0,輸入權重怎麼改都傳不出去;輸入權重是 0,這個神經元什麼也沒算出來,輸出權重怎麼改也沒用。只有兩個一起改,一正一負,損失才往下掉,一個改到 3、一個改到 −3 時只剩 0.025。
我們給 26 個卡住的網路都加上這樣一個神經元,只是把它的權重設成很小的隨機數(0.01 量級)而不是正好 0,然後接著訓練。26 個全部走了出來:100 步後損失降到 0.03 到 0.08,2 萬步後都在 0.0003 左右。小隨機數的作用是讓它不正好站在平地中央,一旦偏離一點點,向下彎的方向就會把這點偏離越放越大。真實訓練裡,隨機初值和小批次帶來的抖動,起的就是這個作用。
像這樣“有的方向向上彎、有的方向向下彎”的點,叫鞍點,像馬鞍:順著馬背方向是上坡,橫著馬背方向是下坡。梯度下降在鞍點附近會走得很慢,看起來像卡住了,但它不是死路。
為什麼引數越多,死路越少
一個點要成為真正的死路,必須每個方向都向上彎,或者至少沒有一個方向向下彎。方向越多,這個條件越難滿足。
可以用一個粗糙的模型感受一下:假設每個點在各個方向上的彎曲是隨機的,有的向上、有的向下。我們隨機生成這樣的彎曲,數一數“所有方向都向上彎”的比例:1 個方向時是 50%,2 個方向 14.7%,3 個方向 2.5%,4 個方向 0.26%,5 個方向 0.01%,到 6 個方向,20 萬次裡一次也沒有出現。比例掉得比“每多一個方向減半”還快得多。
真實網路的彎曲當然不是隨機的,所以這只是一個直覺。但研究者對大網路的分析得出了同樣方向的結論:在損失還很高的地方,絕大多數停下來的點都是鞍點而不是死路3;網路越大,真正的區域性極小越集中在損失很低、彼此差不多的一小段裡4。換句話說,引數多到一定程度以後,大部分“坑”都有出口,沒有出口的坑本身就已經很深了。
好的解不是一個,而是一大片
還有一個原因讓訓練不需要“找準”:好的解非常多。
XOR 用 8 個神經元時,100 個起點全部學會,但它們最後的引數值各不相同。原因之一是對稱:把第 1 個神經元和第 3 個神經元的全部權重對調,網路算出來的東西完全不變;把一個神經元的輸入權重和輸出權重同時取反,結果也不變。8 個神經元的排列有 8! = 40320 種,每個還能取反,於是每一個解都至少有 40320 × 2⁸ ≈ 1032 萬個引數不同、效果完全相同的“分身”。大模型每層有上萬個神經元,這個數大到沒有意義。
更進一步,研究者發現,從不同起點訓出來的兩個解,往往能找到一條連著它們的路徑,路上的損失一直很低56。好的解不是散落在山裡的幾個針尖,而是連成一片的低窪地帶。訓練不需要找到“那一個”解,只需要走進這片窪地。
到這裡,第一個疑問有了答案:訓練能找到不錯的解,不是因為它每一步都對,而是因為引數足夠多時,死路很少、好解很多、連成一片,只要一直往下走,大機率會走進去。
那麼,走進去之後繼續訓練,能不能把每個引數都調到最優?
三、繼續訓,能不能讓每個引數都最優
“每個引數都最優”指的是什麼
先得想清楚這句話的意思。一個引數的最好取值,取決於其他所有引數現在是多少:圖 5 裡新神經元的輸入權重,在輸出權重為 0 時取什麼都一樣,在輸出權重為 3 時,取 3 就比取 0 好得多。所以單獨說“某個引數的最優值”沒有意義,就像單獨說“一個方案裡預算的最優值”沒有意義,它要看方案裡的其他部分怎麼定。
梯度下降最多能保證的是:走到坡度為 0 的地方,此時單獨把任何一個引數往任何方向微調一點,損失都不會再降。但圖 5 的那個點也滿足這一條,13 個引數每一個單獨看都“最優”,整體卻離最好差得很遠。所以梯度下降從來沒有保證過每個引數都最優,它連“走到坡度為 0”都不保證。
大模型根本沒走到底
真實的大模型訓練,是在還沒走到底的時候主動停下的。
訓練一個模型的算力預算是固定的。2022 年 DeepMind 的 Chinchilla 研究算過:同樣的預算,與其把一個大模型訓到底,不如把模型做小一點、多喂一些資料7。照這個演算法,80 億引數的模型大約喂 2000 億個詞元最划算。Meta 訓練 Llama 3 時給 8B 和 70B 兩個模型都喂到了 15 萬億個詞元,遠超這個數,並且說兩個模型到這時效能仍在穩定提升8。也就是說,它們釋出時都還走在下坡路上。訓練末期學習率會降到很小,那是為了讓引數在當前位置停穩,而不是因為到了谷底。
訓練損失越低越好嗎
就算有無限的算力,能把訓練損失一直降下去,也未必是好事。
我們換一個更像現實的實驗:螺旋只給 120 個點,而且故意把其中 22 個點的標籤標錯,模擬真實資料裡的噪聲和錯誤。網路有 256 個神經元,1025 個引數,比點多得多。另外準備 4000 個訓練時沒見過、標籤正確的點,用來檢查模型是否真的學會了(圖 6)。
訓練損失一路從 0.71 降到 0.004,120 個訓練點全部“判斷正確”,連那 22 個標錯的點也照著錯的標籤背了下來。可是在沒見過的點上,損失在第 3000 步最低,只有 0.44,之後一路升到 2.97;判斷的正確率也從 77% 降到 73%。訓練越久,模型越是在遷就那 22 個錯誤,越不像真正的螺旋。引數足夠多的網路連完全隨機的標籤都能背下來9,所以“訓練損失降得越低”和“模型越好”並不是一回事。
這就是人類評審裡常說的“為了過評審而過評審”。評審標準一旦寫死,把它做到極致,就不等於把事情做好。 訓練損失只是我們關心的東西的一個代理。所以實際訓練會單獨留一份不參與訓練的資料,專門看模型在沒見過的題上表現如何,在那裡變差之前停下,這叫早停。大模型的資料多到每段文字大多隻看一遍,背題的問題輕得多,但同樣會留出驗證資料一直盯著。
所以訓練裡那一個寫死的評審並不完美。人的那些來回評審,是被它取代了嗎?
四、人的評審去了哪裡
沒有被取代,而是被挪到了訓練外面(圖 7)。
定評審標準,本身就是最難的一輪評審。 訓練只會把寫好的損失做低,不會問這個損失定得對不對。人做方案時“要考慮這麼多”的那些因素,好用、安全、不胡說、符合語氣,要麼被折進損失和資料裡,要麼就不會被訓練關心。語言模型的損失只是“下一個詞猜得準不準”,訓練語料選什麼、怎麼配比,決定了“猜得準”最後意味著什麼。
定怎麼訓,也只能一輪輪地試。 模型多大、學習率多少、訓多久,這些沒有梯度可算。上一篇講過,大模型團隊通常先在小模型上試好這些選擇,再放大;放大後訓一次就要幾周到幾個月。
訓練完,還是要人來看。 在沒見過的題和基準測試上評測,讓人讀模型的回答、挑毛病,發現問題就改資料、改設定,重新訓練。這一圈才是真正對應人改方案的那個迴圈,一輪很貴,一共也就轉幾十輪。
人的評審也可以被做成損失。 ChatGPT 這一類模型的做法是:讓人對同一個問題的幾個回答排序,用這些排序訓練一個專門打分的模型,叫獎勵模型,再拿它當評審去訓練語言模型10。人的判斷就這樣被折進了一個可以求導的分數里,內層迴圈又能自動轉起來了。可它同樣會被鑽空子:對著獎勵模型一直最佳化,獎勵模型給的分一直漲,換更可靠的方式去評,真實質量卻是先升後降11,和圖 6 是同一個形狀。所以這個評審本身,還需要人在外層繼續評審。
五、回到開頭
現在可以回答開頭那個問題了:這裡面沒有魔法,那些來回評審一輪也沒有省掉,只是被拆開重新分配了。
能寫成公式的那部分評審,交給了損失。它每一輪給出的不是“好或不好”,而是每個引數各自該往哪邊改、改多少;一輪又便宜到可以轉上幾萬幾十萬次,所以單獨一輪改壞了沒關係,下一輪會糾回來。引數多到一定程度以後,損失地形裡的死路很少,好解很多、連成一片,只要一直往下走,大機率會走進好解的窪地。
但它找到的不是最優解,也不需要是。“每個引數都最優”本來就說不清;大模型都是在還在下坡時就主動停下;訓練損失做到極致,反而可能離我們真正想要的更遠。
寫不成公式的那部分評審,評審標準定得對不對,模型訓出來到底好不好,依然要人一輪一輪地看、一輪一輪地改,和我們平時改方案沒什麼兩樣。
小結
- 訓練裡誰在評審? 損失。它是一個寫死的分數,每一步都評一次;反向傳播再把它拆成每個引數的修改意見,精確到方向和大小。GPT-3 被這樣評審了約 9.4 萬輪。
- 每一步都會變好嗎? 不會。每步只看一小批題,我們的實驗裡前 1000 步有近一半讓整體變差,但前後平均一直往下:單輪改壞了,下一輪會糾回來。
- 會不會卡在半路? 引數少時會:XOR 用 2 個神經元,100 個起點卡住 26 個。引數多了,卡住的點會變成鞍點,多出的引數提供了下坡方向,4 個神經元以上就再沒卡過。方向越多,“所有方向都向上彎”越難滿足,所以大網路裡死路少。
- 為什麼不需要找準? 好解非常多。僅神經元的對調和取反,就讓每個解有海量完全等價的分身;不同起點訓出的解之間往往有一條低損失的路連著。
- 繼續訓能讓每個引數都最優嗎? 不能,也不必。一個引數的最好取值取決於其他引數;坡度為 0 只說明單獨微調哪個引數都沒用,鞍點也滿足這一條。大模型在還在下坡時就主動停下;訓練損失做到極致還可能背下資料裡的錯誤,所以要用沒見過的資料盯著、及時停下。
- 人的評審去哪了? 挪到了訓練外面:定損失和資料、定訓練設定、評測、人看回答、改了再訓。人的判斷還可以訓成獎勵模型,變成新的損失,但它同樣會被鑽空子,仍需人在外層把關。
參考資料
參考資料
-
Language Models are Few-Shot Learnersarxiv.org ↗表 2.1:175B 模型批大小 320 萬詞元,共訓練 3000 億詞元,兩者相除約 9.4 萬步。https://arxiv.org/abs/2005.14165 ↩
-
本文的實驗指令碼與日誌專案共享目錄
gradient-why-works-research/:experiment/mlp.py是一隱層網路和手寫的反向傳播,e_sgd.py小批次鋸齒,e_width.py寬度與卡住,e_stuck.py、e_escape_hess.py、e_one_at_a_time.py卡住的點和加一個神經元,e_saddle.py隨機彎曲的比例,e_overfit.py過擬合,build_figs.py生成文中的圖和表。只用 numpy。 ↩ -
Identifying and attacking the saddle point problem in high-dimensional non-convex optimizationarxiv.org ↗論點:高維最佳化的主要障礙不是誤差很高的區域性極小,而是大量鞍點,它們周圍的平地會讓訓練變慢,看起來像卡住。https://arxiv.org/abs/1406.2572 ↩
-
The Loss Surfaces of Multilayer Networksarxiv.org ↗在簡化假設下論證:網路越大,區域性極小的損失越集中在一個很窄的低值帶裡,差的區域性極小越來越少。https://arxiv.org/abs/1412.0233 ↩
-
Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNsarxiv.org ↗https://arxiv.org/abs/1802.10026 ↩
-
Essentially No Barriers in Neural Network Energy Landscapearxiv.org ↗https://arxiv.org/abs/1803.00885 ↩
-
Training Compute-Optimal Large Language Modelsarxiv.org ↗https://arxiv.org/abs/2203.15556 ↩
-
Introducing Meta Llama 3ai.meta.com ↗原文:8B 模型按 Chinchilla 演算法約 2000 億詞元就夠;8B 和 70B 訓到 15 萬億詞元后仍在按對數線性提升。https://ai.meta.com/blog/meta-llama-3/ ↩
-
Understanding deep learning requires rethinking generalizationarxiv.org ↗常見的影象網路可以把隨機打亂的標籤也背到訓練誤差為 0。https://arxiv.org/abs/1611.03530 ↩
-
Training language models to follow instructions with human feedbackarxiv.org ↗https://arxiv.org/abs/2203.02155 ↩
-
Scaling Laws for Reward Model Overoptimizationarxiv.org ↗對著獎勵模型最佳化時,獎勵模型給的分一直漲,用更可靠的評分去看,真實質量先升後降。https://arxiv.org/abs/2210.10760 ↩