訓練大模型為什麼不用來回評審:梯度下降找到的是什麼解
GPT-3 被損失函式“評審”了約 9.4 萬輪,每輪都可能讓訓練變差,卻還是走到了好解。是誰在給每一步打分,單步變差又為什麼能整體變好?引數越多越不容易卡住,這或許說明好解不止一個。
共 3 篇
GPT-3 被損失函式“評審”了約 9.4 萬輪,每輪都可能讓訓練變差,卻還是走到了好解。是誰在給每一步打分,單步變差又為什麼能整體變好?引數越多越不容易卡住,這或許說明好解不止一個。
訓練語言模型時打出的損失,換個單位就是“每個字要花幾個位元”:訓練一個大模型,也是在訓練一個壓縮器。梯度下降是 1847 年 Cauchy 為了算天體軌道寫下的,“預測就是壓縮”是夏農 1948 年說清楚的,“壓縮即智慧”的理論在六十年代就有了,大模型為什麼等到 2020 年前後才出現?我們沿著時間往下走:會學習的機器為什麼被一道 XOR 題難住,反向傳播的本質是什麼,為什麼 1986 年以後神經網路冷了二十年、壓縮榜上贏的一直是手寫模型;算力、資料各差了多少個數量級,Transformer 和規模定律補上了哪兩塊;最後把數學、演算法、算力、資料四條線放在一起,回答一個壓縮器憑什麼看起來有智慧。
訓練時螢幕上打出來的 loss 0.615、0.594、0.572……每一個數背後發生了什麼?我們先用一個只有一個旋鈕的機器,把損失、導數、梯度下降和學習率講清楚;再開啟一個只有 10 個引數的 Transformer,任務是“說出兩個字裡的第一個字”,把一步訓練裡的每個數都攤開算:前向怎樣從輸入算到損失,反向傳播怎樣從損失往回算出 10 個偏導數,更新之後為什麼有的樣本變好、有的變差,幾十步裡注意力怎樣轉向正確的位置,學習率太大時模型為什麼會卡死;最後看真實的大模型多了什麼,以及現實中找最優解那麼難,為什麼在 Transformer 裡卻這麼順。