训练大模型为什么不用来回评审:梯度下降找到的是什么解
GPT-3 被损失函数“评审”了约 9.4 万轮,每轮都可能让训练变差,却还是走到了好解。是谁在给每一步打分,单步变差又为什么能整体变好?参数越多越不容易卡住,这或许说明好解不止一个。
共 3 篇
GPT-3 被损失函数“评审”了约 9.4 万轮,每轮都可能让训练变差,却还是走到了好解。是谁在给每一步打分,单步变差又为什么能整体变好?参数越多越不容易卡住,这或许说明好解不止一个。
训练语言模型时打出的损失,换个单位就是“每个字要花几个比特”:训练一个大模型,也是在训练一个压缩器。梯度下降是 1847 年 Cauchy 为了算天体轨道写下的,“预测就是压缩”是香农 1948 年说清楚的,“压缩即智能”的理论在六十年代就有了,大模型为什么等到 2020 年前后才出现?我们沿着时间往下走:会学习的机器为什么被一道 XOR 题难住,反向传播的本质是什么,为什么 1986 年以后神经网络冷了二十年、压缩榜上赢的一直是手写模型;算力、数据各差了多少个数量级,Transformer 和规模定律补上了哪两块;最后把数学、算法、算力、数据四条线放在一起,回答一个压缩器凭什么看起来有智能。
训练时屏幕上打出来的 loss 0.615、0.594、0.572……每一个数背后发生了什么?我们先用一个只有一个旋钮的机器,把损失、导数、梯度下降和学习率讲清楚;再打开一个只有 10 个参数的 Transformer,任务是“说出两个字里的第一个字”,把一步训练里的每个数都摊开算:前向怎样从输入算到损失,反向传播怎样从损失往回算出 10 个偏导数,更新之后为什么有的样本变好、有的变差,几十步里注意力怎样转向正确的位置,学习率太大时模型为什么会卡死;最后看真实的大模型多了什么,以及现实中找最优解那么难,为什么在 Transformer 里却这么顺。