Transformer 是怎么训练的：手算一层注意力的梯度下降
训练时屏幕上打出来的 loss 0.615、0.594、0.572……每一个数背后发生了什么？我们先用一个只有一个旋钮的机器，把损失、导数、梯度下降和学习率讲清楚；再打开一个只有 10 个参数的 Transformer，任务是“说出两个字里的第一个字”，把一步训练里的每个数都摊开算：前向怎样从输入算到损失，反向传播怎样从损失往回算出 10 个偏导数，更新之后为什么有的样本变好、有的变差，几十步里注意力怎样转向正确的位置，学习率太大时模型为什么会卡死；最后看真实的大模型多了什么，以及现实中找最优解那么难，为什么在 Transformer 里却这么顺。