标签: 神经网络

训练大模型为什么不用来回评审：梯度下降找到的是什么解

人解决问题要出方案、评审、再改，来回好多轮，新方案也未必最好；大模型训练却好像只管顺着梯度往下走，就走到了一个不错的解。顺着这个疑问往下追：训练里谁在评审，为什么每一步都不保证变好却还是越来越好，为什么不容易卡在半路，继续训能不能让每个参数都最优，以及人的那些来回评审最后去了哪里。