做加法最少要几个参数:AdderBoard 排行榜与 Transformer 入门
AdderBoard 是一个比谁的 Transformer 更小的排行榜,题目是十位数加法。榜首的手写模型只有 6 个参数,训练出来的模型最少 36 个。我们先把 Transformer 是什么、它怎么一个字一个字地往外吐答案讲清楚,再顺着排行榜往下看:加法对它难在哪里,数位为什么要倒过来写,训练出来的模型怎么从 6080 个参数压到 36 个,手写的 6 个参数又是怎么把十位数加对的,它和 CPU 里的二进制加法器、我们列的十进制竖式比有什么不同,最后看这些数字该怎么理解。