能不能用 FPGA 做一块 Transformer 专用推理电路
一块 H100 只给一个用户生成文字时，不到 0.3% 的乘法器在干活。既然 FPGA 能搭出任意电路，能不能专门为 Transformer 搭一块，让推理更快、更省电、更便宜？我们先看 decode 时芯片到底在等什么，再看专用电路能省在哪里；接着看已经做出来的 FPGA 推理流水线赢在哪、又被什么卡住；最后用一个综合实验看把权重“焊进电路”能省多少面积，以及为什么这条路最后通向 ASIC。
标签: FPGA
共 2 篇
Transformer 和 FPGA 都是电路：为什么智能没有在 FPGA 上涌现
FPGA 是一片可以重新配置的电路，Transformer 跑一步也是一个固定的电路，两者都是“固定骨架 + 一串配置数”。我们从同一个一位全加器在两边的写法出发，先看它们相同在哪：都能表示任意函数，FPGA 的表示能力甚至更强；再看不同在哪：配置是人写的比特还是梯度写的实数，导线是烧写时焊死的还是每一步现算的，配置的规模差了几个数量级；解释 Transformer 的参数为什么能靠梯度下降收敛、FPGA 的比特为什么不行，并用一个小实验比较变异搜索和梯度下降去“写”同一张查找表网络；最后回答 FPGA 的四十年里为什么没有出现智能涌现。