能不能用 FPGA 做一块 Transformer 专用推理电路
一块 H100 只给一个用户生成文字时，不到 0.3% 的乘法器在干活。既然 FPGA 能搭出任意电路，能不能专门为 Transformer 搭一块，让推理更快、更省电、更便宜？我们先看 decode 时芯片到底在等什么，再看专用电路能省在哪里；接着看已经做出来的 FPGA 推理流水线赢在哪、又被什么卡住；最后用一个综合实验看把权重“焊进电路”能省多少面积，以及为什么这条路最后通向 ASIC。
标签: 芯片
共 1 篇
共 1 篇
一块 H100 只给一个用户生成文字时，不到 0.3% 的乘法器在干活。既然 FPGA 能搭出任意电路，能不能专门为 Transformer 搭一块，让推理更快、更省电、更便宜？我们先看 decode 时芯片到底在等什么，再看专用电路能省在哪里；接着看已经做出来的 FPGA 推理流水线赢在哪、又被什么卡住；最后用一个综合实验看把权重“焊进电路”能省多少面积，以及为什么这条路最后通向 ASIC。