大模型的 Flash 版和完整版,架构上差在哪
Gemini、DeepSeek、GLM 都有带 Flash 的型号,价钱只有完整版的几分之一。Flash 是 FlashAttention 吗?是把大模型压缩了一下吗?我们先把名字理清,再从“生成一个字要花什么”出发,看 Flash 版在哪几处下刀:每个字少读一点权重(缩小骨架、稀疏专家)、少读一点历史(GQA、MLA、滑动窗口、压缩注意力)、一次多猜几个字(多 token 预测),以及变小之后靠蒸馏补回本事。每一处都对照官方公开的配置和三个小实验,并标出哪些是官方说的、哪些只是推测。