大版和 Flash 版 左邊寫著 DeepSeek V4 兩個版本每個 token 啟用的引數:Pro 49B,Flash 13B。右邊是兩摞疊起來的層,左邊一摞又高又寬,右邊一摞矮而窄,每層只亮起少數幾個專家,旁邊一道閃電。 每個 token 啟用 Pro49B Flash13B 層 61 → 43 寬 7168 → 4096 專家 384 → 256

開啟 Google 的 Gemini 價目表1,同一代模型分成三檔:3.1 Pro 每輸出一百萬個 token 收 12 美元,3.8 Flash 收 3.75 美元,3.1 Flash-Lite 只收 1.5 美元。國內也一樣:DeepSeek 有 V4-Pro 和 V4-Flash,智譜有 GLM-4.7 和 GLM-4.7-Flash,小米和階躍乾脆直接把新模型叫 MiMo-V2-Flash、Step-3.5-Flash。

價錢差好幾倍,名字只差一個詞。於是很自然地會問:Flash 版到底是什麼?是把大模型壓縮了一下,還是層數少了?它和常聽到的 FlashAttention 有沒有關係?便宜這麼多,丟掉的又是什麼?

這篇文章先把名字理清,再從“模型每生成一個字要花什麼”出發,看 Flash 版在哪幾處下刀,以及每一刀的代價。

一、名字裡的 Flash 指什麼

和 FlashAttention 沒有關係

先排除一個常見的誤會。FlashAttention 是 2022 年 Tri Dao 等人發表的一種計算方法2:它把注意力(後面第四節會講注意力是什麼)拆成小塊在 GPU 的快取記憶體裡算完,省掉了來回讀寫視訊記憶體的時間。它算出來的結果和普通演算法一個數都不差,只是更快、更省視訊記憶體。今天幾乎所有模型,不論大版小版,推理時都在用它或類似的實現。

所以 FlashAttention 是“同一道題換個快的演算法”,而模型名裡的 Flash 是產品檔位,意思是“快、便宜的那一檔”。兩者同名,不是一回事。

各家 Flash 和大版的關係不一樣

既然是檔位名,每家怎麼做出這一檔,就各不相同。把各家公開的材料擺在一起,大致有四種關係:

各家的 Flash 版和它對應的大版
Flash 型號對應的大版兩者是什麼關係公開到什麼程度
閉源:只能看官方怎麼說
Gemini 1.5 Flash1.5 Pro從 Pro 線上蒸餾技術報告寫明
Gemini 2.5 Flash、Flash-Lite2.5 Pro全家都是稀疏 MoE;Flash 及更小的用蒸餾技術報告寫明,引數量不公開
Gemini 3 Flash、3.1 Flash-Lite、3.5–3.8 FlashGemini 3 Pro“based on Gemini 3 Pro”模型卡只有這一句
開源:配置檔案可以逐項核對
DeepSeek V4-Flash
284B · 啟用 13B
V4-Pro
1.6T · 啟用 49B
同一套設計整體縮小,各自獨立預訓練權重、配置、技術報告
GLM-4.7-Flash
30B · 啟用 3B
GLM-4.7
355B · 啟用 32B
同代小號,注意力換了一種權重、配置
Qwen3-Coder-Flash
30B · 啟用 3B
Qwen3-Coder
480B · 啟用 35B
同代小號(Flash 是聊天介面裡的名字)權重、配置
MiMo-V2-Flash、Step-3.5-Flash沒有Flash 是整個模型的定位:快權重、配置、技術報告

B 表示十億(billion)個引數,T 表示萬億;“啟用”的意思第三節會講。

表 1 · 同樣叫 Flash,各家和大版的關係並不一樣

表裡有的 Flash 只是個顯示名,比如 Qwen3-Coder-Flash 就是開源的 Qwen3-Coder-30B-A3B3。這張表已經回答了一半問題:Flash 不是一種固定的技術,各家用了不同的組合。但這些組合裡反覆出現幾個手法:更少的啟用引數、更省的注意力、一次多猜幾個 token、蒸餾。要看懂它們分別省的是什麼,得先知道一次回答的成本花在了哪。

二、一次回答的成本花在哪

模型是一個字一個字往外吐的

大模型處理的單位叫 token,可以粗略理解成“一個字或半個詞”。模型回答問題時並不是一下子寫出整段話,而是每次只生成一個 token,把它接到末尾,再生成下一個。一段 500 字的回答,就要這樣迴圈幾百次。API 按 token 收錢,也是這個原因。

模型內部是幾十層疊起來的計算,每一層主要有兩個部件:

  • 注意力:讓當前這個 token 回頭看前面所有 token,決定該參考誰。
  • 前饋網路:對每個 token 做同樣的一串乘法和加法。

這些乘法裡用到的係數,就是模型的引數(也叫權重)。比如 y=0.8x1−0.5x2+0.1y = 0.8x_1 - 0.5x_2 + 0.1 裡的 0.8、−0.5、0.1 就是三個引數。訓練就是把這些係數一點點調對,模型“知道的東西”就存在它們裡面。一個大模型有幾百億到上萬億個這樣的數。模型裡的每個 token 也用一串數字表示,叫向量,這串數字的長度叫模型的寬度。

每生成一個 token,都要把兩樣東西讀一遍

這兩個部件決定了生成一個 token 要從視訊記憶體裡讀出多少資料:

生成一個 token 要讀的兩樣東西 左邊以 Qwen3-32B 為例:每層要讀前饋和注意力的權重,以及前文所有 token 的 KV 快取;64 層加起來,權重約 64 GB,12.8 萬 token 前文的 KV 快取約 32 GB,H100 每秒讀 3.35 TB,所以單個使用者每秒最多生成約 35 個 token。右邊對比四個模型在同樣前文下每個 token 要讀的權重和 KV 快取:Qwen3-32B 64 加 32 GB,GLM-4.7 65.8 加 46 GB,GLM-4.7-Flash 7.2 加 6.6 GB,MiMo-V2-Flash 29.6 加 2.8 GB。 Qwen3-32B 生成 1 個 token 每一層要讀的 共 64 層 前饋網路的權重3 × 5120 × 25600 注意力的權重約 0.5 億個引數 KV 快取(歷史)8 頭 × 128 × 2 × 前文 64 層加起來 每個數 2 位元組 權重320 億引數 ≈ 64 GB KV 快取,前文 12.8 萬≈ 32 GB H100 每秒能讀3.35 TB 單個使用者最快約 35 token/秒 權重每個 token 都一樣;KV 快取隨前文變長。 多個使用者可以共讀一次權重,KV 快取各讀各的。 同樣 12.8 萬 token 前文,每個 token 讀多少 Qwen3-32B稠密 權重 64 GB + KV 32 GB GLM-4.7大版 權重 65.8 GB + KV 46 GB GLM-4.7-FlashFlash 權重 7.2 GB + KV 6.6 GB MiMo-V2-FlashFlash 權重 29.6 GB + KV 2.8 GB 權重按每 token 啟用的引數算(第三節)。 GLM-4.7-Flash 讀的總量約為大版的 1/8。
圖 1 · 每生成一個 token,都要把啟用的權重和全部歷史讀一遍;Flash 版在這兩樣上都少讀

一是權重。 每生成一個 token,都要拿用到的全部引數參與一次計算,也就是把它們從視訊記憶體讀到計算單元裡。以阿里開源的 Qwen3-32B 為例4,它有 320 億個引數,每個引數佔 2 個位元組,生成一個 token 就要讀約 64 GB。

二是歷史。 注意力要回頭看前面所有 token,所以每個 token 算過之後會留下一份“備查資料”存在視訊記憶體裡,叫 KV 快取(第四節細講)。上下文越長,這份資料越多。Qwen3-32B 在 12.8 萬個 token 的上下文裡,KV 快取有 32 GB,每生成一個新 token 都要把它從頭到尾讀一遍。

GPU 每秒能讀的資料量(叫視訊記憶體頻寬)是有上限的,一塊 H100 大約每秒 3.35 TB。一個 token 要讀將近 100 GB,單個使用者一秒鐘最多也就生成三十幾個 token。服務商可以把很多使用者的請求拼在一起算,讓讀一次權重服務多個人,但每個人自己那份 KV 快取還是各讀各的。

所以,想讓模型又快又便宜,能下刀的地方就是這幾處:

  1. 每個 token 少讀一點權重;
  2. 每個 token 少讀一點歷史;
  3. 讀一遍能多出幾個 token;
  4. 前三刀砍下去模型會變笨,要想辦法把本事補回來。

下面四節就按這四個目的來看 Flash 版是怎麼做的。

三、少讀權重:小一號的骨架和稀疏的專家

不改會怎樣

最直接的辦法是把模型整體做小:層數少一點,每層窄一點。引數少了,讀得就少。問題是模型的知識和能力大體隨引數量增長,直接做小,模型就變笨。

那有沒有辦法讓模型“存”的引數多,每個 token“用”的引數少?

稀疏專家:存得多,用得少

這就是混合專家(Mixture of Experts,簡稱 MoE)5。它把每層的前饋網路拆成很多份小的前饋網路,叫專家;前面放一個小小的路由器,對每個 token 打分,只挑分數最高的幾個專家來算,其餘專家這一次完全不碰。

於是一個 MoE 模型有兩個引數量:總引數(所有專家加起來,決定模型能裝多少知識)和啟用引數(每個 token 實際用到的,決定每個 token 要讀多少)。模型名裡的 “30B-A3B” 就是“總共 300 億、每次啟用 30 億”的意思。

我們用 Python 的數值計算庫 numpy 寫了一層前饋網路做實驗,寬度 2048,比較三種做法每生成一個 token 的耗時:

MoE 每個 token 只讀選中的專家 左邊:一層寬 2048 的前饋網路,生成一個 token 的耗時。1.5 GB 的稠密網路 42.4 毫秒;同樣 1.5 GB 拆成 64 個專家、每次選 4 個的 MoE 3.8 毫秒;0.09 GB 的小稠密網路 2.7 毫秒。右邊:一批裡 token 越多,用到的專家越多,1 個 token 用 4 個,64 個 token 用到 63 個。 每生成 1 個 token 的耗時(一層前饋,batch=1) 大的稠密 1.5 GB,全讀 42.4 ms MoE:64 個專家選 4 個 共 1.5 GB,只讀 0.09 GB 3.8 ms 小的稠密 0.09 GB,全讀 2.7 ms MoE 存的和大網路一樣多,耗時卻接近小網路。 一批 token 一共用到幾個專家 640 4 1 15 4 44 16 63 64 64 256 一批裡的 token 數
圖 2 · MoE 的每 token 開銷跟著啟用引數走;但一批 token 多了,幾乎每個專家都會被用到

大的稠密網路有 1.5 GB 引數,每個 token 要 42 毫秒;把同樣 1.5 GB 拆成 64 個專家、每次只選 4 個,耗時降到 3.8 毫秒,和只有 0.09 GB 的小稠密網路(2.7 毫秒)差不多。MoE 的每 token 開銷跟著啟用引數走,而不是總引數。

Google 在 Gemini 2.5 的技術報告裡明說,整個 2.5 家族(Pro、Flash、Flash-Lite)都是稀疏 MoE,理由正是“把模型的總容量和每個 token 的計算、服務成本脫鉤”6。Gemini 3 Pro 的模型卡也寫著稀疏 MoE7。也就是說,MoE 本身不是 Flash 獨有的,大版也是 MoE。

Flash 版在 MoE 上再縮一圈

那 Flash 和大版的差別在哪?看開源模型的配置檔案就清楚了。下表的數字是我們從 Hugging Face 上的 config.json 逐層數出來的,和官方公佈的引數量對得上:

大版和 Flash 版的配置
專案V4-ProV4-FlashGLM-4.7GLM-4.7-Flash
層數61439247
寬度(每個 token 的向量長度)7168409651202048
專家:共幾個,每次選幾個384 選 6 +1256 選 6 +1160 選 8 +164 選 4 +1
注意力壓縮注意力壓縮注意力GQAMLA
總引數1.6T284B353B29.9B
每 token 啟用引數49B13B32.9B3.6B

“+1”是每個 token 都會用到的共享專家。DeepSeek 的引數量用官方數字;GLM 兩列是我們按 config.json 數出來的主幹引數(官方寫 355B/32B、30B/3B)。

表 2 · Flash 版仍是 MoE,但層數、寬度、專家數都縮了一圈

DeepSeek V4 的兩個版本用的是同一套設計:同樣的注意力、同樣“每個 token 選 6 個專家再加 1 個共享專家”,只是 Flash 層數從 61 降到 43,寬度從 7168 降到 4096,專家從 384 個降到 256 個8。啟用引數從 490 億降到 130 億,約為四分之一。智譜的 GLM-4.7-Flash 縮得更狠910:層數減半,寬度降到 2048,每次只選 4 個專家,啟用引數只剩大版的九分之一左右。

所以第一刀的答案是:Flash 版仍是 MoE,但整體縮小了一號,尤其是啟用引數。總引數也跟著縮,這是代價的來源,第六節再講。

每個引數也可以存得更小

還有一種少讀的辦法:每個引數少佔幾個位元組。引數本來用 2 個位元組(16 位)存,DeepSeek V4 把專家引數壓到 4 位(半個位元組)、其餘壓到 8 位8,要讀的資料量直接少了一大半。不過 V4-Pro 的配置裡專家也是 4 位,這一刀大版小版一起砍,不是 Flash 的區別。

MoE 的省,主要省給單個使用者

實驗裡還有一個現象值得一提。服務商會把很多使用者的 token 拼成一批一起算,而不同 token 選中的專家不一樣。我們統計了一批 token 一共用到多少個專家:1 個 token 用 4 個,16 個 token 就用到 44 個,64 個 token 幾乎把 64 個專家全用上了。批越大,每次要讀的權重越接近全部引數,MoE“少讀”的優勢越小,剩下的主要是“少算”。這也是為什麼 Flash 版不只縮專家,還要在下一處——歷史——上下功夫:歷史是每個使用者各讀各的,拼批省不掉。

四、少讀歷史:KV 快取的幾種省法

注意力為什麼要存歷史

先說注意力在做什麼。讀到“他把蘋果給了她,因為她餓了”,模型要知道“她”指誰,就得回頭看前面的字。做法是:每個 token 生成一個“我想找什麼”的向量,叫 Q(query,查詢);前面每個 token 各有一個“我是什麼”的向量 K(key,鍵)和一個“我能提供什麼”的向量 V(value,值)。Q 和每個 K 比一比相似度,越相似的那個 token,它的 V 就佔越大的比重,加權平均後就是注意力的結果。

前面 token 的 K 和 V 不會變,所以算一次就存起來,後面每個新 token 都來查,這就是 KV 快取。它的大小是:

KV 快取=層數×上下文長度×(每個 token 每層存的 K、V 數字個數)×每個數字的位元組數\text{KV 快取} = \text{層數} \times \text{上下文長度} \times (\text{每個 token 每層存的 K、V 數字個數}) \times \text{每個數字的位元組數}

層數和上下文長度沒法隨便減,能動的是中間那一項:每個 token 每層存多少,以及要不要真的存“全部”上下文。

第一次嘗試:多個頭共用一份 K、V

注意力通常分成很多個“頭”並行地找不同的東西(有的頭找指代、有的頭找語法)。最早的做法(多頭注意力,MHA)是每個查詢頭各配一份 K、V。分組查詢注意力(GQA)11讓幾個查詢頭共用一份 K、V,比如 32 個查詢頭只配 8 份,KV 快取就降到四分之一。Qwen3、GLM-4.7、Gemma 3 都用 GQA,它已經是標配,大版小版都有。

但 GQA 只是把常數變小,上下文翻一倍,快取照樣翻一倍。到了幾十萬、上百萬 token 的上下文,還是太大。

再往前:壓縮,或者乾脆不看那麼遠

接下來的幾種做法,就是 Flash 型號之間拉開差距的地方。我們把四種存法畫在一起:

KV 快取的五種存法 五行分別是 MHA、GQA、MLA、滑動視窗和壓縮注意力。MHA 每個 token 每層存 8192 個數;GQA 讓 4 個查詢頭共用一份,存 2048 個;MLA 把 K、V 壓成 576 個數;滑動視窗只保留最近一段 token,更早的不存;壓縮注意力把幾個 token 合成一條存。 每個前文 token 在一層裡存什麼(12 格代表最近的 12 個 token) MHA每個查詢頭一份 K、V 32 × 128 × 2 = 8192 個數 GQA4 個查詢頭共用一份 8 × 128 × 2 = 2048 個數 MLAK、V 壓成一個小向量 512 + 64 = 576 個數 滑動視窗只留最近一段 視窗外的 token 不存 壓縮注意力幾個 token 壓成一條 每 4 個(或 128 個)存一條 格子高度代表存的數字多少(示意);虛線格是視窗外、已經不存的 token。
圖 3 · 前三種讓每個 token 存得越來越少;後兩種讓遠處的 token 不存或合併著存,快取不再跟著前文同比例變大
  • 多頭潛在注意力(MLA):DeepSeek-V2 提出12。不直接存 K、V,而是把它們壓成一個 512 維的小向量存下來,用的時候再還原。GLM-4.7 用的是 GQA,GLM-4.7-Flash 卻換成了 MLA10,這是 Flash 版並非“等比例縮小”的一個例子。
  • 滑動視窗:大部分層只看最近的一小段(MiMo-V2-Flash 是 128 個 token,Step-3.5-Flash 是 512 個),每隔幾層才放一層能看全部的“全域性層”1314。視窗層的快取不隨上下文增長。谷歌開源的 Gemma 3 也是 5 層視窗配 1 層全域性15。
  • 壓縮注意力:DeepSeek V4 把遠處的歷史按 4 個或 128 個 token 一組壓成一條,再配一個小視窗保留最近的原樣16。官方說,在 100 萬 token 的上下文裡,V4-Pro 的 KV 快取只有上一代 V3.2 的 10%。

我們同樣用 numpy 測了一層注意力,32 個查詢頭,看上下文從 1 千漲到 6.5 萬時,每生成一個 token 要多久:

注意力的耗時隨前文變長 橫軸是前文長度,從 1K 到 64K token;縱軸是一層注意力生成一個 token 的耗時,對數刻度。MHA 從 11.7 毫秒漲到 1266 毫秒,GQA-8 從 2.0 漲到 209,GQA-4 從 1.6 漲到 134,5 層滑動視窗加 1 層全域性的混合只從 0.44 漲到 21.5 毫秒。 一層注意力,生成 1 個 token 的耗時(毫秒,縱軸每格 10 倍) 0.1 1 10 100 1000 1K 4K 16K 64K 前文長度(token) MHA(32 份 K、V) 1266 ms · 1024 MB GQA(8 份) 209 ms · 256 MB GQA(4 份) 134 ms · 128 MB 5 層視窗 + 1 層全域性 22 ms · 22 MB
圖 4 · GQA 只是把整條線往下平移;滑動視窗讓大部分層不再隨前文變慢

MHA 隨上下文線性變慢,6.5 萬 token 時一層就要 1.3 秒;GQA 把它降到幾分之一,但還是線性增長;5:1 的視窗混合(MiMo 的做法)只剩 21 毫秒,因為六層裡只有一層的開銷隨上下文增長。

拿真實模型的配置算一下,差距就更具體了(12.8 萬 token 上下文,每個數字 2 位元組):

12.8 萬 token 前文時,一個請求的 KV 快取有多大
模型注意力每個 token(KB)12.8 萬 token
大版和稠密模型
Qwen3-32B(稠密)GQA,8 份25632 GB
GLM-4.7GQA,8 份36846 GB
DeepSeek-V3MLA68.68.6 GB
Flash 版和同級小模型
Qwen3-30B-A3BGQA,4 份9612 GB
GLM-4.7-FlashMLA52.96.6 GB
Step-3.5-Flash3 層視窗(512)+ 1 層全域性48.56.1 GB
MiMo-V2-Flash5 層視窗(128)+ 1 層全域性22.72.8 GB

按 config.json 計算,每個數 2 位元組;帶視窗的模型按 12.8 萬 token 時的平均值算。DeepSeek V4 的壓縮注意力結構較複雜,這裡沒有估,只引官方的相對數字。

表 3 · Flash 型號普遍換了更省的注意力,同樣的前文,快取小到大版的幾分之一

同樣是三四十億啟用引數,GLM-4.7-Flash 因為用了 MLA,KV 快取只有 Qwen3-30B-A3B 的一半多;MiMo-V2-Flash 總引數是它們的十倍,靠滑動視窗把快取壓到了 2.8 GB,比 GLM-4.7 大版少了 94%。

代價:遠處看得沒那麼清楚

視窗和壓縮都是有損的:視窗層看不到遠處,只能指望那幾層全域性層;壓縮層看到的是一組 token 的“摘要”。所以這些模型都不敢把全域性層全去掉。代價體現在需要從超長上下文裡精確找回資訊的任務上:在 DeepSeek 自己公佈的 100 萬 token 多輪檢索測試(MRCR)裡,V4-Flash 得 78.7 分,V4-Pro 得 83.5 分8。

五、少走幾步:一次猜幾個 token

不改會怎樣

前兩節都是讓“每一步”更便宜,但步數沒變:500 個 token 的回答還是要走 500 步,而且必須一步接一步,後一步要等前一步的結果。對單個使用者來說,等待時間就是步數乘以每步的時間。

先猜後驗

多 token 預測(MTP)在模型最後加幾層小小的“草稿頭”,讓模型在生成當前 token 時順便猜出後面幾個。下一步主模型一次性把這幾個猜測一起檢驗:猜對的直接收下,從第一個猜錯的地方重新來。這個“先打草稿再一次性驗證”的思路叫投機解碼17,DeepSeek-V3 把 MTP 做進了模型本身18。

多 token 預測:先猜後驗 上面是普通生成:return、a、加號、b 四個 token 分四步生成。下面是多 token 預測:第 1 步生成 return,同時草稿頭猜出 a、加號、c;第 2 步一次檢驗這三個猜測,a 和加號對了直接收下,c 錯了改成 b,兩步出了四個 token。 普通生成:每讀一遍權重,出 1 個 token 第 1 步"return" 第 2 步" a" 第 3 步" +" 第 4 步" b" 4 個 token 走 4 步,每一步都要等上一步出結果。 每一步都把啟用的權重完整讀一遍。 多 token 預測:先猜後驗 第 1 步"return" 草稿頭猜: " a" " +" " c" 第 2 步:一次檢驗 3 個猜測 " a" ✓ " +" ✓ " c" ✗ 改成 " b" 檢驗 3 個和生成 1 個,讀的是同一遍權重。 猜對的直接收下,從第一個猜錯處改正。 結果:2 步出了 4 個 token。虛線框是猜錯、被丟掉的草稿。
圖 5 · 讀一遍權重能檢驗好幾個猜測,猜對多少就省下多少步

關鍵在於:主模型檢驗 4 個 token 和生成 1 個 token,要讀的權重是同樣的一遍。猜對得越多,每讀一遍權重產出的 token 就越多。

誰在用

DeepSeek V4 的 Pro 和 Flash、GLM-4.7 和 GLM-4.7-Flash 的配置裡都帶 1 層 MTP,所以這也不是 Flash 獨有。把它用得更重的,是那些整個定位就是“快”的型號:MiMo-V2-Flash 帶了 3 層 MTP,官方說輸出速度約為原來的 3 倍13;Step-3.5-Flash 用 MTP-3 一次前向出 4 個 token,典型速度每秒 100 到 300 個 token14。

代價

草稿頭本身要算,猜錯的部分白算了。程式碼、格式化輸出這類好猜的內容收益大,開放式寫作收益小。還要推理框架支援,比如 Step-3.5-Flash 的模型卡就提到,當時 vLLM 還沒完整支援它的 MTP-3。

六、小了還不能太笨:蒸餾

不改會怎樣

前三刀砍下去,模型的引數少了、看歷史看得粗了。如果小模型和大模型用同樣的方法訓練,它就是一個普通的小模型,能力差一截。Flash 版要的是“小,但儘量像大版那麼聰明”。

讓大模型當老師

普通的訓練方式是:給模型一段文字,讓它猜下一個字,標準答案就是文字裡實際出現的那個字,其餘字一律算錯。

知識蒸餾19換了一種答案:先讓大模型(老師)看同一段文字,給出它對下一個字的整個機率分佈,比如“貓 60%、狗 25%、兔 8%……”,再讓小模型(學生)去學這個分佈。這樣學生不只知道正確答案是什麼,還知道“狗也說得通、兔子勉強、汽車完全不對”。一條訓練樣本帶的資訊多了很多。

存整個分佈太貴(詞表有十幾萬個詞,每個位置都存十幾萬個機率),所以 Gemini 2.5 只存老師機率最高的 k 個詞(k-sparse),代價是訓練資料的儲存和吞吐變成原來的 k 倍6;Gemma 3 是每個位置取樣 256 個詞15。

我們做了一個小實驗來看蒸餾到底有多大用。設一個“老師”給出 256 個詞上的機率分佈,讓一個容量小得多的“學生”分別用三種答案去學:普通答案(按老師的分佈抽一個詞當標準答案)、老師前 k 個詞的機率、老師的完整分佈。然後在沒見過的上下文上量學生和老師有多像。衡量的尺子叫 KL 散度:學生給每個詞的機率和老師的越接近,它就越小,完全一樣時為 0。實驗同樣用 numpy 寫成,學生的“腦容量”故意做得比老師小,模擬 Flash 和大版的關係:

蒸餾:學老師的整個分佈 左邊是同一個空的三種答案:普通答案只有“狗”一個字;老師前 2 個只保留貓和狗的機率;完整分佈給每個字一個機率。右邊是實驗:橫軸訓練樣本數,縱軸學生和老師的 KL 散度。100 條樣本時普通答案 1.74、前 8 個 1.74、完整分佈 0.96;300 條樣本時普通答案 1.74、前 8 個 1.74、完整分佈 0.78;1000 條樣本時普通答案 1.74、前 8 個 1.41、完整分佈 0.66;3000 條樣本時普通答案 1.74、前 8 個 1.02、完整分佈 0.61;10000 條樣本時普通答案 0.86、前 8 個 0.87、完整分佈 0.59;30000 條樣本時普通答案 0.67、前 8 個 0.84、完整分佈 0.59。 “我家養了一隻___”的三種答案(示意) 普通答案語料裡實際出現的那個字 貓 狗 兔 鳥 魚 老師前 2 個只存最大的 k 個,重新歸一 貓 狗 兔 鳥 魚 老師的完整分佈每個字都有一個機率 貓 狗 兔 鳥 魚 完整分佈還告訴學生:狗也說得通,魚不太像。 學生和老師差多少(KL 散度,越小越像) 0 1 2 100 300 1,000 3,000 10,000 30,000 訓練樣本數 均勻瞎猜 1.72 普通答案 老師前 8 個 完整分佈 300 條完整分佈(0.78)勝過 10,000 條普通答案(0.86)。
圖 6 · 同樣多的樣本,學老師的完整分佈比學普通答案像得多;只存前幾個會丟掉一部分好處

用普通答案時,100、300 乃至 3000 條樣本,學生都沒學到東西:KL 一直停在 1.74,和“每個詞機率都一樣”的瞎猜沒有區別,再往下訓只會把訓練樣本死記下來(這叫過擬合),對沒見過的上下文反而更差。要到 1 萬條,它才開始像老師。

用老師的完整分佈,100 條就降到 0.96;300 條時的 0.78,已經好過普通答案 1 萬條時的 0.86。一條帶完整分佈的樣本,抵得上幾十條普通樣本。

只存前 k 個詞的做法介於兩者之間。存前 32 個和完整分佈差不多;只存前 8 個,樣本少時幫助很大,樣本多了反而不如普通答案(3 萬條時 0.84 對 0.67),因為被截掉的那些小機率詞,學生永遠學不到。k 取多大,就是在“儲存變成 k 倍”和“學得像不像”之間取捨。

誰在蒸餾

Google 寫得最明白:Gemini 1.5 Flash 從 1.5 Pro 線上蒸餾而來20,2.5 代“Flash 及更小的模型”都用蒸餾6。Gemini 3 之後的模型卡只寫“based on Gemini 3 Pro”21,沒有再說怎麼來的。

但蒸餾也不是 Flash 專屬。DeepSeek V4 的兩個版本是各自在 32 萬億以上的 token 上獨立預訓練的,官方沒有說 Flash 是從 Pro 蒸餾出來的;兩者後訓練都用了“先訓幾個領域專家模型,再線上蒸餾合成一個”的方法8。小米 MiMo-V2-Flash 的後訓練也是多教師線上蒸餾13。

代價:老師教得會推理,教不會記憶

蒸餾能把“怎麼想”傳下去,但“記住多少事”還是受學生的總引數限制。DeepSeek V4 的跑分很能說明問題:

DeepSeek V4:Flash 和 Pro 的跑分(最高推理檔)
測試考什麼FlashPro差
推理、數學、程式碼
MMLU-Pro多學科綜合題86.287.51.3
GPQA Diamond研究生難度理科題88.190.12
LiveCodeBench程式設計競賽題91.693.51.9
SWE-bench Verified修真實倉庫的 bug79.080.61.6
記憶和長任務
SimpleQA-Verified冷門事實問答34.157.923.8
Terminal Bench 2.0自主操作終端完成任務56.967.911
MRCR 1M百萬 token 裡找回細節78.783.54.8

數字來自 DeepSeek-V4-Flash 模型卡,均為官方自測。

表 4 · 推理題只差一兩分,記憶題差了 24 分

推理、數學、程式碼這類題,Flash 和 Pro 只差一兩分;考事實知識的 SimpleQA 卻差了 24 分,需要長時間自主操作終端的 Terminal Bench 差了 11 分。總引數從 1.6 萬億降到 2840 億,丟掉的主要是記憶,而不是推理。

七、Flash 版到底差在哪

回到開頭

現在可以回答開頭的問題了。Flash 和 FlashAttention 無關;它也不是把大模型“壓縮”一下,而是在四個地方各下一刀,每家下刀的位置和深淺不一樣:

Flash 版的四刀
下刀處Flash 版的做法大版也用嗎代價
少讀權重層數、寬度、專家數一起縮:V4 啟用 49B → 13B,GLM 32.9B → 3.6BMoE、低精度:大版也用。
整體縮小:Flash 才有
總引數少,記住的東西少
少讀歷史GLM-4.7-Flash 換 MLA;MiMo 5:1 視窗;Step 3:1 視窗;V4 壓縮注意力GQA:大家都用。
V4 大小版同一種壓縮
超長前文裡精確找回變弱
少走幾步MiMo 3 層 MTP;Step 一次出 4 個 tokenV4、GLM 大版也帶 1 層猜錯白算,收益看內容
補回本事Gemini 1.5、2.5 Flash 從 Pro 蒸餾;MiMo 多教師蒸餾V4 大小版後訓練都蒸餾;V4-Flash 是獨立預訓練的推理傳得下去,記憶傳不下去
表 5 · Flash 的區別不在某一項獨門技術,而在每一處都砍得更深

哪些是官方說的,哪些是推測

開源模型(DeepSeek、GLM、MiMo、Step、Qwen)的架構寫在配置檔案裡,可以逐項核對。閉源的 Gemini 只能看官方公開的幾句話:

  • 官方說過的:1.5 Flash 從 1.5 Pro 線上蒸餾,注意力和前饋平行計算;2.5 全家族是稀疏 MoE,Flash 及以下用 k-sparse 蒸餾;3 代 Flash 和 Flash-Lite “based on Gemini 3 Pro”,3 Pro 是稀疏 MoE;3.5 到 3.8 Flash 一代基於一代22。
  • 沒說過的:引數量、層數、啟用引數、注意力用什麼、3 代以後還蒸不蒸餾。網上流傳的“Gemini 3 Flash 有 1.2 萬億引數”之類的數字都是第三方猜的。
  • 合理但未經證實的推測:Gemini 的開源兄弟 Gemma 3 用了 5:1 的滑動視窗和全量蒸餾15,Gemini Flash 很可能也用了類似的長上下文省法和蒸餾,但這只是推測。

什麼時候用 Flash

從上面的代價倒推,選型就比較清楚了:

  • 用 Flash:量大、要快、上下文不算極長、靠推理多於靠冷知識的活。比如分類、抽取、改寫、程式碼補全、大批次的文件處理,以及 agent 裡那些高頻的小步驟。
  • 用完整版:需要大量事實知識(冷門問答、專業領域)、需要在幾十萬 token 裡精確找回細節、長鏈條的自主任務,或者 Flash 已經反覆做錯的時候。

小結

  1. 模型名裡的 Flash 是什麼? 是“快、便宜”的產品檔位,不是 FlashAttention。各家做法不同:Google 從 Pro 蒸餾或“基於 Pro”;DeepSeek 同一設計縮小後獨立訓練;GLM、Qwen 的 Flash 是同代的小號開源模型;MiMo、Step 直接用 Flash 命名整個模型。
  2. 成本花在哪? 每生成一個 token,都要把啟用的權重和全部歷史(KV 快取)讀一遍,視訊記憶體頻寬是瓶頸。
  3. 怎麼少讀權重? 大小版都是 MoE,Flash 把層數、寬度、專家數整體縮小,啟用引數降到大版的四分之一到九分之一。低精度儲存大小版一起用。
  4. 怎麼少讀歷史? GQA 是標配;Flash 型號更多用 MLA、滑動視窗、壓縮注意力,把 12.8 萬 token 時的 KV 快取從幾十 GB 壓到幾 GB,代價是超長上下文的精確檢索變弱。
  5. 怎麼少走幾步? 多 token 預測讓讀一遍權重多出幾個 token,定位為“快”的型號用得最重。
  6. 變小了怎麼不變笨? 蒸餾讓學生學老師的整個機率分佈,推理能力能傳下去,記憶還是受總引數限制,所以 Flash 和大版在知識題上差得最多。

參考資料

參考資料

  1. Gemini Developer API pricingGoogle AI for Developersai.google.dev ↗2026 年 10 月底檢視。3.1 Pro Preview 輸出每百萬 token 12 美元;3.8 Flash 3.75 美元(2027 年起 7.5 美元);3.1 Flash-Lite 1.5 美元。https://ai.google.dev/gemini-api/docs/pricing ↩

  2. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessTri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra, Christopher Ré · NeurIPS 2022 · 2022arxiv.org ↗https://arxiv.org/abs/2205.14135 ↩

  3. Qwen3-Coder-30B-A3B-Instruct 模型卡Hugging Facehuggingface.co ↗在 Qwen Chat 裡以 Qwen3-Coder-Flash 的名字出現。https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct ↩

  4. Qwen3-32B config.jsonHugging Facehuggingface.co ↗64 層、寬 5120、64 個查詢頭、8 個 KV 頭、head_dim 128。https://huggingface.co/Qwen/Qwen3-32B/blob/main/config.json ↩

  5. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts LayerNoam Shazeer et al. · ICLR 2017 · 2017arxiv.org ↗https://arxiv.org/abs/1701.06538 ↩

  6. Gemini 2.5: Pushing the Frontier with Advanced Reasoning, Multimodality, Long Context, and Next Generation Agentic CapabilitiesGemini Team, Google · 2025arxiv.org ↗2.1 節:2.5 家族都是稀疏 MoE;Flash 及更小的模型用蒸餾,教師的下一詞分佈用 k-sparse 近似儲存,訓練資料吞吐和儲存因此變成 k 倍。https://arxiv.org/abs/2507.06261 ↩ ↩2 ↩3

  7. Gemini 3 Pro Model CardGoogle DeepMindstorage.googleapis.com ↗Gemini 3 Pro 是稀疏混合專家(MoE)transformer,原生多模態。https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-3-Pro-Model-Card.pdf ↩

  8. DeepSeek-V4-Flash 模型卡Hugging Facehuggingface.co ↗284B 總引數、13B 啟用,1M 上下文;CSA + HCA 混合注意力;專家權重 FP4、其餘 FP8;與 V4-Pro 的跑分對照表。https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash ↩ ↩2 ↩3 ↩4

  9. GLM-4.7 config.jsonHugging Facehuggingface.co ↗92 層、寬 5120、160 個專家選 8 個,num_key_value_heads: 8(GQA)。https://huggingface.co/zai-org/GLM-4.7/blob/main/config.json ↩

  10. GLM-4.7-Flash 模型卡與 config.jsonHugging Facehuggingface.co ↗卡片只寫 30B-A3B MoE;config 裡 model_type 是 glm4_moe_lite,帶 kv_lora_rank: 512,即 MLA。https://huggingface.co/zai-org/GLM-4.7-Flash ↩ ↩2

  11. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head CheckpointsJoshua Ainslie et al. · EMNLP 2023 · 2023arxiv.org ↗https://arxiv.org/abs/2305.13245 ↩

  12. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language ModelDeepSeek-AI · 2024arxiv.org ↗提出多頭潛在注意力(MLA):把每個 token 的 K、V 壓成一個低維向量存下來。https://arxiv.org/abs/2405.04434 ↩

  13. MiMo-V2-Flash 模型卡Hugging Facehuggingface.co ↗309B 總引數、15B 啟用;滑動視窗注意力與全域性注意力 5:1、視窗 128,KV 快取約降為 1/6;3 層 MTP,輸出速度約 3 倍;後訓練用多教師線上蒸餾(MOPD)。https://huggingface.co/XiaomiMiMo/MiMo-V2-Flash ↩ ↩2 ↩3

  14. Step 3.5 Flash 模型卡Hugging Facehuggingface.co ↗196B 總引數、約 11B 啟用;滑動視窗與全注意力 3:1;MTP-3 一次前向預測 4 個 token,典型 100–300 token/s。https://huggingface.co/stepfun-ai/Step-3.5-Flash ↩ ↩2

  15. Gemma 3 Technical ReportGemma Team, Google DeepMind · 2025arxiv.org ↗5 層區域性注意力(視窗 1024)配 1 層全域性注意力,GQA;所有型號都用知識蒸餾訓練,預訓練時每個 token 按教師機率取樣 256 個 logits。https://arxiv.org/abs/2503.19786 ↩ ↩2 ↩3

  16. DeepSeek-V4: Towards Highly Efficient Million-Token Context IntelligenceDeepSeek-AI · 2026arxiv.org ↗V4-Pro 1.6T/49B、V4-Flash 284B/13B,都在 32T 以上 token 上預訓練;1M 上下文時 V4-Pro 單 token 計算量是 V3.2 的 27%,KV 快取是 10%。https://arxiv.org/abs/2606.19348 ↩

  17. Fast Inference from Transformers via Speculative DecodingYaniv Leviathan, Matan Kalman, Yossi Matias · ICML 2023 · 2023arxiv.org ↗https://arxiv.org/abs/2211.17192 ↩

  18. DeepSeek-V3 Technical ReportDeepSeek-AI · 2024arxiv.org ↗多 token 預測(MTP)模組,推理時可當草稿用於投機解碼。https://arxiv.org/abs/2412.19437 ↩

  19. Distilling the Knowledge in a Neural NetworkGeoffrey Hinton, Oriol Vinyals, Jeff Dean · 2015arxiv.org ↗https://arxiv.org/abs/1503.02531 ↩

  20. Gemini 1.5: Unlocking multimodal understanding across millions of tokens of contextGemini Team, Google · 2024arxiv.org ↗3.2 節:1.5 Flash 是 transformer decoder,注意力和前饋平行計算,從 1.5 Pro 線上蒸餾;1.5 Pro 是稀疏 MoE。Flash-8B 屬於“個位數十億引數”級別,沿用 Flash 的架構。https://arxiv.org/abs/2403.05530 ↩

  21. Gemini 3 Flash Model CardGoogle DeepMind · 2025-12-17storage.googleapis.com ↗Architecture 一欄只有一句:Gemini 3 Flash is based on Gemini 3 Pro。https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-3-Flash-Model-Card.pdf ↩

  22. Gemini 3.8 Flash Model CardGoogle DeepMind · 2026-09-02deepmind.google ↗based on Gemini 3.7 Flash;3.7 based on 3.6,3.5 based on 3 Flash。https://deepmind.google/models/model-cards/gemini-3-8-flash/ ↩