開啟 Google 的 Gemini 價目表1,同一代模型分成三檔:3.1 Pro 每輸出一百萬個 token 收 12 美元,3.8 Flash 收 3.75 美元,3.1 Flash-Lite 只收 1.5 美元。國內也一樣:DeepSeek 有 V4-Pro 和 V4-Flash,智譜有 GLM-4.7 和 GLM-4.7-Flash,小米和階躍乾脆直接把新模型叫 MiMo-V2-Flash、Step-3.5-Flash。
價錢差好幾倍,名字只差一個詞。於是很自然地會問:Flash 版到底是什麼?是把大模型壓縮了一下,還是層數少了?它和常聽到的 FlashAttention 有沒有關係?便宜這麼多,丟掉的又是什麼?
這篇文章先把名字理清,再從“模型每生成一個字要花什麼”出發,看 Flash 版在哪幾處下刀,以及每一刀的代價。
一、名字裡的 Flash 指什麼
和 FlashAttention 沒有關係
先排除一個常見的誤會。FlashAttention 是 2022 年 Tri Dao 等人發表的一種計算方法2:它把注意力(後面第四節會講注意力是什麼)拆成小塊在 GPU 的快取記憶體裡算完,省掉了來回讀寫視訊記憶體的時間。它算出來的結果和普通演算法一個數都不差,只是更快、更省視訊記憶體。今天幾乎所有模型,不論大版小版,推理時都在用它或類似的實現。
所以 FlashAttention 是“同一道題換個快的演算法”,而模型名裡的 Flash 是產品檔位,意思是“快、便宜的那一檔”。兩者同名,不是一回事。
各家 Flash 和大版的關係不一樣
既然是檔位名,每家怎麼做出這一檔,就各不相同。把各家公開的材料擺在一起,大致有四種關係:
| Flash 型號 | 對應的大版 | 兩者是什麼關係 | 公開到什麼程度 |
|---|---|---|---|
| 閉源:只能看官方怎麼說 | |||
| Gemini 1.5 Flash | 1.5 Pro | 從 Pro 線上蒸餾 | 技術報告寫明 |
| Gemini 2.5 Flash、Flash-Lite | 2.5 Pro | 全家都是稀疏 MoE;Flash 及更小的用蒸餾 | 技術報告寫明,引數量不公開 |
| Gemini 3 Flash、3.1 Flash-Lite、3.5–3.8 Flash | Gemini 3 Pro | “based on Gemini 3 Pro” | 模型卡只有這一句 |
| 開源:配置檔案可以逐項核對 | |||
| DeepSeek V4-Flash 284B · 啟用 13B | V4-Pro 1.6T · 啟用 49B | 同一套設計整體縮小,各自獨立預訓練 | 權重、配置、技術報告 |
| GLM-4.7-Flash 30B · 啟用 3B | GLM-4.7 355B · 啟用 32B | 同代小號,注意力換了一種 | 權重、配置 |
| Qwen3-Coder-Flash 30B · 啟用 3B | Qwen3-Coder 480B · 啟用 35B | 同代小號(Flash 是聊天介面裡的名字) | 權重、配置 |
| MiMo-V2-Flash、Step-3.5-Flash | 沒有 | Flash 是整個模型的定位:快 | 權重、配置、技術報告 |
B 表示十億(billion)個引數,T 表示萬億;“啟用”的意思第三節會講。
表裡有的 Flash 只是個顯示名,比如 Qwen3-Coder-Flash 就是開源的 Qwen3-Coder-30B-A3B3。這張表已經回答了一半問題:Flash 不是一種固定的技術,各家用了不同的組合。但這些組合裡反覆出現幾個手法:更少的啟用引數、更省的注意力、一次多猜幾個 token、蒸餾。要看懂它們分別省的是什麼,得先知道一次回答的成本花在了哪。
二、一次回答的成本花在哪
模型是一個字一個字往外吐的
大模型處理的單位叫 token,可以粗略理解成“一個字或半個詞”。模型回答問題時並不是一下子寫出整段話,而是每次只生成一個 token,把它接到末尾,再生成下一個。一段 500 字的回答,就要這樣迴圈幾百次。API 按 token 收錢,也是這個原因。
模型內部是幾十層疊起來的計算,每一層主要有兩個部件:
- 注意力:讓當前這個 token 回頭看前面所有 token,決定該參考誰。
- 前饋網路:對每個 token 做同樣的一串乘法和加法。
這些乘法裡用到的係數,就是模型的引數(也叫權重)。比如 裡的 0.8、−0.5、0.1 就是三個引數。訓練就是把這些係數一點點調對,模型“知道的東西”就存在它們裡面。一個大模型有幾百億到上萬億個這樣的數。模型裡的每個 token 也用一串數字表示,叫向量,這串數字的長度叫模型的寬度。
每生成一個 token,都要把兩樣東西讀一遍
這兩個部件決定了生成一個 token 要從視訊記憶體裡讀出多少資料:
一是權重。 每生成一個 token,都要拿用到的全部引數參與一次計算,也就是把它們從視訊記憶體讀到計算單元裡。以阿里開源的 Qwen3-32B 為例4,它有 320 億個引數,每個引數佔 2 個位元組,生成一個 token 就要讀約 64 GB。
二是歷史。 注意力要回頭看前面所有 token,所以每個 token 算過之後會留下一份“備查資料”存在視訊記憶體裡,叫 KV 快取(第四節細講)。上下文越長,這份資料越多。Qwen3-32B 在 12.8 萬個 token 的上下文裡,KV 快取有 32 GB,每生成一個新 token 都要把它從頭到尾讀一遍。
GPU 每秒能讀的資料量(叫視訊記憶體頻寬)是有上限的,一塊 H100 大約每秒 3.35 TB。一個 token 要讀將近 100 GB,單個使用者一秒鐘最多也就生成三十幾個 token。服務商可以把很多使用者的請求拼在一起算,讓讀一次權重服務多個人,但每個人自己那份 KV 快取還是各讀各的。
所以,想讓模型又快又便宜,能下刀的地方就是這幾處:
- 每個 token 少讀一點權重;
- 每個 token 少讀一點歷史;
- 讀一遍能多出幾個 token;
- 前三刀砍下去模型會變笨,要想辦法把本事補回來。
下面四節就按這四個目的來看 Flash 版是怎麼做的。
三、少讀權重:小一號的骨架和稀疏的專家
不改會怎樣
最直接的辦法是把模型整體做小:層數少一點,每層窄一點。引數少了,讀得就少。問題是模型的知識和能力大體隨引數量增長,直接做小,模型就變笨。
那有沒有辦法讓模型“存”的引數多,每個 token“用”的引數少?
稀疏專家:存得多,用得少
這就是混合專家(Mixture of Experts,簡稱 MoE)5。它把每層的前饋網路拆成很多份小的前饋網路,叫專家;前面放一個小小的路由器,對每個 token 打分,只挑分數最高的幾個專家來算,其餘專家這一次完全不碰。
於是一個 MoE 模型有兩個引數量:總引數(所有專家加起來,決定模型能裝多少知識)和啟用引數(每個 token 實際用到的,決定每個 token 要讀多少)。模型名裡的 “30B-A3B” 就是“總共 300 億、每次啟用 30 億”的意思。
我們用 Python 的數值計算庫 numpy 寫了一層前饋網路做實驗,寬度 2048,比較三種做法每生成一個 token 的耗時:
大的稠密網路有 1.5 GB 引數,每個 token 要 42 毫秒;把同樣 1.5 GB 拆成 64 個專家、每次只選 4 個,耗時降到 3.8 毫秒,和只有 0.09 GB 的小稠密網路(2.7 毫秒)差不多。MoE 的每 token 開銷跟著啟用引數走,而不是總引數。
Google 在 Gemini 2.5 的技術報告裡明說,整個 2.5 家族(Pro、Flash、Flash-Lite)都是稀疏 MoE,理由正是“把模型的總容量和每個 token 的計算、服務成本脫鉤”6。Gemini 3 Pro 的模型卡也寫著稀疏 MoE7。也就是說,MoE 本身不是 Flash 獨有的,大版也是 MoE。
Flash 版在 MoE 上再縮一圈
那 Flash 和大版的差別在哪?看開源模型的配置檔案就清楚了。下表的數字是我們從 Hugging Face 上的 config.json 逐層數出來的,和官方公佈的引數量對得上:
| 專案 | V4-Pro | V4-Flash | GLM-4.7 | GLM-4.7-Flash |
|---|---|---|---|---|
| 層數 | 61 | 43 | 92 | 47 |
| 寬度(每個 token 的向量長度) | 7168 | 4096 | 5120 | 2048 |
| 專家:共幾個,每次選幾個 | 384 選 6 +1 | 256 選 6 +1 | 160 選 8 +1 | 64 選 4 +1 |
| 注意力 | 壓縮注意力 | 壓縮注意力 | GQA | MLA |
| 總引數 | 1.6T | 284B | 353B | 29.9B |
| 每 token 啟用引數 | 49B | 13B | 32.9B | 3.6B |
“+1”是每個 token 都會用到的共享專家。DeepSeek 的引數量用官方數字;GLM 兩列是我們按 config.json 數出來的主幹引數(官方寫 355B/32B、30B/3B)。
DeepSeek V4 的兩個版本用的是同一套設計:同樣的注意力、同樣“每個 token 選 6 個專家再加 1 個共享專家”,只是 Flash 層數從 61 降到 43,寬度從 7168 降到 4096,專家從 384 個降到 256 個8。啟用引數從 490 億降到 130 億,約為四分之一。智譜的 GLM-4.7-Flash 縮得更狠910:層數減半,寬度降到 2048,每次只選 4 個專家,啟用引數只剩大版的九分之一左右。
所以第一刀的答案是:Flash 版仍是 MoE,但整體縮小了一號,尤其是啟用引數。總引數也跟著縮,這是代價的來源,第六節再講。
每個引數也可以存得更小
還有一種少讀的辦法:每個引數少佔幾個位元組。引數本來用 2 個位元組(16 位)存,DeepSeek V4 把專家引數壓到 4 位(半個位元組)、其餘壓到 8 位8,要讀的資料量直接少了一大半。不過 V4-Pro 的配置裡專家也是 4 位,這一刀大版小版一起砍,不是 Flash 的區別。
MoE 的省,主要省給單個使用者
實驗裡還有一個現象值得一提。服務商會把很多使用者的 token 拼成一批一起算,而不同 token 選中的專家不一樣。我們統計了一批 token 一共用到多少個專家:1 個 token 用 4 個,16 個 token 就用到 44 個,64 個 token 幾乎把 64 個專家全用上了。批越大,每次要讀的權重越接近全部引數,MoE“少讀”的優勢越小,剩下的主要是“少算”。這也是為什麼 Flash 版不只縮專家,還要在下一處——歷史——上下功夫:歷史是每個使用者各讀各的,拼批省不掉。
四、少讀歷史:KV 快取的幾種省法
注意力為什麼要存歷史
先說注意力在做什麼。讀到“他把蘋果給了她,因為她餓了”,模型要知道“她”指誰,就得回頭看前面的字。做法是:每個 token 生成一個“我想找什麼”的向量,叫 Q(query,查詢);前面每個 token 各有一個“我是什麼”的向量 K(key,鍵)和一個“我能提供什麼”的向量 V(value,值)。Q 和每個 K 比一比相似度,越相似的那個 token,它的 V 就佔越大的比重,加權平均後就是注意力的結果。
前面 token 的 K 和 V 不會變,所以算一次就存起來,後面每個新 token 都來查,這就是 KV 快取。它的大小是:
層數和上下文長度沒法隨便減,能動的是中間那一項:每個 token 每層存多少,以及要不要真的存“全部”上下文。
第一次嘗試:多個頭共用一份 K、V
注意力通常分成很多個“頭”並行地找不同的東西(有的頭找指代、有的頭找語法)。最早的做法(多頭注意力,MHA)是每個查詢頭各配一份 K、V。分組查詢注意力(GQA)11讓幾個查詢頭共用一份 K、V,比如 32 個查詢頭只配 8 份,KV 快取就降到四分之一。Qwen3、GLM-4.7、Gemma 3 都用 GQA,它已經是標配,大版小版都有。
但 GQA 只是把常數變小,上下文翻一倍,快取照樣翻一倍。到了幾十萬、上百萬 token 的上下文,還是太大。
再往前:壓縮,或者乾脆不看那麼遠
接下來的幾種做法,就是 Flash 型號之間拉開差距的地方。我們把四種存法畫在一起:
- 多頭潛在注意力(MLA):DeepSeek-V2 提出12。不直接存 K、V,而是把它們壓成一個 512 維的小向量存下來,用的時候再還原。GLM-4.7 用的是 GQA,GLM-4.7-Flash 卻換成了 MLA10,這是 Flash 版並非“等比例縮小”的一個例子。
- 滑動視窗:大部分層只看最近的一小段(MiMo-V2-Flash 是 128 個 token,Step-3.5-Flash 是 512 個),每隔幾層才放一層能看全部的“全域性層”1314。視窗層的快取不隨上下文增長。谷歌開源的 Gemma 3 也是 5 層視窗配 1 層全域性15。
- 壓縮注意力:DeepSeek V4 把遠處的歷史按 4 個或 128 個 token 一組壓成一條,再配一個小視窗保留最近的原樣16。官方說,在 100 萬 token 的上下文裡,V4-Pro 的 KV 快取只有上一代 V3.2 的 10%。
我們同樣用 numpy 測了一層注意力,32 個查詢頭,看上下文從 1 千漲到 6.5 萬時,每生成一個 token 要多久:
MHA 隨上下文線性變慢,6.5 萬 token 時一層就要 1.3 秒;GQA 把它降到幾分之一,但還是線性增長;5:1 的視窗混合(MiMo 的做法)只剩 21 毫秒,因為六層裡只有一層的開銷隨上下文增長。
拿真實模型的配置算一下,差距就更具體了(12.8 萬 token 上下文,每個數字 2 位元組):
| 模型 | 注意力 | 每個 token(KB) | 12.8 萬 token |
|---|---|---|---|
| 大版和稠密模型 | |||
| Qwen3-32B(稠密) | GQA,8 份 | 256 | 32 GB |
| GLM-4.7 | GQA,8 份 | 368 | 46 GB |
| DeepSeek-V3 | MLA | 68.6 | 8.6 GB |
| Flash 版和同級小模型 | |||
| Qwen3-30B-A3B | GQA,4 份 | 96 | 12 GB |
| GLM-4.7-Flash | MLA | 52.9 | 6.6 GB |
| Step-3.5-Flash | 3 層視窗(512)+ 1 層全域性 | 48.5 | 6.1 GB |
| MiMo-V2-Flash | 5 層視窗(128)+ 1 層全域性 | 22.7 | 2.8 GB |
按 config.json 計算,每個數 2 位元組;帶視窗的模型按 12.8 萬 token 時的平均值算。DeepSeek V4 的壓縮注意力結構較複雜,這裡沒有估,只引官方的相對數字。
同樣是三四十億啟用引數,GLM-4.7-Flash 因為用了 MLA,KV 快取只有 Qwen3-30B-A3B 的一半多;MiMo-V2-Flash 總引數是它們的十倍,靠滑動視窗把快取壓到了 2.8 GB,比 GLM-4.7 大版少了 94%。
代價:遠處看得沒那麼清楚
視窗和壓縮都是有損的:視窗層看不到遠處,只能指望那幾層全域性層;壓縮層看到的是一組 token 的“摘要”。所以這些模型都不敢把全域性層全去掉。代價體現在需要從超長上下文裡精確找回資訊的任務上:在 DeepSeek 自己公佈的 100 萬 token 多輪檢索測試(MRCR)裡,V4-Flash 得 78.7 分,V4-Pro 得 83.5 分8。
五、少走幾步:一次猜幾個 token
不改會怎樣
前兩節都是讓“每一步”更便宜,但步數沒變:500 個 token 的回答還是要走 500 步,而且必須一步接一步,後一步要等前一步的結果。對單個使用者來說,等待時間就是步數乘以每步的時間。
先猜後驗
多 token 預測(MTP)在模型最後加幾層小小的“草稿頭”,讓模型在生成當前 token 時順便猜出後面幾個。下一步主模型一次性把這幾個猜測一起檢驗:猜對的直接收下,從第一個猜錯的地方重新來。這個“先打草稿再一次性驗證”的思路叫投機解碼17,DeepSeek-V3 把 MTP 做進了模型本身18。
關鍵在於:主模型檢驗 4 個 token 和生成 1 個 token,要讀的權重是同樣的一遍。猜對得越多,每讀一遍權重產出的 token 就越多。
誰在用
DeepSeek V4 的 Pro 和 Flash、GLM-4.7 和 GLM-4.7-Flash 的配置裡都帶 1 層 MTP,所以這也不是 Flash 獨有。把它用得更重的,是那些整個定位就是“快”的型號:MiMo-V2-Flash 帶了 3 層 MTP,官方說輸出速度約為原來的 3 倍13;Step-3.5-Flash 用 MTP-3 一次前向出 4 個 token,典型速度每秒 100 到 300 個 token14。
代價
草稿頭本身要算,猜錯的部分白算了。程式碼、格式化輸出這類好猜的內容收益大,開放式寫作收益小。還要推理框架支援,比如 Step-3.5-Flash 的模型卡就提到,當時 vLLM 還沒完整支援它的 MTP-3。
六、小了還不能太笨:蒸餾
不改會怎樣
前三刀砍下去,模型的引數少了、看歷史看得粗了。如果小模型和大模型用同樣的方法訓練,它就是一個普通的小模型,能力差一截。Flash 版要的是“小,但儘量像大版那麼聰明”。
讓大模型當老師
普通的訓練方式是:給模型一段文字,讓它猜下一個字,標準答案就是文字裡實際出現的那個字,其餘字一律算錯。
知識蒸餾19換了一種答案:先讓大模型(老師)看同一段文字,給出它對下一個字的整個機率分佈,比如“貓 60%、狗 25%、兔 8%……”,再讓小模型(學生)去學這個分佈。這樣學生不只知道正確答案是什麼,還知道“狗也說得通、兔子勉強、汽車完全不對”。一條訓練樣本帶的資訊多了很多。
存整個分佈太貴(詞表有十幾萬個詞,每個位置都存十幾萬個機率),所以 Gemini 2.5 只存老師機率最高的 k 個詞(k-sparse),代價是訓練資料的儲存和吞吐變成原來的 k 倍6;Gemma 3 是每個位置取樣 256 個詞15。
我們做了一個小實驗來看蒸餾到底有多大用。設一個“老師”給出 256 個詞上的機率分佈,讓一個容量小得多的“學生”分別用三種答案去學:普通答案(按老師的分佈抽一個詞當標準答案)、老師前 k 個詞的機率、老師的完整分佈。然後在沒見過的上下文上量學生和老師有多像。衡量的尺子叫 KL 散度:學生給每個詞的機率和老師的越接近,它就越小,完全一樣時為 0。實驗同樣用 numpy 寫成,學生的“腦容量”故意做得比老師小,模擬 Flash 和大版的關係:
用普通答案時,100、300 乃至 3000 條樣本,學生都沒學到東西:KL 一直停在 1.74,和“每個詞機率都一樣”的瞎猜沒有區別,再往下訓只會把訓練樣本死記下來(這叫過擬合),對沒見過的上下文反而更差。要到 1 萬條,它才開始像老師。
用老師的完整分佈,100 條就降到 0.96;300 條時的 0.78,已經好過普通答案 1 萬條時的 0.86。一條帶完整分佈的樣本,抵得上幾十條普通樣本。
只存前 k 個詞的做法介於兩者之間。存前 32 個和完整分佈差不多;只存前 8 個,樣本少時幫助很大,樣本多了反而不如普通答案(3 萬條時 0.84 對 0.67),因為被截掉的那些小機率詞,學生永遠學不到。k 取多大,就是在“儲存變成 k 倍”和“學得像不像”之間取捨。
誰在蒸餾
Google 寫得最明白:Gemini 1.5 Flash 從 1.5 Pro 線上蒸餾而來20,2.5 代“Flash 及更小的模型”都用蒸餾6。Gemini 3 之後的模型卡只寫“based on Gemini 3 Pro”21,沒有再說怎麼來的。
但蒸餾也不是 Flash 專屬。DeepSeek V4 的兩個版本是各自在 32 萬億以上的 token 上獨立預訓練的,官方沒有說 Flash 是從 Pro 蒸餾出來的;兩者後訓練都用了“先訓幾個領域專家模型,再線上蒸餾合成一個”的方法8。小米 MiMo-V2-Flash 的後訓練也是多教師線上蒸餾13。
代價:老師教得會推理,教不會記憶
蒸餾能把“怎麼想”傳下去,但“記住多少事”還是受學生的總引數限制。DeepSeek V4 的跑分很能說明問題:
| 測試 | 考什麼 | Flash | Pro | 差 |
|---|---|---|---|---|
| 推理、數學、程式碼 | ||||
| MMLU-Pro | 多學科綜合題 | 86.2 | 87.5 | 1.3 |
| GPQA Diamond | 研究生難度理科題 | 88.1 | 90.1 | 2 |
| LiveCodeBench | 程式設計競賽題 | 91.6 | 93.5 | 1.9 |
| SWE-bench Verified | 修真實倉庫的 bug | 79.0 | 80.6 | 1.6 |
| 記憶和長任務 | ||||
| SimpleQA-Verified | 冷門事實問答 | 34.1 | 57.9 | 23.8 |
| Terminal Bench 2.0 | 自主操作終端完成任務 | 56.9 | 67.9 | 11 |
| MRCR 1M | 百萬 token 裡找回細節 | 78.7 | 83.5 | 4.8 |
數字來自 DeepSeek-V4-Flash 模型卡,均為官方自測。
推理、數學、程式碼這類題,Flash 和 Pro 只差一兩分;考事實知識的 SimpleQA 卻差了 24 分,需要長時間自主操作終端的 Terminal Bench 差了 11 分。總引數從 1.6 萬億降到 2840 億,丟掉的主要是記憶,而不是推理。
七、Flash 版到底差在哪
回到開頭
現在可以回答開頭的問題了。Flash 和 FlashAttention 無關;它也不是把大模型“壓縮”一下,而是在四個地方各下一刀,每家下刀的位置和深淺不一樣:
| 下刀處 | Flash 版的做法 | 大版也用嗎 | 代價 |
|---|---|---|---|
| 少讀權重 | 層數、寬度、專家數一起縮:V4 啟用 49B → 13B,GLM 32.9B → 3.6B | MoE、低精度:大版也用。 整體縮小:Flash 才有 | 總引數少,記住的東西少 |
| 少讀歷史 | GLM-4.7-Flash 換 MLA;MiMo 5:1 視窗;Step 3:1 視窗;V4 壓縮注意力 | GQA:大家都用。 V4 大小版同一種壓縮 | 超長前文裡精確找回變弱 |
| 少走幾步 | MiMo 3 層 MTP;Step 一次出 4 個 token | V4、GLM 大版也帶 1 層 | 猜錯白算,收益看內容 |
| 補回本事 | Gemini 1.5、2.5 Flash 從 Pro 蒸餾;MiMo 多教師蒸餾 | V4 大小版後訓練都蒸餾;V4-Flash 是獨立預訓練的 | 推理傳得下去,記憶傳不下去 |
哪些是官方說的,哪些是推測
開源模型(DeepSeek、GLM、MiMo、Step、Qwen)的架構寫在配置檔案裡,可以逐項核對。閉源的 Gemini 只能看官方公開的幾句話:
- 官方說過的:1.5 Flash 從 1.5 Pro 線上蒸餾,注意力和前饋平行計算;2.5 全家族是稀疏 MoE,Flash 及以下用 k-sparse 蒸餾;3 代 Flash 和 Flash-Lite “based on Gemini 3 Pro”,3 Pro 是稀疏 MoE;3.5 到 3.8 Flash 一代基於一代22。
- 沒說過的:引數量、層數、啟用引數、注意力用什麼、3 代以後還蒸不蒸餾。網上流傳的“Gemini 3 Flash 有 1.2 萬億引數”之類的數字都是第三方猜的。
- 合理但未經證實的推測:Gemini 的開源兄弟 Gemma 3 用了 5:1 的滑動視窗和全量蒸餾15,Gemini Flash 很可能也用了類似的長上下文省法和蒸餾,但這只是推測。
什麼時候用 Flash
從上面的代價倒推,選型就比較清楚了:
- 用 Flash:量大、要快、上下文不算極長、靠推理多於靠冷知識的活。比如分類、抽取、改寫、程式碼補全、大批次的文件處理,以及 agent 裡那些高頻的小步驟。
- 用完整版:需要大量事實知識(冷門問答、專業領域)、需要在幾十萬 token 裡精確找回細節、長鏈條的自主任務,或者 Flash 已經反覆做錯的時候。
小結
- 模型名裡的 Flash 是什麼? 是“快、便宜”的產品檔位,不是 FlashAttention。各家做法不同:Google 從 Pro 蒸餾或“基於 Pro”;DeepSeek 同一設計縮小後獨立訓練;GLM、Qwen 的 Flash 是同代的小號開源模型;MiMo、Step 直接用 Flash 命名整個模型。
- 成本花在哪? 每生成一個 token,都要把啟用的權重和全部歷史(KV 快取)讀一遍,視訊記憶體頻寬是瓶頸。
- 怎麼少讀權重? 大小版都是 MoE,Flash 把層數、寬度、專家數整體縮小,啟用引數降到大版的四分之一到九分之一。低精度儲存大小版一起用。
- 怎麼少讀歷史? GQA 是標配;Flash 型號更多用 MLA、滑動視窗、壓縮注意力,把 12.8 萬 token 時的 KV 快取從幾十 GB 壓到幾 GB,代價是超長上下文的精確檢索變弱。
- 怎麼少走幾步? 多 token 預測讓讀一遍權重多出幾個 token,定位為“快”的型號用得最重。
- 變小了怎麼不變笨? 蒸餾讓學生學老師的整個機率分佈,推理能力能傳下去,記憶還是受總引數限制,所以 Flash 和大版在知識題上差得最多。
參考資料
參考資料
-
Gemini Developer API pricingai.google.dev ↗2026 年 10 月底檢視。3.1 Pro Preview 輸出每百萬 token 12 美元;3.8 Flash 3.75 美元(2027 年起 7.5 美元);3.1 Flash-Lite 1.5 美元。https://ai.google.dev/gemini-api/docs/pricing ↩
-
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awarenessarxiv.org ↗https://arxiv.org/abs/2205.14135 ↩
-
Qwen3-Coder-30B-A3B-Instruct 模型卡huggingface.co ↗在 Qwen Chat 裡以 Qwen3-Coder-Flash 的名字出現。https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct ↩
-
Qwen3-32B config.jsonhuggingface.co ↗64 層、寬 5120、64 個查詢頭、8 個 KV 頭、head_dim 128。https://huggingface.co/Qwen/Qwen3-32B/blob/main/config.json ↩
-
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layerarxiv.org ↗https://arxiv.org/abs/1701.06538 ↩
-
Gemini 2.5: Pushing the Frontier with Advanced Reasoning, Multimodality, Long Context, and Next Generation Agentic Capabilitiesarxiv.org ↗2.1 節:2.5 家族都是稀疏 MoE;Flash 及更小的模型用蒸餾,教師的下一詞分佈用 k-sparse 近似儲存,訓練資料吞吐和儲存因此變成 k 倍。https://arxiv.org/abs/2507.06261 ↩ ↩2 ↩3
-
Gemini 3 Pro Model Cardstorage.googleapis.com ↗Gemini 3 Pro 是稀疏混合專家(MoE)transformer,原生多模態。https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-3-Pro-Model-Card.pdf ↩
-
DeepSeek-V4-Flash 模型卡huggingface.co ↗284B 總引數、13B 啟用,1M 上下文;CSA + HCA 混合注意力;專家權重 FP4、其餘 FP8;與 V4-Pro 的跑分對照表。https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash ↩ ↩2 ↩3 ↩4
-
GLM-4.7 config.jsonhuggingface.co ↗92 層、寬 5120、160 個專家選 8 個,
num_key_value_heads: 8(GQA)。https://huggingface.co/zai-org/GLM-4.7/blob/main/config.json ↩ -
GLM-4.7-Flash 模型卡與 config.jsonhuggingface.co ↗卡片只寫 30B-A3B MoE;config 裡
model_type是glm4_moe_lite,帶kv_lora_rank: 512,即 MLA。https://huggingface.co/zai-org/GLM-4.7-Flash ↩ ↩2 -
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpointsarxiv.org ↗https://arxiv.org/abs/2305.13245 ↩
-
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Modelarxiv.org ↗提出多頭潛在注意力(MLA):把每個 token 的 K、V 壓成一個低維向量存下來。https://arxiv.org/abs/2405.04434 ↩
-
MiMo-V2-Flash 模型卡huggingface.co ↗309B 總引數、15B 啟用;滑動視窗注意力與全域性注意力 5:1、視窗 128,KV 快取約降為 1/6;3 層 MTP,輸出速度約 3 倍;後訓練用多教師線上蒸餾(MOPD)。https://huggingface.co/XiaomiMiMo/MiMo-V2-Flash ↩ ↩2 ↩3
-
Step 3.5 Flash 模型卡huggingface.co ↗196B 總引數、約 11B 啟用;滑動視窗與全注意力 3:1;MTP-3 一次前向預測 4 個 token,典型 100–300 token/s。https://huggingface.co/stepfun-ai/Step-3.5-Flash ↩ ↩2
-
Gemma 3 Technical Reportarxiv.org ↗5 層區域性注意力(視窗 1024)配 1 層全域性注意力,GQA;所有型號都用知識蒸餾訓練,預訓練時每個 token 按教師機率取樣 256 個 logits。https://arxiv.org/abs/2503.19786 ↩ ↩2 ↩3
-
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligencearxiv.org ↗V4-Pro 1.6T/49B、V4-Flash 284B/13B,都在 32T 以上 token 上預訓練;1M 上下文時 V4-Pro 單 token 計算量是 V3.2 的 27%,KV 快取是 10%。https://arxiv.org/abs/2606.19348 ↩
-
Fast Inference from Transformers via Speculative Decodingarxiv.org ↗https://arxiv.org/abs/2211.17192 ↩
-
DeepSeek-V3 Technical Reportarxiv.org ↗多 token 預測(MTP)模組,推理時可當草稿用於投機解碼。https://arxiv.org/abs/2412.19437 ↩
-
Distilling the Knowledge in a Neural Networkarxiv.org ↗https://arxiv.org/abs/1503.02531 ↩
-
Gemini 1.5: Unlocking multimodal understanding across millions of tokens of contextarxiv.org ↗3.2 節:1.5 Flash 是 transformer decoder,注意力和前饋平行計算,從 1.5 Pro 線上蒸餾;1.5 Pro 是稀疏 MoE。Flash-8B 屬於“個位數十億引數”級別,沿用 Flash 的架構。https://arxiv.org/abs/2403.05530 ↩
-
Gemini 3 Flash Model Cardstorage.googleapis.com ↗Architecture 一欄只有一句:Gemini 3 Flash is based on Gemini 3 Pro。https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-3-Flash-Model-Card.pdf ↩
-
Gemini 3.8 Flash Model Carddeepmind.google ↗based on Gemini 3.7 Flash;3.7 based on 3.6,3.5 based on 3 Flash。https://deepmind.google/models/model-cards/gemini-3-8-flash/ ↩