大模型的 Flash 版和完整版，架構上差在哪
Gemini、DeepSeek、GLM 都有 Flash 型號，價錢只有完整版的幾分之一。Flash 是 FlashAttention 嗎，還是把模型壓縮了一遍？如果都不是，它到底在哪幾處下刀，變小之後又靠什麼不變笨？
標籤: 推理
共 5 篇
能不能用 FPGA 做一塊 Transformer 專用推理電路
一塊 H100 只給一個使用者生成文字時，不到 0.3% 的乘法器在幹活。既然 FPGA 能搭出任意電路，能不能專門為 Transformer 搭一塊，讓推理更快、更省電、更便宜？我們先看 decode 時晶片到底在等什麼，再看專用電路能省在哪裡；接著看已經做出來的 FPGA 推理流水線贏在哪、又被什麼卡住；最後用一個綜合實驗看把權重“焊進電路”能省多少面積，以及為什麼這條路最後通向 ASIC。
去中心化推理：把一個大模型拆給很多臺機器跑
Petals 說可以像 BT 下載一樣，用大家家裡的顯示卡一起跑 70B 的大模型；io.net 說手裡有幾十萬張分散的 GPU。順著“模型為什麼要拆”往下追：按層切開的流水線怎麼傳資料、為什麼每個 token 都要跑一圈網路、層內切開的張量並行為什麼只能待在一個房間裡、併發能不能把空轉的機器填滿、io.net 實際上拆的是什麼，最後用電費和市價算一筆賬，看“閒置硬體不要錢”這個賭注在什麼條件下成立。
幾十美元的小盒子，為什麼跑得動大模型
一臺一百多美元的樹莓派，單使用者能把一個 300 億引數的模型跑到約 8 token/s。順著這個反差往下追：單路生成到底卡在哪、小盒子的記憶體頻寬比資料中心 GPU 貴多少、300 億引數怎麼塞進 16GB 還跑得動、GPU 真正的本事是什麼、為什麼同樣一筆賬在「租 GPU 轉賣 API」那篇裡是虧的、這裡卻不虧，以及一大片這樣的小盒子連起來會呈現什麼整體性質。
租雲 GPU 轉賣大模型 API，能賺錢嗎
OpenRouter 上同一個模型有二十多家在賣，最便宜的每百萬輸出 token 只要 0.15 美元，而 AWS 一張 H100 每小時要 6.88 美元。按小時租、按 token 賣，這中間的賬差在哪裡？把 6 個模型、9 種卡、4 家雲逐項算完，答案指向利用率。