標籤: 記憶體頻寬

幾十美元的小盒子，為什麼跑得動大模型

一臺一百多美元的樹莓派，單使用者能把一個 300 億引數的模型跑到約 8 token/s。順著這個反差往下追：單路生成到底卡在哪、小盒子的記憶體頻寬比資料中心 GPU 貴多少、300 億引數怎麼塞進 16GB 還跑得動、GPU 真正的本事是什麼、為什麼同樣一筆賬在「租 GPU 轉賣 API」那篇裡是虧的、這裡卻不虧，以及一大片這樣的小盒子連起來會呈現什麼整體性質。