去中心化推理：把一個大模型拆給很多臺機器跑
Petals 說可以像 BT 下載一樣，用大家家裡的顯示卡一起跑 70B 的大模型；io.net 說手裡有幾十萬張分散的 GPU。順著“模型為什麼要拆”往下追：按層切開的流水線怎麼傳資料、為什麼每個 token 都要跑一圈網路、層內切開的張量並行為什麼只能待在一個房間裡、併發能不能把空轉的機器填滿、io.net 實際上拆的是什麼，最後用電費和市價算一筆賬，看“閒置硬體不要錢”這個賭注在什麼條件下成立。
標籤: 成本測算
共 3 篇
幾十美元的小盒子，為什麼跑得動大模型
一臺一百多美元的樹莓派，單使用者能把一個 300 億引數的模型跑到約 8 token/s。順著這個反差往下追：單路生成到底卡在哪、小盒子的記憶體頻寬比資料中心 GPU 貴多少、300 億引數怎麼塞進 16GB 還跑得動、GPU 真正的本事是什麼、為什麼同樣一筆賬在「租 GPU 轉賣 API」那篇裡是虧的、這裡卻不虧，以及一大片這樣的小盒子連起來會呈現什麼整體性質。
租雲 GPU 轉賣大模型 API，能賺錢嗎
OpenRouter 上同一個模型有二十多家在賣，最便宜的每百萬輸出 token 只要 0.15 美元，而 AWS 一張 H100 每小時要 6.88 美元。按小時租、按 token 賣，這中間的賬差在哪裡？把 6 個模型、9 種卡、4 家雲逐項算完，答案指向利用率。