標籤: 分散式

去中心化推理：把一個大模型拆給很多臺機器跑

Petals 說可以像 BT 下載一樣，用大家家裡的顯示卡一起跑 70B 的大模型；io.net 說手裡有幾十萬張分散的 GPU。順著“模型為什麼要拆”往下追：按層切開的流水線怎麼傳資料、為什麼每個 token 都要跑一圈網路、層內切開的張量並行為什麼只能待在一個房間裡、併發能不能把空轉的機器填滿、io.net 實際上拆的是什麼，最後用電費和市價算一筆賬，看“閒置硬體不要錢”這個賭注在什麼條件下成立。