标签: 分布式

去中心化推理：把一个大模型拆给很多台机器跑

Petals 说可以像 BT 下载一样，用大家家里的显卡一起跑 70B 的大模型；io.net 说手里有几十万张分散的 GPU。顺着“模型为什么要拆”往下追：按层切开的流水线怎么传数据、为什么每个 token 都要跑一圈网络、层内切开的张量并行为什么只能待在一个房间里、并发能不能把空转的机器填满、io.net 实际上拆的是什么，最后用电费和市价算一笔账，看“闲置硬件不要钱”这个赌注在什么条件下成立。