去中心化推理：把一个大模型拆给很多台机器跑
Petals 说可以像 BT 下载一样，用大家家里的显卡一起跑 70B 的大模型；io.net 说手里有几十万张分散的 GPU。顺着“模型为什么要拆”往下追：按层切开的流水线怎么传数据、为什么每个 token 都要跑一圈网络、层内切开的张量并行为什么只能待在一个房间里、并发能不能把空转的机器填满、io.net 实际上拆的是什么，最后用电费和市价算一笔账，看“闲置硬件不要钱”这个赌注在什么条件下成立。
标签: 成本测算
共 3 篇
几十美元的小盒子，为什么跑得动大模型
一台一百多美元的树莓派，单用户能把一个 300 亿参数的模型跑到约 8 token/s。顺着这个反差往下追：单路生成到底卡在哪、小盒子的内存带宽比数据中心 GPU 贵多少、300 亿参数怎么塞进 16GB 还跑得动、GPU 真正的本事是什么、为什么同样一笔账在「租 GPU 转卖 API」那篇里是亏的、这里却不亏，以及一大片这样的小盒子连起来会呈现什么整体性质。
租云 GPU 转卖大模型 API，能赚钱吗
OpenRouter 上同一个 gpt-oss-120b 有二十多家在卖，最便宜的每百万输出 token 只要 0.15 美元，而 AWS 上一张 H100 每小时要 6.88 美元。顺着这个反差往下算：一张 GPU 一小时能产出多少 token、厂商吞吐为什么卖不出来、按小时付租金和按 token 收钱之间差在哪，再把 6 个模型、9 种 GPU、AWS / Azure / GCP / 阿里云逐项算一遍，看市场最低价是谁定的、DeepSeek 的 545% 从哪来，以及什么情况下这门生意才做得成。