标签: 成本测算

共 3 篇

去中心化推理:把一个大模型拆给很多台机器跑

2026年10月21日

Petals 说可以像 BT 下载一样,用大家家里的显卡一起跑 70B 的大模型;io.net 说手里有几十万张分散的 GPU。顺着“模型为什么要拆”往下追:按层切开的流水线怎么传数据、为什么每个 token 都要跑一圈网络、层内切开的张量并行为什么只能待在一个房间里、并发能不能把空转的机器填满、io.net 实际上拆的是什么,最后用电费和市价算一笔账,看“闲置硬件不要钱”这个赌注在什么条件下成立。

几十美元的小盒子,为什么跑得动大模型

2026年10月20日

一台一百多美元的树莓派,单用户能把一个 300 亿参数的模型跑到约 8 token/s。顺着这个反差往下追:单路生成到底卡在哪、小盒子的内存带宽比数据中心 GPU 贵多少、300 亿参数怎么塞进 16GB 还跑得动、GPU 真正的本事是什么、为什么同样一笔账在「租 GPU 转卖 API」那篇里是亏的、这里却不亏,以及一大片这样的小盒子连起来会呈现什么整体性质。

租云 GPU 转卖大模型 API,能赚钱吗

2026年10月20日

OpenRouter 上同一个模型有二十多家在卖,最便宜的每百万输出 token 只要 0.15 美元,而 AWS 一张 H100 每小时要 6.88 美元。按小时租、按 token 卖,这中间的账差在哪里?把 6 个模型、9 种卡、4 家云逐项算完,答案指向利用率。