几十美元的小盒子，为什么跑得动大模型
一台一百多美元的树莓派，单用户能把一个 300 亿参数的模型跑到约 8 token/s。顺着这个反差往下追：单路生成到底卡在哪、小盒子的内存带宽比数据中心 GPU 贵多少、300 亿参数怎么塞进 16GB 还跑得动、GPU 真正的本事是什么、为什么同样一笔账在「租 GPU 转卖 API」那篇里是亏的、这里却不亏，以及一大片这样的小盒子连起来会呈现什么整体性质。
标签: 推理
共 2 篇
租云 GPU 转卖大模型 API，能赚钱吗
OpenRouter 上同一个 gpt-oss-120b 有二十多家在卖，最便宜的每百万输出 token 只要 0.15 美元，而 AWS 上一张 H100 每小时要 6.88 美元。顺着这个反差往下算：一张 GPU 一小时能产出多少 token、厂商吞吐为什么卖不出来、按小时付租金和按 token 收钱之间差在哪，再把 6 个模型、9 种 GPU、AWS / Azure / GCP / 阿里云逐项算一遍，看市场最低价是谁定的、DeepSeek 的 545% 从哪来，以及什么情况下这门生意才做得成。