按小时计费的 GPU，按 token 收钱 一张显卡上架着一个出租车计价器，一直在跳表；显卡右侧吐出一串小方块 token，掉进一个几乎空着的存钱罐。左侧两行字：租金每卡时 6.88 美元，售价每百万 token 0.42 美元。 租金 $6.88/ 卡·时 售价 $0.42/ 百万 token

打开 OpenRouter 上 gpt-oss-120b 的页面，下面列着二十多家供应商：Amazon Bedrock、Together、Groq、SiliconFlow 都标着每百万输入 token 0.15 美元、每百万输出 token 0.60 美元，最便宜的一家只要 0.03 和 0.15 美元1。同一时间，AWS 上一台 8 卡 H100 的 p5.48xlarge 按需价是每小时 55.04 美元，摊到每张卡 6.88 美元2。

一边是按小时计的租金，一边是按百万 token 计的售价，两个数字放在一起看不出谁大谁小。这些供应商卖这个价，是在赚钱还是在烧钱？如果我们自己去 AWS、Azure、GCP 或阿里云租几张卡，装上一个开源模型，再按 token 把 API 卖出去，这门生意能做吗？换个模型、换张卡、换家云，结论会不会不同？

本文就把这笔账从一张卡、一小时算起，一层一层往外推。

先交代几个后文反复用到的词。token 是模型读写文本的单位，一个汉字大约一到两个 token。API 按输入 token（用户发过去的提示词）和输出 token（模型生成的回答）分别计价，单位是“美元 / 百万 token”，下文简写成 $/M。吞吐指一张 GPU 每秒一共能生成多少 token（tok/s/GPU），单用户速度指某一个用户看到的出字速度（tok/s/user）。利用率是 GPU 实际在干活的时间占租用时间的比例。云厂商的 GPU 有三种买法：按需随租随退、价格最高；承诺（AWS 叫 Savings Plan，Azure 叫预留，GCP 叫 CUD）签 1 年或 3 年换折扣；竞价（Spot）最便宜，但随时可能被收回。

一、一张 GPU 一小时的账

要比较租金和售价，得先把两边换成同一个单位。最直接的办法是算一张 GPU 一小时能卖出多少钱：

每卡时收入=吞吐（tok/s）×3600×单价（美元/百万 token）÷106\text{每卡时收入} = \text{吞吐（tok/s）} \times 3600 \times \text{单价（美元/百万 token）} \div 10^6

吞吐从哪来？NVIDIA 在 TensorRT-LLM 的文档里公布了一组官方吞吐表，测的是 1024 个输入 token、1024 个输出 token 的请求，在最大负载下每张卡每秒能产出多少输出 token3。我们先拿 Llama 3.3 70B 来算：它在 H100 上的数字是 2,209 tok/s/GPU。

售价取 OpenRouter 上 Llama 3.3 70B 的最低价，DeepInfra 的输入 $0.10/M、输出 $0.32/M1。因为测试请求的输入和输出一样长，每产出 1 个输出 token，也就同时收了 1 个输入 token 的钱。

一张 H100 一小时的账 AWS p5.48xlarge 每卡时 6.88 美元；Llama 3.3 70B 按 NVIDIA 最大负载吞吐 2,209 tok/s 跑一小时，产出 795 万输出 token 和同样多的输入 token，按 OpenRouter 最低价收入 3.34 美元，每卡时亏 3.54 美元。 租金 · AWS us-east-1 产出 · TensorRT-LLM 1k/1k 收入 · OpenRouter 最低价 实例 p5.48xlarge 按需价 $55.04/时 GPU 8 × H100 每卡时 $6.88 3 年承诺 $2.97 Llama 3.3 70B H100 输出吞吐 2,209 tok/s × 3600 秒 输出 7.95M token 输入（1:1） 7.95M token DeepInfra $/M 输出 × $0.32 $2.54 输入 × $0.10 $0.80 合计 $3.34 按厂商极限吞吐跑满一小时：收入 $3.34，租金 $6.88，每卡时亏 $3.54。
图 1 · 即使按厂商测出的最高吞吐跑满一小时，一张 AWS 按需 H100 卖 Llama 3.3 70B 的收入也只有租金的一半

结果是，即使按 NVIDIA 测出来的最高吞吐、一刻不停地跑满一小时，这张卡也只能卖出 3.34 美元，而 AWS 按需租金是 6.88 美元。如果签 3 年的 Savings Plan，每卡时降到 2.97 美元2，账面上才勉强翻正。

这是一个最乐观的上限：吞吐取厂商极限，利用率取 100%。这两个假设在线上服务里能成立吗？

二、厂商吞吐与线上吞吐

现象：最大负载下每个用户只看到个位数的速度

NVIDIA 的吞吐表是在“无限请求速率”下测的：请求源源不断地涌进来，推理框架把尽可能多的请求塞进同一个批次一起算。文档里附的一段示例输出显示，这时每个用户看到的出字速度只有 5.47 tok/s，第一个字要等 52 秒才出来3。没有哪个付费用户会接受这样的 API。

原因：批次越大，总吞吐越高，每个人越慢

GPU 生成一个 token 的主要时间花在把模型权重从显存搬进计算单元。一个批次里不管有 1 个请求还是 200 个请求，权重都只要搬一遍，所以批次越大，每搬一次能产出的 token 越多，总吞吐越高；代价是每一步要算的东西变多，每个请求轮到下一个 token 的间隔变长，单用户速度下降。总吞吐和单用户速度是此消彼长的。

SemiAnalysis 的 InferenceX 把这条曲线画了出来。下图是 DeepSeek-R1 在 8 卡 H100 和 8 卡 H200 上、8k 输入 / 1k 输出时，单用户速度和每卡总吞吐的关系4：

单用户速度与每卡吞吐 DeepSeek-R1 在 8k 输入 1k 输出时：H200 每卡总吞吐在单用户 45 tok/s 时为 1,773，97 tok/s 时降到 758；H100 从 740 降到 154。 DeepSeek-R1 · 8k 输入 / 1k 输出 · 8 卡单节点 0 500 1,000 1,500 2,000 40 60 80 100 单用户速度（tok/s/user） 每卡总吞吐（tok/s，输入 + 输出） 1,773 974 758 H200 740 281 154 H100 单用户速度翻一倍： H200 每卡吞吐剩 43% H100 只剩 21% 线上 API 一般要给 每用户 30–100 tok/s； 厂商最大负载测试里 只有约 5 tok/s。
图 2 · 总吞吐和单用户速度此消彼长：给每个用户的速度翻一倍，每卡能卖的 token 少一半以上（数据：SemiAnalysis InferenceX）

把单用户速度从 45 tok/s 提到 97 tok/s，H200 每卡吞吐从 1,773 掉到 758，H100 从 740 掉到 154。而线上 API 一般要给用户 30–100 tok/s 的速度，DeepSeek 自己的线上服务是每用户 20–22 tok/s5。

解决：按线上能卖的吞吐重新取值

所以测算不能直接用厂商的极限数字。我们把每个模型在每种卡上的吞吐分成两档：一档是厂商表里的最大负载36，一档是在每用户约 30–50 tok/s 的条件下能卖出去的吞吐。后者没有统一的公开基准，是我们参照 InferenceX、MLPerf 的 server 场景和几家框架的实测推算出来的，只能当量级看。

输出吞吐（tok/s/GPU，1k 输入 / 1k 输出）
GPU厂商最大负载线上可卖（推算）
Llama 3.1 8B
H10015,2454,500
A1003,7872,000
L40S4,0551,500
L4 / A10G约 1,500 / 2,500750 / 900
gpt-oss-20b
H10011,5574,000
gpt-oss-120b
H1004,6851,000
H2006,8681,450
B20025,9435,500
Llama 3.3 70B
H1002,209450
H2002,5871,200
B2006,9203,000
A100约 480200
Qwen3-235B-A22B
H1001,932750
H2003,2881,200
B2005,7642,500
DeepSeek-V3 / R1
H2001,627500
B2006,4632,000

最大负载取自 TensorRT-LLM 官方性能表（A100、L40S 取 v0.17 版，L4 / A10G 按显存带宽推算）。线上可卖一列参照 InferenceX、MLPerf server 场景和几家框架实测推算，只代表量级。

表 1 · 线上要保证每个用户的出字速度，能卖出去的吞吐只有厂商数字的五分之一到二分之一

线上可卖的吞吐大约只有厂商数字的五分之一到二分之一。拿 Llama 3.3 70B 在 H100 上的 450 tok/s 重算图 1 的账，满载一小时只能卖 0.68 美元，连 3 年承诺价的四分之一都不到。

吞吐打了折，那利用率呢？租来的 GPU 每一小时都要付钱，用户却不会每一小时都来。

三、利用率：按小时付租金，按 token 收钱

现象：流量有明显的忙闲

大模型 API 的流量跟着人的作息走。DeepSeek 把工作日北京时间 9–12 点、14–18 点定为忙时，其他时段半价7；阿里云百炼的 Batch 调用打五折，相当于把闲时的算力折价卖掉8。DeepSeek 公布的一天里，推理节点峰值 278 台，全天平均 226.75 台5。

原因：容量要按峰值准备，租金按 24 小时付

API 必须在峰值时也接得住请求，所以租多少卡要按峰值算；而租金是 24 小时连续计费的，流量低的时候卡空着也照样收钱。

容量按峰值，流量有忙闲 一天 24 小时的请求量示意：工作日上午和下午是忙时，夜里低谷。租用的 GPU 按峰值准备，24 小时计费，曲线和容量线之间的部分是付了钱却没有收入的时间。 一天的请求量（示意） 忙时 9–12 忙时 14–18 0:00 6:00 12:00 18:00 24:00 租用容量：按峰值准备，24 小时计费 实际请求：只有这部分有收入 DeepSeek 2025-02-27： 峰值 278 台 平均 226.75 台 平均 / 峰值 = 82% 夜里空出来的节点 被调去做训练。 曲线形状是示意， 右侧数字是实测。
图 3 · 容量按峰值租、租金按 24 小时付，流量低谷里的 GPU 时间照样要付钱

DeepSeek 平均只用到峰值的 82%，而这还是在它夜里把空出来的节点拿去做训练的情况下5。一个刚起步的转售商，客户少、流量更不平滑，也没有自己的训练任务可以填空，平均利用率落在 30%–60% 是常见的情况（这是推断，没有找到公开的统计）。Galaxy Research 算过一个例子：一张租价 2.74 美元 / 时的 H100 按 0.90 美元 / 百万 token 卖，盈亏平衡要求利用率约 85%9。

第一次尝试：用竞价实例压租金

竞价实例的价格从按需的两成到六成不等（H100 的 Spot 在 GCP 是 6.27 美元 / 卡·时，在 Azure 只要 2.27 美元）1011，看上去能把租金砍掉一大截。问题是云厂商随时可能收回竞价实例，收回时正在生成的请求全部中断，而大模型的权重动辄几十到几百 GB，换一台机器重新加载要好几分钟。对一个承诺了可用性的 API 来说，竞价实例只能用来跑能重试的离线批处理，撑不起在线服务。

解决：把吞吐和利用率一起放进公式

每百万输出 token 的成本=每卡时租金线上吞吐×3600×利用率×106\text{每百万输出 token 的成本} = \frac{\text{每卡时租金}}{\text{线上吞吐} \times 3600 \times \text{利用率}} \times 10^6

这个成本要和“每百万输出 token 的收入”比。按 1:1 的输入输出比，收入就是输出价加上输入价。下面把它铺开到所有组合。

四、按模型、机器和云厂商逐项测算

测算假设

  • 模型：6 个开源模型，从 80 亿参数的 Llama 3.1 8B，到 OpenAI 开源的 gpt-oss-20b / 120b、Llama 3.3 70B、Qwen3-235B-A22B，再到 6710 亿参数的 DeepSeek-V3.2。
  • 租金：AWS us-east-1、Azure East US、GCP us-central1 的官方价，2026-10-20 取数21110。阿里云国内不卖 H100 / H200，可买到的是 96GB 显存的 gn8v（与 H20 吻合，推断）、L20 和 A1012；价格取自阿里云开发者社区的非官方整理和 sparecores，按 7.1 元 / 美元换算，包月价当作它的承诺价13。
  • 吞吐：表 1 的“线上可卖”一列。
  • 售价：OpenRouter 上该模型的最低价和几家主流供应商的常见价，输入输出按 1:1 合计1。
  • 不计入的成本：带宽、存储、负载均衡、运维人力、支付手续费、获客。这些只会让结论更差。

按需租用、利用率 60%

每百万输出 token 的成本（美元，按需价，利用率 60%）
GPUAWSAzureGCP阿里云
Llama 3.1 8B · 市价 0.06–0.13
H1000.711.261.14—
L4 / A100.491.650.520.75
gpt-oss-20b · 市价 0.17–0.22
H100（阿里云 L20）0.801.421.280.94
gpt-oss-120b · 市价 0.18–0.75
H1003.195.695.12—
B2001.20—0.68—
Llama 3.3 70B · 市价 0.42–1.38
H1007.0812.6411.38—
H2003.054.094.09—
B2002.20—1.24—
Qwen3-235B-A22B · 市价 0.64–0.80
H200（阿里云 H20）3.054.094.095.86
B2002.64—1.49—
DeepSeek-V3.2 · 市价 0.64–2.24
H200（阿里云 H20）7.329.819.819.37
B2003.30—1.87—

成本含同等数量的输入 token；市价为 OpenRouter 最低价–常见价（输入 + 输出）。红：高于常见价；琥珀：介于两者之间；绿：低于最低价。GCP 的 B200 没有普通按需价，取 DWS Flex-start；Azure 没有 B200 普通实例，GCP 没有 A10。

表 2 · 按需租卡、60% 利用率，没有一个组合能做到市场最低价

红色的格子表示成本高于这个模型的常见售价，琥珀色表示低于常见价、但仍高于最低价，绿色表示比最低价还便宜。表里没有一个绿色格子，琥珀色的也只出现在 B200 上。按需租卡卖 Llama 3.1 8B，每百万 token 的成本是售价的 4 到 27 倍；卖 Llama 3.3 70B 和 DeepSeek，在 H100 / H200 上成本是常见价的 2 到 9 倍。

几家云之间差得也不小。AWS 在 2025 年 6 月把 P5 的按需价从 98.32 美元 / 时降到 55.04 美元14，Azure 的 ND H100 v5 至今还是 98.32 美元11，同样一张 H100，Azure 比 AWS 贵 79%。阿里云 gn8v 的每卡时价格只比 AWS 的 H100 便宜四分之一（它用的应该是 H20，这是推断），算力却弱得多，跑 DeepSeek 反而是表里最贵的之一。

签 3 年承诺、利用率做到 90%

按需价本来就不是给长期在线服务准备的。我们换到最有利的一端：签 3 年承诺价，再假设流量足够平稳，利用率做到 90%。

每百万输出 token 的成本（美元，3 年承诺价，利用率 90%）
GPUAWSAzureGCP阿里云
Llama 3.1 8B · 市价 0.06–0.13
H1000.200.370.33—
L4 / A100.150.480.160.32
gpt-oss-20b · 市价 0.17–0.22
H100（阿里云 L20）0.230.420.380.41
gpt-oss-120b · 市价 0.18–0.75
H1000.921.671.50—
B2000.35—0.40—
Llama 3.3 70B · 市价 0.42–1.38
H1002.043.703.33—
H2000.881.361.20—
B2000.63—0.73—
Qwen3-235B-A22B · 市价 0.64–0.80
H200（阿里云 H20）0.881.361.202.57
B2000.76—0.88—
DeepSeek-V3.2 · 市价 0.64–2.24
H200（阿里云 H20）2.113.262.874.11
B2000.95—1.09—

承诺价：AWS 为 EC2 Instance Savings Plan 3 年无预付，Azure 为 3 年预留，GCP 为 3 年 CUD；阿里云取包月价（公开的年付价没有额外折扣）。配色同表 2。

表 3 · 签 3 年承诺、利用率做到 90%，也只有 B200 / H200 跑大模型能低于常见价，仍然没有一格低于最低价

即使到了这一步，依然没有一个组合能做到比市场最低价还便宜。能跨过“常见价”这条线的，基本都是 B200 和 H200 这类新卡跑大模型的组合，比如 AWS 上 3 年承诺的 B200 跑 gpt-oss-120b，每百万 token 成本 0.35 美元，低于常见价 0.75 美元。但这需要先签下一份 3 年、8 卡、总价约 130 万美元的合约（6.15 美元 × 8 卡 × 26,280 小时），再保证三年里每天 90% 的时间都有人在调用。小模型这一端更难：Llama 3.1 8B 和 gpt-oss-20b 用任何卡、任何承诺价，成本都在常见价之上。

既然按云厂商的价格怎么算都亏，市场上那些更低的价格又是怎么定出来的？

五、市场最低价的来源

倒推：最低价需要多便宜的 GPU

我们把问题倒过来问：按每个模型在 OpenRouter 上的最低价卖，一张 H100（DeepSeek 用 H200）满载一小时能收多少钱？再把几种 GPU 来源的每卡时成本画成竖线，看收入能越过哪一条。

按最低市价，一张卡一小时能收多少钱 六个模型按 OpenRouter 最低价、满载一小时的每卡收入：按线上可卖吞吐 0.65 到 2.45 美元，按厂商最大负载吞吐 3 到 7 美元；对照自有 H100 总成本 1.17 美元、DeepInfra 出租价 2.20 美元、AWS 3 年承诺价 2.97 美元和按需价 6.88 美元。 满载一小时的每卡收入（美元，最低市价，输入输出 1:1） 自有 TCO $1.17 DeepInfra 出租 $2.20 AWS 3 年 $2.97 AWS 按需 $6.88 Llama 3.1 8B H100 · $0.06 0.97 / 3.29 gpt-oss-20b H100 · $0.17 2.45 / 7.07 gpt-oss-120b H100 · $0.18 0.65 / 3.04 Llama 3.3 70B H100 · $0.42 0.68 / 3.34 Qwen3-235B-A22B H100 · $0.64 1.73 / 4.45 DeepSeek-V3.2 H200 · $0.64 1.15 / 3.75 线上可卖吞吐（每用户约 30–50 tok/s） 虚线框：厂商最大负载吞吐，线上卖不到
图 4 · 按线上能卖的吞吐，最低市价连自有 H100 的成本都不一定覆盖；只有接近厂商极限的吞吐加上 1–2.5 美元的卡，才能撑起这个价格

按线上可卖的吞吐（实心条），最低价每卡时只能收 0.65 到 2.45 美元，大多数连 SemiAnalysis 估算的自有 H100 总成本（TCO）1.17 美元都不到4。只有按厂商极限吞吐（空心条）去跑，收入才落在 3 到 7 美元一档，越过 DeepInfra 出租 H100 的 2.20 美元15和 AWS 3 年承诺价的 2.97 美元。

这说明两件事。第一，挂出最低价的那几家，GPU 成本不是按云厂商的价目表算的：它们要么自己买卡、自己建机房，要么从 CoreWeave、Lambda 这类 GPU 云签长约，每卡时成本在 1–2.5 美元。即使是按需价，这类 GPU 云也比三大云便宜得多：H100 在 Lambda 是 3.99 美元16，在 RunPod 社区版是 2.69 美元17。DeepInfra 本身就同时在出租 H100（2.20 美元 / 时）和卖 token15，出租价就是它愿意让出这张卡的机会成本。第二，它们的吞吐必须接近厂商极限：这要求把很多客户的请求合进同一个大批次，单用户速度压得比较低，或者在调度、量化、推测解码上做大量工程。

原因：同质化的商品，价格向边际成本收敛

同一个开源模型，不管谁来托管，输出的东西几乎一样，用户换供应商只要改一行 base URL。OpenRouter 的默认路由按价格平方的倒数分配流量，价格降一半，分到的流量大约变成 4 倍9。在这样的市场里，价格会一路向成本最低那一家的边际成本靠拢：有自有 GPU、闲置算力要消化的厂商，愿意按略高于电费和折旧的价格卖。2023 年底 Mixtral 价格战时，SemiAnalysis 就算过几乎所有开源模型托管商都在亏钱18。

那 DeepSeek 自己公布的 545% 利润率，又是怎么回事？

六、DeepSeek 的 545% 从哪来

现象：同样的模型，DeepSeek 每卡时收入高出几倍

DeepSeek 在 2025 年 3 月公布了一天的推理账本：平均 226.75 台 8 卡 H800 节点，按每卡时 2 美元算日成本 87,072 美元；如果当天所有 token 都按 R1 的价格收费，理论收入是 562,027 美元，成本利润率 545%5。

我们用同样的方法，把 DeepSeek 的全天平均吞吐和一个单节点转售商放在一起，都按今天 DeepSeek-V3.2 的最低市场价（输入 $0.26/M、输出 $0.38/M）1来算每卡时收入：

DeepSeek 与单节点转售商的每卡时收入 按 DeepSeek-V3.2 最低市价输入 0.26、输出 0.38 美元每百万 token 计：DeepSeek 全天平均每卡时收入 5.10 美元、成本 2 美元；8 卡 H200 单节点满载每卡时收入 1.75 美元，AWS 3 年承诺租金 3.42 美元。 DeepSeek 自营 · 2025-02-27 全天平均 单节点转售 · 每用户 45 tok/s（推算） H800 × 1,814 226.75 节点 输出吞吐 1,072 tok/s/卡 输入吞吐（56% 命中缓存） 3,880 tok/s/卡 每卡时收入 $5.10 每卡时成本 $2.00 自有卡 H200 × 8 1 节点 输出吞吐 ≈197 tok/s/卡 输入吞吐（8k:1k） ≈1,576 tok/s/卡 每卡时收入（满载） $1.75 每卡时成本 $3.42 / $7.91 同一个价格：DeepSeek 每卡时收 $5.10，单节点满载只收 $1.75。 右侧成本为 AWS 3 年承诺 / 按需；右侧输入占比更高，本来更有利于收入。
图 5 · 同一个模型、同一个价格，DeepSeek 的每卡时收入是单节点转售商的近 3 倍

同样的价格，DeepSeek 的一张卡每小时能收 5.10 美元，单节点转售商只有 1.75 美元，差了近 3 倍。

原因：规模本身就是效率

差距主要来自三处。

一是大规模专家并行。 DeepSeek-V3 是混合专家模型（MoE），每个 token 只用到 671B 参数中的约 37B。把专家分散到几十上百张卡上，每张卡只负责少数几个专家，批次可以做得非常大。DeepSeek 的解码节点每卡约 1,850 输出 tok/s5，LMSYS 用 96 张 H100 复现，每张解码卡约 2,790 tok/s19；而单节点 8 卡在每用户 45 tok/s 时只有约 197 输出 tok/s（由 InferenceX 的总吞吐按 8k / 1k 的比例折算，是推算）4。这种部署需要至少几十张卡起步，还要能把它们填满。

二是缓存。 DeepSeek 当天 608B 输入 token 里有 56.3% 命中了磁盘上的 KV 缓存5，这部分不用重新计算，成本几乎为零。智能体和编程工具的请求会反复带上同一段长前缀，命中率还能更高。小转售商如果没有按前缀路由的调度和大容量缓存，要么不给缓存价、丢掉这类客户，要么给了缓存价却吃不到命中。

三是 GPU 成本和闲时填充。 DeepSeek 用的是自己的卡，2 美元 / 时是它给自己定的核算价；夜里流量低时，节点被调去做研究和训练，空闲不浪费5。

另外，545% 是“利润 ÷ 成本”，不是毛利率；DeepSeek 自己也写明，网页和 App 免费、V3 比 R1 便宜、夜间打折，实际收入远低于这个理论值5。

规模、缓存、自有卡，小转售商一样都没有。那还有没有能赚钱的做法？

七、什么情况下能赚钱

前面的账已经说明，租云厂商的 GPU、部署一个热门开源模型、按 token 和市场最低价竞争，在任何模型、任何卡、任何一家云上都是亏的，区别只是亏多少。要赚钱，就得改掉这句话里至少一个条件。

不卖大家都在卖的模型。 价格战只发生在同质化的商品上。客户自己微调的模型、多个 LoRA 适配器共用一张卡、某个行业专用的小模型，没有二十家供应商可比，可以按包时段的专属实例收费，把利用率风险交给客户。这时卖的已经不是 token，而是“替你把模型跑起来”。

不按最低价卖，而按速度和可靠性卖。 同样是 gpt-oss-120b，Cerebras 卖输入 $0.35/M、输出 $0.75/M，Groq 的 Llama 3.3 70B 卖 $0.59/M 和 $0.79/M，都是最低价的好几倍1。它们卖的是每秒几百上千 token 的出字速度。企业客户在云厂商自己的模型平台（Bedrock、Vertex、Azure AI Foundry）上也愿意多付钱，换来合规、账单合并和 SLA；但这部分溢价归云厂商，转售商很难插进去。

换成本更低的 GPU，并把利用率填满。 表 3 里能跨过常见价的都是 3 年承诺加 90% 利用率。要做到 90%，就得有稳定的基础流量：自己的产品本身要用、按五折卖 Batch 把夜里填满、或者从 GPU 云签长约而不是按需租。到这一步，生意的本质已经从“转售 API”变成“经营一个推理集群”。

卖给云厂商价格够不着的市场。 数据不能出境、要私有化部署、或者只能用某些国产卡的场景，客户比较的不是 OpenRouter 的最低价，而是自己搭一套的成本和人力。

小结

  1. 一张 GPU 一小时能卖多少钱？ 吞吐 × 3600 × 单价。按 NVIDIA 的最大负载吞吐和 Llama 3.3 70B 的最低市价，一张 H100 满载一小时只能卖 3.34 美元，AWS 按需租金是 6.88 美元。
  2. 厂商吞吐能直接用吗？ 不能。最大负载下单用户速度只有个位数，线上要保证 30–50 tok/s，吞吐只剩厂商数字的五分之一到二分之一。
  3. 利用率差在哪？ 容量按峰值准备，租金按 24 小时付。DeepSeek 自己也只用到峰值的 82%，小转售商在 30%–60% 更常见；竞价实例会被收回，撑不起在线服务。
  4. 逐项测算的结论？ 按需租用、60% 利用率下，6 个模型 × 9 种卡 × 4 家云没有一个组合能达到市场最低价；签 3 年承诺、利用率 90% 时，也只有 B200 / H200 跑大模型能低于常见价。小模型怎么算都亏。
  5. 市场最低价是谁定的？ 自有或长约 GPU（每卡时 1–2.5 美元）、吞吐接近厂商极限的厂商。同质化商品的价格向他们的边际成本收敛。
  6. DeepSeek 为什么能赚？ 大规模专家并行把每卡吞吐做到单节点的数倍，56% 的缓存命中，自有卡和闲时训练填充；545% 本身还是理论值。
  7. 什么情况下能赚？ 不卖同质化模型、按速度和可靠性定价、用长约和稳定流量把利用率填满，或者卖给公开市场够不着的客户。

本文的测算脚本和三份调研笔记（云 GPU 价格、吞吐基准、API 市价）在项目共享目录里，每个数字都标了来源和是否核实。“线上可卖”的吞吐、阿里云 gn8v 的 GPU 型号和价格、30%–60% 的利用率区间都是推算，换成你自己的实测值，公式不变，结论可能会变。

参考资料

Footnotes

  1. OpenRouter Models（各模型的供应商与价格）OpenRouter · 2026-10-20openrouter.ai ↗通过公开接口 api/v1/models/<model>/endpoints 读取每家供应商的输入 / 输出价格，2026-10-20 取数。https://openrouter.ai/models ↩ ↩2 ↩3 ↩4 ↩5

  2. Amazon EC2 On-Demand PricingAWS · 2026-10-20aws.amazon.com ↗us-east-1；p5.48xlarge 55.04 美元/时、p6-b200 113.93 美元/时；折合每卡时 H100 6.88、H200（p5en）7.91、B200 14.24、A100（p4de）3.43、L40S（g6e）1.86、L4（g6）0.80、A10G（g5）1.01 美元。3 年价取 EC2 Instance Savings Plan（无预付），数据来自 AWS 官方价格 JSON（2026-10-13 发布）。https://aws.amazon.com/ec2/pricing/on-demand/ ↩ ↩2 ↩3

  3. TensorRT-LLM Performance OverviewNVIDIA · 2026-10-20nvidia.github.io ↗1024 输入 / 1024 输出、最大负载下的输出 tok/s/GPU；文档示例里单用户速度只有 5.47 tok/s。https://nvidia.github.io/TensorRT-LLM/developer-guide/perf-overview.html ↩ ↩2 ↩3

  4. InferenceX：DeepSeek-R1 H100 vs H200SemiAnalysis · 2026-10-20inferencex.semianalysis.com ↗8k 输入 / 1k 输出；纵轴是输入 + 输出的总 tok/s/GPU；成本按自有 GPU 的 TCO 算（H100 1.17 美元/时、H200 1.22 美元/时、B200 1.73 美元/时）。https://inferencex.semianalysis.com/compare/deepseek-r1-h100-vs-h200 ↩ ↩2 ↩3

  5. DeepSeek-V3 / R1 Inference System OverviewDeepSeek / GitHub · 2025-03-01github.com ↗统计窗口 2025-02-27 12:00 至 02-28 12:00；平均 226.75 台节点（峰值 278）；日输入 608B（56.3% 命中缓存）、输出 168B；按 2 美元/卡·时 日成本 87,072 美元，理论日收入 562,027 美元，成本利润率 545%。https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

  6. TensorRT-LLM Performance Overview（v0.17）NVIDIA / GitHubgithub.com ↗Llama 3.1 8B 在 L40S、A100 上的吞吐，以及 Llama 70B 在 A100 上的吞吐。https://github.com/NVIDIA/TensorRT-LLM/blob/v0.17.0/docs/source/performance/perf-overview.md ↩

  7. DeepSeek API 模型与价格DeepSeek · 2026-10-20api-docs.deepseek.com ↗忙时为工作日北京时间 9:00–12:00、14:00–18:00，闲时半价。https://api-docs.deepseek.com/zh-cn/quick_start/pricing ↩

  8. 阿里云百炼 模型价格阿里云 · 2026-10-20help.aliyun.com ↗Batch 调用五折；缓存命中的输入按输入价的 10% 计。https://help.aliyun.com/zh/model-studio/model-pricing ↩

  9. The Inference Market and Its Micro-StructureGalaxy Research · 2026-08-11galaxy.com ↗一张租价 2.74 美元/时 的 H100 按 0.90 美元/百万 token 卖，盈亏平衡利用率约 85%；OpenRouter 默认路由按价格平方的倒数分配流量。https://www.galaxy.com/insights/perspectives/inference-market-and-micro-structure ↩ ↩2

  10. Accelerator-optimized machine family pricingGoogle Cloud · 2026-10-20cloud.google.com ↗us-central1；a3-highgpu-8g（H100）、a3-ultragpu-8g（H200）、a2-ultragpu-8g（A100）、g2（L4）。a4-highgpu-8g（B200）没有普通按需价，文中“按需”取 DWS Flex-start 8.06 美元/卡·时。https://cloud.google.com/products/compute/pricing/accelerator-optimized ↩ ↩2

  11. Azure Retail Prices APIMicrosoft Azure · 2026-10-20prices.azure.com ↗East US（H200 为 East US 2）；ND H100 v5 仍为 98.32 美元/时；预留价按总价折成每小时。https://prices.azure.com/api/retail/prices ↩ ↩2 ↩3

  12. GPU 计算型实例规格族阿里云帮助中心 · 2026-10-20help.aliyun.com ↗gn8v / ebmgn8v 为 96GB HBM3（文档没写 GPU 型号，与 H20 吻合，这是推断）；gn8is 为 L20；gn7i 为 A10。https://help.aliyun.com/zh/egs/gpu-accelerated-compute-optimized-instance-families ↩

  13. 阿里云 GPU 服务器价格表（gn8v、gn8is 等）阿里云开发者社区 · 2025-09-12developer.aliyun.com ↗非官方整理：gn8v-8x.48xlarge ¥287.5/时、包月 ¥138,000；gn8is-8x.32xlarge ¥115.32/时、包月 ¥55,354；未注明地域。A10（gn7i）杭州价取自 sparecores.com。按 7.1 元/美元换算。https://developer.aliyun.com/article/1681412 ↩

  14. Announcing up to 45% price reduction for Amazon EC2 NVIDIA GPU-accelerated instancesAWS News Blog · 2025-06aws.amazon.com ↗P5 按需价从 98.32 美元/时 降到 55.04 美元/时。https://aws.amazon.com/blogs/aws/announcing-up-to-45-price-reduction-for-amazon-ec2-nvidia-gpu-accelerated-instances/ ↩

  15. DeepInfra PricingDeepInfra · 2026-10-20deepinfra.com ↗既卖 token 也出租 GPU：H100 2.20 美元/时、H200 2.69 美元/时、B200 3.69 美元/时。https://deepinfra.com/pricing ↩ ↩2

  16. Lambda PricingLambda · 2026-10-20lambda.ai ↗8×H100 SXM 3.99 美元/卡·时。https://lambda.ai/pricing ↩

  17. RunPod PricingRunPod · 2026-10-20runpod.io ↗H100 SXM Community 2.69 美元/时、Secure 3.99 美元/时。https://www.runpod.io/pricing ↩

  18. Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUsLMSYS · 2025-05-05lmsys.org ↗每节点 52.3k 输入 tok/s、22.3k 输出 tok/s，约 0.20 美元/百万输出 token。https://lmsys.org/blog/2025-05-05-large-scale-ep/ ↩

延伸阅读