--- title: "租云 GPU 转卖大模型 API，能赚钱吗" description: "OpenRouter 上同一个 gpt-oss-120b 有二十多家在卖，最便宜的每百万输出 token 只要 0.15 美元，而 AWS 上一张 H100 每小时要 6.88 美元。顺着这个反差往下算：一张 GPU 一小时能产出多少 token、厂商吞吐为什么卖不出来、按小时付租金和按 token 收钱之间差在哪，再把 6 个模型、9 种 GPU、AWS / Azure / GCP / 阿里云逐项算一遍，看市场最低价是谁定的、DeepSeek 的 545% 从哪来，以及什么情况下这门生意才做得成。" pubDate: 2026-10-20 tags: ["大模型", "推理", "GPU", "云计算", "成本测算"] hero: "./hero.svg" refs: - id: openrouter title: "OpenRouter Models（各模型的供应商与价格）" url: https://openrouter.ai/models site: OpenRouter date: 2026-10-20 note: "通过公开接口 `api/v1/models//endpoints` 读取每家供应商的输入 / 输出价格，2026-10-20 取数。" - id: aws-ec2 title: "Amazon EC2 On-Demand Pricing" url: https://aws.amazon.com/ec2/pricing/on-demand/ site: AWS date: 2026-10-20 note: "us-east-1；p5.48xlarge 55.04 美元/时、p6-b200 113.93 美元/时；折合每卡时 H100 6.88、H200（p5en）7.91、B200 14.24、A100（p4de）3.43、L40S（g6e）1.86、L4（g6）0.80、A10G（g5）1.01 美元。3 年价取 EC2 Instance Savings Plan（无预付），数据来自 AWS 官方价格 JSON（2026-10-13 发布）。" - id: aws-cut title: "Announcing up to 45% price reduction for Amazon EC2 NVIDIA GPU-accelerated instances" url: https://aws.amazon.com/blogs/aws/announcing-up-to-45-price-reduction-for-amazon-ec2-nvidia-gpu-accelerated-instances/ site: AWS News Blog date: 2025-06 note: "P5 按需价从 98.32 美元/时 降到 55.04 美元/时。" - id: azure-prices title: "Azure Retail Prices API" url: https://prices.azure.com/api/retail/prices site: Microsoft Azure date: 2026-10-20 note: "East US（H200 为 East US 2）；ND H100 v5 仍为 98.32 美元/时；预留价按总价折成每小时。" - id: gcp-pricing title: "Accelerator-optimized machine family pricing" url: https://cloud.google.com/products/compute/pricing/accelerator-optimized site: Google Cloud date: 2026-10-20 note: "us-central1；a3-highgpu-8g（H100）、a3-ultragpu-8g（H200）、a2-ultragpu-8g（A100）、g2（L4）。a4-highgpu-8g（B200）没有普通按需价，文中“按需”取 DWS Flex-start 8.06 美元/卡·时。" - id: aliyun-egs title: "GPU 计算型实例规格族" url: https://help.aliyun.com/zh/egs/gpu-accelerated-compute-optimized-instance-families site: 阿里云帮助中心 date: 2026-10-20 note: "gn8v / ebmgn8v 为 96GB HBM3（文档没写 GPU 型号，与 H20 吻合，这是推断）；gn8is 为 L20；gn7i 为 A10。" - id: aliyun-price title: "阿里云 GPU 服务器价格表（gn8v、gn8is 等）" url: https://developer.aliyun.com/article/1681412 site: 阿里云开发者社区 date: 2025-09-12 note: "非官方整理：gn8v-8x.48xlarge ¥287.5/时、包月 ¥138,000；gn8is-8x.32xlarge ¥115.32/时、包月 ¥55,354；未注明地域。A10（gn7i）杭州价取自 sparecores.com。按 7.1 元/美元换算。" - id: neocloud title: "RunPod Pricing" url: https://www.runpod.io/pricing site: RunPod date: 2026-10-20 note: "H100 SXM Community 2.69 美元/时、Secure 3.99 美元/时。" - id: lambda title: "Lambda Pricing" url: https://lambda.ai/pricing site: Lambda date: 2026-10-20 note: "8×H100 SXM 3.99 美元/卡·时。" - id: deepinfra title: "DeepInfra Pricing" url: https://deepinfra.com/pricing site: DeepInfra date: 2026-10-20 note: "既卖 token 也出租 GPU：H100 2.20 美元/时、H200 2.69 美元/时、B200 3.69 美元/时。" - id: trtllm title: "TensorRT-LLM Performance Overview" url: https://nvidia.github.io/TensorRT-LLM/developer-guide/perf-overview.html site: NVIDIA date: 2026-10-20 note: "1024 输入 / 1024 输出、最大负载下的输出 tok/s/GPU；文档示例里单用户速度只有 5.47 tok/s。" - id: trtllm-old title: "TensorRT-LLM Performance Overview（v0.17）" url: https://github.com/NVIDIA/TensorRT-LLM/blob/v0.17.0/docs/source/performance/perf-overview.md site: NVIDIA / GitHub note: "Llama 3.1 8B 在 L40S、A100 上的吞吐，以及 Llama 70B 在 A100 上的吞吐。" - id: inferencex title: "InferenceX：DeepSeek-R1 H100 vs H200" url: https://inferencex.semianalysis.com/compare/deepseek-r1-h100-vs-h200 site: SemiAnalysis date: 2026-10-20 note: "8k 输入 / 1k 输出；纵轴是输入 + 输出的总 tok/s/GPU；成本按自有 GPU 的 TCO 算（H100 1.17 美元/时、H200 1.22 美元/时、B200 1.73 美元/时）。" - id: deepseek-day6 title: "DeepSeek-V3 / R1 Inference System Overview" url: https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md site: DeepSeek / GitHub date: 2025-03-01 note: "统计窗口 2025-02-27 12:00 至 02-28 12:00；平均 226.75 台节点（峰值 278）；日输入 608B（56.3% 命中缓存）、输出 168B；按 2 美元/卡·时 日成本 87,072 美元，理论日收入 562,027 美元，成本利润率 545%。" - id: lmsys-ep title: "Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs" url: https://lmsys.org/blog/2025-05-05-large-scale-ep/ site: LMSYS date: 2025-05-05 note: "每节点 52.3k 输入 tok/s、22.3k 输出 tok/s，约 0.20 美元/百万输出 token。" - id: deepseek-price title: "DeepSeek API 模型与价格" url: https://api-docs.deepseek.com/zh-cn/quick_start/pricing site: DeepSeek date: 2026-10-20 note: "忙时为工作日北京时间 9:00–12:00、14:00–18:00，闲时半价。" - id: bailian title: "阿里云百炼 模型价格" url: https://help.aliyun.com/zh/model-studio/model-pricing site: 阿里云 date: 2026-10-20 note: "Batch 调用五折；缓存命中的输入按输入价的 10% 计。" - id: galaxy title: "The Inference Market and Its Micro-Structure" url: https://www.galaxy.com/insights/perspectives/inference-market-and-micro-structure site: Galaxy Research date: 2026-08-11 note: "一张租价 2.74 美元/时 的 H100 按 0.90 美元/百万 token 卖，盈亏平衡利用率约 85%；OpenRouter 默认路由按价格平方的倒数分配流量。" - id: semianalysis-race title: "Inference Race To The Bottom – Make It Up On Volume?" url: https://newsletter.semianalysis.com/p/inference-race-to-the-bottom-make site: SemiAnalysis date: 2023-12 further: true note: "2023 年 Mixtral 价格战时的分析：几乎所有开源模型托管商都在亏钱。" --- 打开 OpenRouter 上 gpt-oss-120b 的页面，下面列着二十多家供应商：Amazon Bedrock、Together、Groq、SiliconFlow 都标着每百万输入 token 0.15 美元、每百万输出 token 0.60 美元，最便宜的一家只要 0.03 和 0.15 美元[^openrouter]。同一时间，AWS 上一台 8 卡 H100 的 p5.48xlarge 按需价是每小时 55.04 美元，摊到每张卡 6.88 美元[^aws-ec2]。 一边是按小时计的租金，一边是按百万 token 计的售价，两个数字放在一起看不出谁大谁小。这些供应商卖这个价，是在赚钱还是在烧钱？如果我们自己去 AWS、Azure、GCP 或阿里云租几张卡，装上一个开源模型，再按 token 把 API 卖出去，这门生意能做吗？换个模型、换张卡、换家云，结论会不会不同？ 本文就把这笔账从一张卡、一小时算起，一层一层往外推。 先交代几个后文反复用到的词。**token** 是模型读写文本的单位，一个汉字大约一到两个 token。API 按**输入 token**（用户发过去的提示词）和**输出 token**（模型生成的回答）分别计价，单位是“美元 / 百万 token”，下文简写成 `$/M`。**吞吐**指一张 GPU 每秒一共能生成多少 token（tok/s/GPU），**单用户速度**指某一个用户看到的出字速度（tok/s/user）。**利用率**是 GPU 实际在干活的时间占租用时间的比例。云厂商的 GPU 有三种买法：**按需**随租随退、价格最高；**承诺**（AWS 叫 Savings Plan，Azure 叫预留，GCP 叫 CUD）签 1 年或 3 年换折扣；**竞价**（Spot）最便宜，但随时可能被收回。 ## 一、一张 GPU 一小时的账 要比较租金和售价，得先把两边换成同一个单位。最直接的办法是算**一张 GPU 一小时能卖出多少钱**： $$ \text{每卡时收入} = \text{吞吐（tok/s）} \times 3600 \times \text{单价（美元/百万 token）} \div 10^6 $$ 吞吐从哪来？NVIDIA 在 TensorRT-LLM 的文档里公布了一组官方吞吐表，测的是 1024 个输入 token、1024 个输出 token 的请求，在最大负载下每张卡每秒能产出多少输出 token[^trtllm]。我们先拿 Llama 3.3 70B 来算：它在 H100 上的数字是 2,209 tok/s/GPU。 售价取 OpenRouter 上 Llama 3.3 70B 的最低价，DeepInfra 的输入 \$0.10/M、输出 \$0.32/M[^openrouter]。因为测试请求的输入和输出一样长，每产出 1 个输出 token，也就同时收了 1 个输入 token 的钱。
一张 H100 一小时的账 AWS p5.48xlarge 每卡时 6.88 美元；Llama 3.3 70B 按 NVIDIA 最大负载吞吐 2,209 tok/s 跑一小时，产出 795 万输出 token 和同样多的输入 token，按 OpenRouter 最低价收入 3.34 美元，每卡时亏 3.54 美元。 租金 · AWS us-east-1 产出 · TensorRT-LLM 1k/1k 收入 · OpenRouter 最低价 实例 p5.48xlarge 按需价 $55.04/时 GPU 8 × H100 每卡时 $6.88 3 年承诺 $2.97 Llama 3.3 70B H100 输出吞吐 2,209 tok/s × 3600 秒 输出 7.95M token 输入（1:1） 7.95M token DeepInfra $/M 输出 × $0.32 $2.54 输入 × $0.10 $0.80 合计 $3.34 按厂商极限吞吐跑满一小时：收入 $3.34，租金 $6.88，每卡时亏 $3.54。
图 1 · 即使按厂商测出的最高吞吐跑满一小时，一张 AWS 按需 H100 卖 Llama 3.3 70B 的收入也只有租金的一半
结果是，即使按 NVIDIA 测出来的最高吞吐、一刻不停地跑满一小时，这张卡也只能卖出 3.34 美元，而 AWS 按需租金是 6.88 美元。如果签 3 年的 Savings Plan，每卡时降到 2.97 美元[^aws-ec2]，账面上才勉强翻正。 这是一个**最乐观的上限**：吞吐取厂商极限，利用率取 100%。**这两个假设在线上服务里能成立吗？** ## 二、厂商吞吐与线上吞吐 ### 现象：最大负载下每个用户只看到个位数的速度 NVIDIA 的吞吐表是在“无限请求速率”下测的：请求源源不断地涌进来，推理框架把尽可能多的请求塞进同一个批次一起算。文档里附的一段示例输出显示，这时每个用户看到的出字速度只有 5.47 tok/s，第一个字要等 52 秒才出来[^trtllm]。没有哪个付费用户会接受这样的 API。 ### 原因：批次越大，总吞吐越高，每个人越慢 GPU 生成一个 token 的主要时间花在把模型权重从显存搬进计算单元。一个批次里不管有 1 个请求还是 200 个请求，权重都只要搬一遍，所以批次越大，每搬一次能产出的 token 越多，总吞吐越高；代价是每一步要算的东西变多，每个请求轮到下一个 token 的间隔变长，单用户速度下降。**总吞吐和单用户速度是此消彼长的。** SemiAnalysis 的 InferenceX 把这条曲线画了出来。下图是 DeepSeek-R1 在 8 卡 H100 和 8 卡 H200 上、8k 输入 / 1k 输出时，单用户速度和每卡总吞吐的关系[^inferencex]：
单用户速度与每卡吞吐 DeepSeek-R1 在 8k 输入 1k 输出时：H200 每卡总吞吐在单用户 45 tok/s 时为 1,773，97 tok/s 时降到 758；H100 从 740 降到 154。 DeepSeek-R1 · 8k 输入 / 1k 输出 · 8 卡单节点 0 500 1,000 1,500 2,000 40 60 80 100 单用户速度（tok/s/user） 每卡总吞吐（tok/s，输入 + 输出） 1,773 974 758 H200 740 281 154 H100 单用户速度翻一倍： H200 每卡吞吐剩 43% H100 只剩 21% 线上 API 一般要给 每用户 30–100 tok/s； 厂商最大负载测试里 只有约 5 tok/s。
图 2 · 总吞吐和单用户速度此消彼长：给每个用户的速度翻一倍，每卡能卖的 token 少一半以上（数据：SemiAnalysis InferenceX）
把单用户速度从 45 tok/s 提到 97 tok/s，H200 每卡吞吐从 1,773 掉到 758，H100 从 740 掉到 154。而线上 API 一般要给用户 30–100 tok/s 的速度，DeepSeek 自己的线上服务是每用户 20–22 tok/s[^deepseek-day6]。 ### 解决：按线上能卖的吞吐重新取值 所以测算不能直接用厂商的极限数字。我们把每个模型在每种卡上的吞吐分成两档：一档是厂商表里的最大负载[^trtllm][^trtllm-old]，一档是在每用户约 30–50 tok/s 的条件下能卖出去的吞吐。后者没有统一的公开基准，是我们参照 InferenceX、MLPerf 的 server 场景和几家框架的实测推算出来的，只能当量级看。
输出吞吐（tok/s/GPU，1k 输入 / 1k 输出）
GPU厂商最大负载线上可卖（推算）
Llama 3.1 8B
H10015,2454,500
A1003,7872,000
L40S4,0551,500
L4 / A10G约 1,500 / 2,500750 / 900
gpt-oss-20b
H10011,5574,000
gpt-oss-120b
H1004,6851,000
H2006,8681,450
B20025,9435,500
Llama 3.3 70B
H1002,209450
H2002,5871,200
B2006,9203,000
A100约 480200
Qwen3-235B-A22B
H1001,932750
H2003,2881,200
B2005,7642,500
DeepSeek-V3 / R1
H2001,627500
B2006,4632,000

最大负载取自 TensorRT-LLM 官方性能表（A100、L40S 取 v0.17 版，L4 / A10G 按显存带宽推算）。线上可卖一列参照 InferenceX、MLPerf server 场景和几家框架实测推算，只代表量级。

表 1 · 线上要保证每个用户的出字速度，能卖出去的吞吐只有厂商数字的五分之一到二分之一
线上可卖的吞吐大约只有厂商数字的五分之一到二分之一。拿 Llama 3.3 70B 在 H100 上的 450 tok/s 重算图 1 的账，满载一小时只能卖 0.68 美元，连 3 年承诺价的四分之一都不到。 **吞吐打了折，那利用率呢？租来的 GPU 每一小时都要付钱，用户却不会每一小时都来。** ## 三、利用率：按小时付租金，按 token 收钱 ### 现象：流量有明显的忙闲 大模型 API 的流量跟着人的作息走。DeepSeek 把工作日北京时间 9–12 点、14–18 点定为忙时，其他时段半价[^deepseek-price]；阿里云百炼的 Batch 调用打五折，相当于把闲时的算力折价卖掉[^bailian]。DeepSeek 公布的一天里，推理节点峰值 278 台，全天平均 226.75 台[^deepseek-day6]。 ### 原因：容量要按峰值准备，租金按 24 小时付 API 必须在峰值时也接得住请求，所以租多少卡要按峰值算；而租金是 24 小时连续计费的，流量低的时候卡空着也照样收钱。
容量按峰值，流量有忙闲 一天 24 小时的请求量示意：工作日上午和下午是忙时，夜里低谷。租用的 GPU 按峰值准备，24 小时计费，曲线和容量线之间的部分是付了钱却没有收入的时间。 一天的请求量（示意） 忙时 9–12 忙时 14–18 0:00 6:00 12:00 18:00 24:00 租用容量：按峰值准备，24 小时计费 实际请求：只有这部分有收入 DeepSeek 2025-02-27： 峰值 278 台 平均 226.75 台 平均 / 峰值 = 82% 夜里空出来的节点 被调去做训练。 曲线形状是示意， 右侧数字是实测。
图 3 · 容量按峰值租、租金按 24 小时付，流量低谷里的 GPU 时间照样要付钱
DeepSeek 平均只用到峰值的 82%，而这还是在它夜里把空出来的节点拿去做训练的情况下[^deepseek-day6]。一个刚起步的转售商，客户少、流量更不平滑，也没有自己的训练任务可以填空，平均利用率落在 30%–60% 是常见的情况（这是推断，没有找到公开的统计）。Galaxy Research 算过一个例子：一张租价 2.74 美元 / 时的 H100 按 0.90 美元 / 百万 token 卖，盈亏平衡要求利用率约 85%[^galaxy]。 ### 第一次尝试：用竞价实例压租金 竞价实例的价格从按需的两成到六成不等（H100 的 Spot 在 GCP 是 6.27 美元 / 卡·时，在 Azure 只要 2.27 美元）[^gcp-pricing][^azure-prices]，看上去能把租金砍掉一大截。问题是云厂商随时可能收回竞价实例，收回时正在生成的请求全部中断，而大模型的权重动辄几十到几百 GB，换一台机器重新加载要好几分钟。对一个承诺了可用性的 API 来说，竞价实例只能用来跑能重试的离线批处理，撑不起在线服务。 ### 解决：把吞吐和利用率一起放进公式 $$ \text{每百万输出 token 的成本} = \frac{\text{每卡时租金}}{\text{线上吞吐} \times 3600 \times \text{利用率}} \times 10^6 $$ 这个成本要和“每百万输出 token 的收入”比。按 1:1 的输入输出比，收入就是输出价加上输入价。下面把它铺开到所有组合。 ## 四、按模型、机器和云厂商逐项测算 ### 测算假设 - **模型**：6 个开源模型，从 80 亿参数的 Llama 3.1 8B，到 OpenAI 开源的 gpt-oss-20b / 120b、Llama 3.3 70B、Qwen3-235B-A22B，再到 6710 亿参数的 DeepSeek-V3.2。 - **租金**：AWS us-east-1、Azure East US、GCP us-central1 的官方价，2026-10-20 取数[^aws-ec2][^azure-prices][^gcp-pricing]。阿里云国内不卖 H100 / H200，可买到的是 96GB 显存的 gn8v（与 H20 吻合，推断）、L20 和 A10[^aliyun-egs]；价格取自阿里云开发者社区的非官方整理和 sparecores，按 7.1 元 / 美元换算，包月价当作它的承诺价[^aliyun-price]。 - **吞吐**：表 1 的“线上可卖”一列。 - **售价**：OpenRouter 上该模型的最低价和几家主流供应商的常见价，输入输出按 1:1 合计[^openrouter]。 - **不计入**的成本：带宽、存储、负载均衡、运维人力、支付手续费、获客。这些只会让结论更差。 ### 按需租用、利用率 60%
每百万输出 token 的成本（美元，按需价，利用率 60%）
GPUAWSAzureGCP阿里云
Llama 3.1 8B · 市价 0.06–0.13
H1000.711.261.14—
L4 / A100.491.650.520.75
gpt-oss-20b · 市价 0.17–0.22
H100（阿里云 L20）0.801.421.280.94
gpt-oss-120b · 市价 0.18–0.75
H1003.195.695.12—
B2001.20—0.68—
Llama 3.3 70B · 市价 0.42–1.38
H1007.0812.6411.38—
H2003.054.094.09—
B2002.20—1.24—
Qwen3-235B-A22B · 市价 0.64–0.80
H200（阿里云 H20）3.054.094.095.86
B2002.64—1.49—
DeepSeek-V3.2 · 市价 0.64–2.24
H200（阿里云 H20）7.329.819.819.37
B2003.30—1.87—

成本含同等数量的输入 token；市价为 OpenRouter 最低价–常见价（输入 + 输出）。红：高于常见价；琥珀：介于两者之间；绿：低于最低价。GCP 的 B200 没有普通按需价，取 DWS Flex-start；Azure 没有 B200 普通实例，GCP 没有 A10。

表 2 · 按需租卡、60% 利用率，没有一个组合能做到市场最低价
红色的格子表示成本高于这个模型的常见售价，琥珀色表示低于常见价、但仍高于最低价，绿色表示比最低价还便宜。表里没有一个绿色格子，琥珀色的也只出现在 B200 上。按需租卡卖 Llama 3.1 8B，每百万 token 的成本是售价的 4 到 27 倍；卖 Llama 3.3 70B 和 DeepSeek，在 H100 / H200 上成本是常见价的 2 到 9 倍。 几家云之间差得也不小。AWS 在 2025 年 6 月把 P5 的按需价从 98.32 美元 / 时降到 55.04 美元[^aws-cut]，Azure 的 ND H100 v5 至今还是 98.32 美元[^azure-prices]，同样一张 H100，Azure 比 AWS 贵 79%。阿里云 gn8v 的每卡时价格只比 AWS 的 H100 便宜四分之一（它用的应该是 H20，这是推断），算力却弱得多，跑 DeepSeek 反而是表里最贵的之一。 ### 签 3 年承诺、利用率做到 90% 按需价本来就不是给长期在线服务准备的。我们换到最有利的一端：签 3 年承诺价，再假设流量足够平稳，利用率做到 90%。
每百万输出 token 的成本（美元，3 年承诺价，利用率 90%）
GPUAWSAzureGCP阿里云
Llama 3.1 8B · 市价 0.06–0.13
H1000.200.370.33—
L4 / A100.150.480.160.32
gpt-oss-20b · 市价 0.17–0.22
H100（阿里云 L20）0.230.420.380.41
gpt-oss-120b · 市价 0.18–0.75
H1000.921.671.50—
B2000.35—0.40—
Llama 3.3 70B · 市价 0.42–1.38
H1002.043.703.33—
H2000.881.361.20—
B2000.63—0.73—
Qwen3-235B-A22B · 市价 0.64–0.80
H200（阿里云 H20）0.881.361.202.57
B2000.76—0.88—
DeepSeek-V3.2 · 市价 0.64–2.24
H200（阿里云 H20）2.113.262.874.11
B2000.95—1.09—

承诺价：AWS 为 EC2 Instance Savings Plan 3 年无预付，Azure 为 3 年预留，GCP 为 3 年 CUD；阿里云取包月价（公开的年付价没有额外折扣）。配色同表 2。

表 3 · 签 3 年承诺、利用率做到 90%，也只有 B200 / H200 跑大模型能低于常见价，仍然没有一格低于最低价
即使到了这一步，依然没有一个组合能做到比市场最低价还便宜。能跨过“常见价”这条线的，基本都是 B200 和 H200 这类新卡跑大模型的组合，比如 AWS 上 3 年承诺的 B200 跑 gpt-oss-120b，每百万 token 成本 0.35 美元，低于常见价 0.75 美元。但这需要先签下一份 3 年、8 卡、总价约 130 万美元的合约（6.15 美元 × 8 卡 × 26,280 小时），再保证三年里每天 90% 的时间都有人在调用。小模型这一端更难：Llama 3.1 8B 和 gpt-oss-20b 用任何卡、任何承诺价，成本都在常见价之上。 **既然按云厂商的价格怎么算都亏，市场上那些更低的价格又是怎么定出来的？** ## 五、市场最低价的来源 ### 倒推：最低价需要多便宜的 GPU 我们把问题倒过来问：按每个模型在 OpenRouter 上的最低价卖，一张 H100（DeepSeek 用 H200）满载一小时能收多少钱？再把几种 GPU 来源的每卡时成本画成竖线，看收入能越过哪一条。
按最低市价，一张卡一小时能收多少钱 六个模型按 OpenRouter 最低价、满载一小时的每卡收入：按线上可卖吞吐 0.65 到 2.45 美元，按厂商最大负载吞吐 3 到 7 美元；对照自有 H100 总成本 1.17 美元、DeepInfra 出租价 2.20 美元、AWS 3 年承诺价 2.97 美元和按需价 6.88 美元。 满载一小时的每卡收入（美元，最低市价，输入输出 1:1） 自有 TCO $1.17 DeepInfra 出租 $2.20 AWS 3 年 $2.97 AWS 按需 $6.88 Llama 3.1 8B H100 · $0.06 0.97 / 3.29 gpt-oss-20b H100 · $0.17 2.45 / 7.07 gpt-oss-120b H100 · $0.18 0.65 / 3.04 Llama 3.3 70B H100 · $0.42 0.68 / 3.34 Qwen3-235B-A22B H100 · $0.64 1.73 / 4.45 DeepSeek-V3.2 H200 · $0.64 1.15 / 3.75 线上可卖吞吐（每用户约 30–50 tok/s） 虚线框：厂商最大负载吞吐，线上卖不到
图 4 · 按线上能卖的吞吐，最低市价连自有 H100 的成本都不一定覆盖；只有接近厂商极限的吞吐加上 1–2.5 美元的卡，才能撑起这个价格
按线上可卖的吞吐（实心条），最低价每卡时只能收 0.65 到 2.45 美元，大多数连 SemiAnalysis 估算的自有 H100 总成本（TCO）1.17 美元都不到[^inferencex]。只有按厂商极限吞吐（空心条）去跑，收入才落在 3 到 7 美元一档，越过 DeepInfra 出租 H100 的 2.20 美元[^deepinfra]和 AWS 3 年承诺价的 2.97 美元。 这说明两件事。第一，**挂出最低价的那几家，GPU 成本不是按云厂商的价目表算的**：它们要么自己买卡、自己建机房，要么从 CoreWeave、Lambda 这类 GPU 云签长约，每卡时成本在 1–2.5 美元。即使是按需价，这类 GPU 云也比三大云便宜得多：H100 在 Lambda 是 3.99 美元[^lambda]，在 RunPod 社区版是 2.69 美元[^neocloud]。DeepInfra 本身就同时在出租 H100（2.20 美元 / 时）和卖 token[^deepinfra]，出租价就是它愿意让出这张卡的机会成本。第二，**它们的吞吐必须接近厂商极限**：这要求把很多客户的请求合进同一个大批次，单用户速度压得比较低，或者在调度、量化、推测解码上做大量工程。 ### 原因：同质化的商品，价格向边际成本收敛 同一个开源模型，不管谁来托管，输出的东西几乎一样，用户换供应商只要改一行 base URL。OpenRouter 的默认路由按价格平方的倒数分配流量，价格降一半，分到的流量大约变成 4 倍[^galaxy]。在这样的市场里，价格会一路向成本最低那一家的边际成本靠拢：有自有 GPU、闲置算力要消化的厂商，愿意按略高于电费和折旧的价格卖。2023 年底 Mixtral 价格战时，SemiAnalysis 就算过几乎所有开源模型托管商都在亏钱[^semianalysis-race]。 **那 DeepSeek 自己公布的 545% 利润率，又是怎么回事？** ## 六、DeepSeek 的 545% 从哪来 ### 现象：同样的模型，DeepSeek 每卡时收入高出几倍 DeepSeek 在 2025 年 3 月公布了一天的推理账本：平均 226.75 台 8 卡 H800 节点，按每卡时 2 美元算日成本 87,072 美元；如果当天所有 token 都按 R1 的价格收费，理论收入是 562,027 美元，成本利润率 545%[^deepseek-day6]。 我们用同样的方法，把 DeepSeek 的全天平均吞吐和一个单节点转售商放在一起，都按今天 DeepSeek-V3.2 的最低市场价（输入 \$0.26/M、输出 \$0.38/M）[^openrouter]来算每卡时收入：
DeepSeek 与单节点转售商的每卡时收入 按 DeepSeek-V3.2 最低市价输入 0.26、输出 0.38 美元每百万 token 计：DeepSeek 全天平均每卡时收入 5.10 美元、成本 2 美元；8 卡 H200 单节点满载每卡时收入 1.75 美元，AWS 3 年承诺租金 3.42 美元。 DeepSeek 自营 · 2025-02-27 全天平均 单节点转售 · 每用户 45 tok/s（推算） H800 × 1,814 226.75 节点 输出吞吐 1,072 tok/s/卡 输入吞吐（56% 命中缓存） 3,880 tok/s/卡 每卡时收入 $5.10 每卡时成本 $2.00 自有卡 H200 × 8 1 节点 输出吞吐 ≈197 tok/s/卡 输入吞吐（8k:1k） ≈1,576 tok/s/卡 每卡时收入（满载） $1.75 每卡时成本 $3.42 / $7.91 同一个价格：DeepSeek 每卡时收 $5.10，单节点满载只收 $1.75。 右侧成本为 AWS 3 年承诺 / 按需；右侧输入占比更高，本来更有利于收入。
图 5 · 同一个模型、同一个价格，DeepSeek 的每卡时收入是单节点转售商的近 3 倍
同样的价格，DeepSeek 的一张卡每小时能收 5.10 美元，单节点转售商只有 1.75 美元，差了近 3 倍。 ### 原因：规模本身就是效率 差距主要来自三处。 **一是大规模专家并行。** DeepSeek-V3 是混合专家模型（MoE），每个 token 只用到 671B 参数中的约 37B。把专家分散到几十上百张卡上，每张卡只负责少数几个专家，批次可以做得非常大。DeepSeek 的解码节点每卡约 1,850 输出 tok/s[^deepseek-day6]，LMSYS 用 96 张 H100 复现，每张解码卡约 2,790 tok/s[^lmsys-ep]；而单节点 8 卡在每用户 45 tok/s 时只有约 197 输出 tok/s（由 InferenceX 的总吞吐按 8k / 1k 的比例折算，是推算）[^inferencex]。这种部署需要至少几十张卡起步，还要能把它们填满。 **二是缓存。** DeepSeek 当天 608B 输入 token 里有 56.3% 命中了磁盘上的 KV 缓存[^deepseek-day6]，这部分不用重新计算，成本几乎为零。智能体和编程工具的请求会反复带上同一段长前缀，命中率还能更高。小转售商如果没有按前缀路由的调度和大容量缓存，要么不给缓存价、丢掉这类客户，要么给了缓存价却吃不到命中。 **三是 GPU 成本和闲时填充。** DeepSeek 用的是自己的卡，2 美元 / 时是它给自己定的核算价；夜里流量低时，节点被调去做研究和训练，空闲不浪费[^deepseek-day6]。 另外，545% 是“利润 ÷ 成本”，不是毛利率；DeepSeek 自己也写明，网页和 App 免费、V3 比 R1 便宜、夜间打折，实际收入远低于这个理论值[^deepseek-day6]。 **规模、缓存、自有卡，小转售商一样都没有。那还有没有能赚钱的做法？** ## 七、什么情况下能赚钱 前面的账已经说明，**租云厂商的 GPU、部署一个热门开源模型、按 token 和市场最低价竞争**，在任何模型、任何卡、任何一家云上都是亏的，区别只是亏多少。要赚钱，就得改掉这句话里至少一个条件。 **不卖大家都在卖的模型。** 价格战只发生在同质化的商品上。客户自己微调的模型、多个 LoRA 适配器共用一张卡、某个行业专用的小模型，没有二十家供应商可比，可以按包时段的专属实例收费，把利用率风险交给客户。这时卖的已经不是 token，而是“替你把模型跑起来”。 **不按最低价卖，而按速度和可靠性卖。** 同样是 gpt-oss-120b，Cerebras 卖输入 \$0.35/M、输出 \$0.75/M，Groq 的 Llama 3.3 70B 卖 \$0.59/M 和 \$0.79/M，都是最低价的好几倍[^openrouter]。它们卖的是每秒几百上千 token 的出字速度。企业客户在云厂商自己的模型平台（Bedrock、Vertex、Azure AI Foundry）上也愿意多付钱，换来合规、账单合并和 SLA；但这部分溢价归云厂商，转售商很难插进去。 **换成本更低的 GPU，并把利用率填满。** 表 3 里能跨过常见价的都是 3 年承诺加 90% 利用率。要做到 90%，就得有稳定的基础流量：自己的产品本身要用、按五折卖 Batch 把夜里填满、或者从 GPU 云签长约而不是按需租。到这一步，生意的本质已经从“转售 API”变成“经营一个推理集群”。 **卖给云厂商价格够不着的市场。** 数据不能出境、要私有化部署、或者只能用某些国产卡的场景，客户比较的不是 OpenRouter 的最低价，而是自己搭一套的成本和人力。 ## 小结 1. **一张 GPU 一小时能卖多少钱？** 吞吐 × 3600 × 单价。按 NVIDIA 的最大负载吞吐和 Llama 3.3 70B 的最低市价，一张 H100 满载一小时只能卖 3.34 美元，AWS 按需租金是 6.88 美元。 2. **厂商吞吐能直接用吗？** 不能。最大负载下单用户速度只有个位数，线上要保证 30–50 tok/s，吞吐只剩厂商数字的五分之一到二分之一。 3. **利用率差在哪？** 容量按峰值准备，租金按 24 小时付。DeepSeek 自己也只用到峰值的 82%，小转售商在 30%–60% 更常见；竞价实例会被收回，撑不起在线服务。 4. **逐项测算的结论？** 按需租用、60% 利用率下，6 个模型 × 9 种卡 × 4 家云没有一个组合能达到市场最低价；签 3 年承诺、利用率 90% 时，也只有 B200 / H200 跑大模型能低于常见价。小模型怎么算都亏。 5. **市场最低价是谁定的？** 自有或长约 GPU（每卡时 1–2.5 美元）、吞吐接近厂商极限的厂商。同质化商品的价格向他们的边际成本收敛。 6. **DeepSeek 为什么能赚？** 大规模专家并行把每卡吞吐做到单节点的数倍，56% 的缓存命中，自有卡和闲时训练填充；545% 本身还是理论值。 7. **什么情况下能赚？** 不卖同质化模型、按速度和可靠性定价、用长约和稳定流量把利用率填满，或者卖给公开市场够不着的客户。 本文的测算脚本和三份调研笔记（云 GPU 价格、吞吐基准、API 市价）在项目共享目录里，每个数字都标了来源和是否核实。“线上可卖”的吞吐、阿里云 gn8v 的 GPU 型号和价格、30%–60% 的利用率区间都是推算，换成你自己的实测值，公式不变，结论可能会变。 ## 参考资料