按小時計費的 GPU，按 token 收錢 一張顯示卡上架著一個計程車計價器，一直在跳錶；顯示卡右側吐出一串小方塊 token，掉進一個幾乎空著的存錢罐。左側兩行字：租金每卡時 6.88 美元，售價每百萬 token 0.42 美元。 租金 $6.88/ 卡·時 售價 $0.42/ 百萬 token

開啟 OpenRouter 上 gpt-oss-120b 的頁面，下面列著二十多家供應商：Amazon Bedrock、Together、Groq、SiliconFlow 都標著每百萬輸入 token 0.15 美元、每百萬輸出 token 0.60 美元，最便宜的一家只要 0.03 和 0.15 美元1。同一時間，AWS 上一臺 8 卡 H100 的 p5.48xlarge 按需價是每小時 55.04 美元，攤到每張卡 6.88 美元2。

一邊是按小時計的租金，一邊是按百萬 token 計的售價，兩個數字放在一起看不出誰大誰小。這些供應商賣這個價，是在賺錢還是在燒錢？如果我們自己去 AWS、Azure、GCP 或阿里雲租幾張卡，裝上一個開源模型，再按 token 把 API 賣出去，這門生意能做嗎？換個模型、換張卡、換家雲，結論會不會不同？

本文就把這筆賬從一張卡、一小時算起，一層一層往外推。

先交代幾個後文反覆用到的詞。token 是模型讀寫文字的單位，一個漢字大約一到兩個 token。API 按輸入 token（使用者發過去的提示詞）和輸出 token（模型生成的回答）分別計價，單位是“美元 / 百萬 token”，下文簡寫成 $/M。吞吐指一張 GPU 每秒一共能生成多少 token（tok/s/GPU），單使用者速度指某一個使用者看到的出字速度（tok/s/user）。利用率是 GPU 實際在幹活的時間佔租用時間的比例。雲廠商的 GPU 有三種買法：按需隨租隨退、價格最高；承諾（AWS 叫 Savings Plan，Azure 叫預留，GCP 叫 CUD）籤 1 年或 3 年換折扣；競價（Spot）最便宜，但隨時可能被收回。

一、一張 GPU 一小時的賬

要比較租金和售價，得先把兩邊換成同一個單位。最直接的辦法是算一張 GPU 一小時能賣出多少錢：

每卡時收入=吞吐（tok/s）×3600×單價（美元/百萬 token）÷106\text{每卡時收入} = \text{吞吐（tok/s）} \times 3600 \times \text{單價（美元/百萬 token）} \div 10^6

吞吐從哪來？NVIDIA 在 TensorRT-LLM 的文件裡公佈了一組官方吞吐表，測的是 1024 個輸入 token、1024 個輸出 token 的請求，在最大負載下每張卡每秒能產出多少輸出 token3。我們先拿 Llama 3.3 70B 來算：它在 H100 上的數字是 2,209 tok/s/GPU。

售價取 OpenRouter 上 Llama 3.3 70B 的最低價，DeepInfra 的輸入 $0.10/M、輸出 $0.32/M1。因為測試請求的輸入和輸出一樣長，每產出 1 個輸出 token，也就同時收了 1 個輸入 token 的錢。

一張 H100 一小時的賬 AWS p5.48xlarge 每卡時 6.88 美元；Llama 3.3 70B 按 NVIDIA 最大負載吞吐 2,209 tok/s 跑一小時，產出 795 萬輸出 token 和同樣多的輸入 token，按 OpenRouter 最低價收入 3.34 美元，每卡時虧 3.54 美元。 租金 · AWS us-east-1 產出 · TensorRT-LLM 1k/1k 收入 · OpenRouter 最低價 例項 p5.48xlarge 按需價 $55.04/時 GPU 8 × H100 每卡時 $6.88 3 年承諾 $2.97 Llama 3.3 70B H100 輸出吞吐 2,209 tok/s × 3600 秒 輸出 7.95M token 輸入（1:1） 7.95M token DeepInfra $/M 輸出 × $0.32 $2.54 輸入 × $0.10 $0.80 合計 $3.34 按廠商極限吞吐跑滿一小時：收入 $3.34，租金 $6.88，每卡時虧 $3.54。
圖 1 · 即使按廠商測出的最高吞吐跑滿一小時，一張 AWS 按需 H100 賣 Llama 3.3 70B 的收入也只有租金的一半

結果是，即使按 NVIDIA 測出來的最高吞吐、一刻不停地跑滿一小時，這張卡也只能賣出 3.34 美元，而 AWS 按需租金是 6.88 美元。如果籤 3 年的 Savings Plan，每卡時降到 2.97 美元2，賬面上才勉強翻正。

這是一個最樂觀的上限：吞吐取廠商極限，利用率取 100%。這兩個假設線上上服務裡能成立嗎？

二、廠商吞吐與線上吞吐

現象：最大負載下每個使用者只看到個位數的速度

NVIDIA 的吞吐表是在“無限請求速率”下測的：請求源源不斷地湧進來，推理框架把儘可能多的請求塞進同一個批次一起算。文件裡附的一段示例輸出顯示，這時每個使用者看到的出字速度只有 5.47 tok/s，第一個字要等 52 秒才出來3。沒有哪個付費使用者會接受這樣的 API。

原因：批次越大，總吞吐越高，每個人越慢

GPU 生成一個 token 的主要時間花在把模型權重從視訊記憶體搬進計算單元。一個批次裡不管有 1 個請求還是 200 個請求，權重都只要搬一遍，所以批次越大，每搬一次能產出的 token 越多，總吞吐越高；代價是每一步要算的東西變多，每個請求輪到下一個 token 的間隔變長，單使用者速度下降。總吞吐和單使用者速度是此消彼長的。

SemiAnalysis 的 InferenceX 把這條曲線畫了出來。下圖是 DeepSeek-R1 在 8 卡 H100 和 8 卡 H200 上、8k 輸入 / 1k 輸出時，單使用者速度和每卡總吞吐的關係4：

單使用者速度與每卡吞吐 DeepSeek-R1 在 8k 輸入 1k 輸出時：H200 每卡總吞吐在單使用者 45 tok/s 時為 1,773，97 tok/s 時降到 758；H100 從 740 降到 154。 DeepSeek-R1 · 8k 輸入 / 1k 輸出 · 8 卡單節點 0 500 1,000 1,500 2,000 40 60 80 100 單使用者速度（tok/s/user） 每卡總吞吐（tok/s，輸入 + 輸出） 1,773 974 758 H200 740 281 154 H100 單使用者速度翻一倍： H200 每卡吞吐剩 43% H100 只剩 21% 線上 API 一般要給 每使用者 30–100 tok/s； 廠商最大負載測試裡 只有約 5 tok/s。
圖 2 · 總吞吐和單使用者速度此消彼長：給每個使用者的速度翻一倍，每卡能賣的 token 少一半以上（資料：SemiAnalysis InferenceX）

把單使用者速度從 45 tok/s 提到 97 tok/s，H200 每卡吞吐從 1,773 掉到 758，H100 從 740 掉到 154。而線上 API 一般要給使用者 30–100 tok/s 的速度，DeepSeek 自己的線上服務是每使用者 20–22 tok/s5。

解決：按線上能賣的吞吐重新取值

所以測算不能直接用廠商的極限數字。我們把每個模型在每種卡上的吞吐分成兩檔：一檔是廠商表裡的最大負載36，一檔是在每使用者約 30–50 tok/s 的條件下能賣出去的吞吐。後者沒有統一的公開基準，是我們參照 InferenceX、MLPerf 的 server 場景和幾家框架的實測推算出來的，只能當量級看。

輸出吞吐（tok/s/GPU，1k 輸入 / 1k 輸出）
GPU廠商最大負載線上可賣（推算）
Llama 3.1 8B
H10015,2454,500
A1003,7872,000
L40S4,0551,500
L4 / A10G約 1,500 / 2,500750 / 900
gpt-oss-20b
H10011,5574,000
gpt-oss-120b
H1004,6851,000
H2006,8681,450
B20025,9435,500
Llama 3.3 70B
H1002,209450
H2002,5871,200
B2006,9203,000
A100約 480200
Qwen3-235B-A22B
H1001,932750
H2003,2881,200
B2005,7642,500
DeepSeek-V3 / R1
H2001,627500
B2006,4632,000

最大負載取自 TensorRT-LLM 官方效能表（A100、L40S 取 v0.17 版，L4 / A10G 按視訊記憶體頻寬推算）。線上可賣一列參照 InferenceX、MLPerf server 場景和幾家框架實測推算，只代表量級。

表 1 · 線上要保證每個使用者的出字速度，能賣出去的吞吐只有廠商數字的五分之一到二分之一

線上可賣的吞吐大約只有廠商數字的五分之一到二分之一。拿 Llama 3.3 70B 在 H100 上的 450 tok/s 重算圖 1 的賬，滿載一小時只能賣 0.68 美元，連 3 年承諾價的四分之一都不到。

吞吐打了折，那利用率呢？租來的 GPU 每一小時都要付錢，使用者卻不會每一小時都來。

三、利用率：按小時付租金，按 token 收錢

現象：流量有明顯的忙閒

大模型 API 的流量跟著人的作息走。DeepSeek 把工作日北京時間 9–12 點、14–18 點定為忙時，其他時段半價7；阿里雲百鍊的 Batch 呼叫打五折，相當於把閒時的算力折價賣掉8。DeepSeek 公佈的一天裡，推理節點峰值 278 臺，全天平均 226.75 臺5。

原因：容量要按峰值準備，租金按 24 小時付

API 必須在峰值時也接得住請求，所以租多少卡要按峰值算；而租金是 24 小時連續計費的，流量低的時候卡空著也照樣收錢。

容量按峰值，流量有忙閒 一天 24 小時的請求量示意：工作日上午和下午是忙時，夜裡低谷。租用的 GPU 按峰值準備，24 小時計費，曲線和容量線之間的部分是付了錢卻沒有收入的時間。 一天的請求量（示意） 忙時 9–12 忙時 14–18 0:00 6:00 12:00 18:00 24:00 租用容量：按峰值準備，24 小時計費 實際請求：只有這部分有收入 DeepSeek 2025-02-27： 峰值 278 臺 平均 226.75 臺 平均 / 峰值 = 82% 夜裡空出來的節點 被調去做訓練。 曲線形狀是示意， 右側數字是實測。
圖 3 · 容量按峰值租、租金按 24 小時付，流量低谷裡的 GPU 時間照樣要付錢

DeepSeek 平均只用到峰值的 82%，而這還是在它夜裡把空出來的節點拿去做訓練的情況下5。一個剛起步的轉售商，客戶少、流量更不平滑，也沒有自己的訓練任務可以填空，平均利用率落在 30%–60% 是常見的情況（這是推斷，沒有找到公開的統計）。Galaxy Research 算過一個例子：一張租價 2.74 美元 / 時的 H100 按 0.90 美元 / 百萬 token 賣，盈虧平衡要求利用率約 85%9。

第一次嘗試：用競價例項壓租金

競價例項的價格從按需的兩成到六成不等（H100 的 Spot 在 GCP 是 6.27 美元 / 卡·時，在 Azure 只要 2.27 美元）1011，看上去能把租金砍掉一大截。問題是雲廠商隨時可能收回競價例項，收回時正在生成的請求全部中斷，而大模型的權重動輒幾十到幾百 GB，換一臺機器重新載入要好幾分鐘。對一個承諾了可用性的 API 來說，競價例項只能用來跑能重試的離線批處理，撐不起線上服務。

解決：把吞吐和利用率一起放進公式

每百萬輸出 token 的成本=每卡時租金線上吞吐×3600×利用率×106\text{每百萬輸出 token 的成本} = \frac{\text{每卡時租金}}{\text{線上吞吐} \times 3600 \times \text{利用率}} \times 10^6

這個成本要和“每百萬輸出 token 的收入”比。按 1:1 的輸入輸出比，收入就是輸出價加上輸入價。下面把它鋪開到所有組合。

四、按模型、機器和雲廠商逐項測算

測算假設

  • 模型：6 個開源模型，從 80 億引數的 Llama 3.1 8B，到 OpenAI 開源的 gpt-oss-20b / 120b、Llama 3.3 70B、Qwen3-235B-A22B，再到 6710 億引數的 DeepSeek-V3.2。
  • 租金：AWS us-east-1、Azure East US、GCP us-central1 的官方價，2026-10-20 取數21110。阿里雲國內不賣 H100 / H200，可買到的是 96GB 視訊記憶體的 gn8v（與 H20 吻合，推斷）、L20 和 A1012；價格取自阿里雲開發者社群的非官方整理和 sparecores，按 7.1 元 / 美元換算，包月價當作它的承諾價13。
  • 吞吐：表 1 的“線上可賣”一列。
  • 售價：OpenRouter 上該模型的最低價和幾家主流供應商的常見價，輸入輸出按 1:1 合計1。
  • 不計入的成本：頻寬、儲存、負載均衡、運維人力、支付手續費、獲客。這些只會讓結論更差。

按需租用、利用率 60%

每百萬輸出 token 的成本（美元，按需價，利用率 60%）
GPUAWSAzureGCP阿里雲
Llama 3.1 8B · 市價 0.06–0.13
H1000.711.261.14—
L4 / A100.491.650.520.75
gpt-oss-20b · 市價 0.17–0.22
H100（阿里雲 L20）0.801.421.280.94
gpt-oss-120b · 市價 0.18–0.75
H1003.195.695.12—
B2001.20—0.68—
Llama 3.3 70B · 市價 0.42–1.38
H1007.0812.6411.38—
H2003.054.094.09—
B2002.20—1.24—
Qwen3-235B-A22B · 市價 0.64–0.80
H200（阿里雲 H20）3.054.094.095.86
B2002.64—1.49—
DeepSeek-V3.2 · 市價 0.64–2.24
H200（阿里雲 H20）7.329.819.819.37
B2003.30—1.87—

成本含同等數量的輸入 token；市價為 OpenRouter 最低價–常見價（輸入 + 輸出）。紅：高於常見價；琥珀：介於兩者之間；綠：低於最低價。GCP 的 B200 沒有普通按需價，取 DWS Flex-start；Azure 沒有 B200 普通例項，GCP 沒有 A10。

表 2 · 按需租卡、60% 利用率，沒有一個組合能做到市場最低價

紅色的格子表示成本高於這個模型的常見售價，琥珀色表示低於常見價、但仍高於最低價，綠色表示比最低價還便宜。表裡沒有一個綠色格子，琥珀色的也只出現在 B200 上。按需租卡賣 Llama 3.1 8B，每百萬 token 的成本是售價的 4 到 27 倍；賣 Llama 3.3 70B 和 DeepSeek，在 H100 / H200 上成本是常見價的 2 到 9 倍。

幾家雲之間差得也不小。AWS 在 2025 年 6 月把 P5 的按需價從 98.32 美元 / 時降到 55.04 美元14，Azure 的 ND H100 v5 至今還是 98.32 美元11，同樣一張 H100，Azure 比 AWS 貴 79%。阿里雲 gn8v 的每卡時價格只比 AWS 的 H100 便宜四分之一（它用的應該是 H20，這是推斷），算力卻弱得多，跑 DeepSeek 反而是表裡最貴的之一。

籤 3 年承諾、利用率做到 90%

按需價本來就不是給長期線上服務準備的。我們換到最有利的一端：籤 3 年承諾價，再假設流量足夠平穩，利用率做到 90%。

每百萬輸出 token 的成本（美元，3 年承諾價，利用率 90%）
GPUAWSAzureGCP阿里雲
Llama 3.1 8B · 市價 0.06–0.13
H1000.200.370.33—
L4 / A100.150.480.160.32
gpt-oss-20b · 市價 0.17–0.22
H100（阿里雲 L20）0.230.420.380.41
gpt-oss-120b · 市價 0.18–0.75
H1000.921.671.50—
B2000.35—0.40—
Llama 3.3 70B · 市價 0.42–1.38
H1002.043.703.33—
H2000.881.361.20—
B2000.63—0.73—
Qwen3-235B-A22B · 市價 0.64–0.80
H200（阿里雲 H20）0.881.361.202.57
B2000.76—0.88—
DeepSeek-V3.2 · 市價 0.64–2.24
H200（阿里雲 H20）2.113.262.874.11
B2000.95—1.09—

承諾價：AWS 為 EC2 Instance Savings Plan 3 年無預付，Azure 為 3 年預留，GCP 為 3 年 CUD；阿里雲取包月價（公開的年付價沒有額外折扣）。配色同表 2。

表 3 · 籤 3 年承諾、利用率做到 90%，也只有 B200 / H200 跑大模型能低於常見價，仍然沒有一格低於最低價

即使到了這一步，依然沒有一個組合能做到比市場最低價還便宜。能跨過“常見價”這條線的，基本都是 B200 和 H200 這類新卡跑大模型的組合，比如 AWS 上 3 年承諾的 B200 跑 gpt-oss-120b，每百萬 token 成本 0.35 美元，低於常見價 0.75 美元。但這需要先簽下一份 3 年、8 卡、總價約 130 萬美元的合約（6.15 美元 × 8 卡 × 26,280 小時），再保證三年裡每天 90% 的時間都有人在呼叫。小模型這一端更難：Llama 3.1 8B 和 gpt-oss-20b 用任何卡、任何承諾價，成本都在常見價之上。

既然按雲廠商的價格怎麼算都虧，市場上那些更低的價格又是怎麼定出來的？

五、市場最低價的來源

倒推：最低價需要多便宜的 GPU

我們把問題倒過來問：按每個模型在 OpenRouter 上的最低價賣，一張 H100（DeepSeek 用 H200）滿載一小時能收多少錢？再把幾種 GPU 來源的每卡時成本畫成豎線，看收入能越過哪一條。

按最低市價，一張卡一小時能收多少錢 六個模型按 OpenRouter 最低價、滿載一小時的每卡收入：按線上可賣吞吐 0.65 到 2.45 美元，按廠商最大負載吞吐 3 到 7 美元；對照自有 H100 總成本 1.17 美元、DeepInfra 出租價 2.20 美元、AWS 3 年承諾價 2.97 美元和按需價 6.88 美元。 滿載一小時的每卡收入（美元，最低市價，輸入輸出 1:1） 自有 TCO $1.17 DeepInfra 出租 $2.20 AWS 3 年 $2.97 AWS 按需 $6.88 Llama 3.1 8B H100 · $0.06 0.97 / 3.29 gpt-oss-20b H100 · $0.17 2.45 / 7.07 gpt-oss-120b H100 · $0.18 0.65 / 3.04 Llama 3.3 70B H100 · $0.42 0.68 / 3.34 Qwen3-235B-A22B H100 · $0.64 1.73 / 4.45 DeepSeek-V3.2 H200 · $0.64 1.15 / 3.75 線上可賣吞吐（每使用者約 30–50 tok/s） 虛線框：廠商最大負載吞吐，線上賣不到
圖 4 · 按線上能賣的吞吐，最低市價連自有 H100 的成本都不一定覆蓋；只有接近廠商極限的吞吐加上 1–2.5 美元的卡，才能撐起這個價格

按線上可賣的吞吐（實心條），最低價每卡時只能收 0.65 到 2.45 美元，大多數連 SemiAnalysis 估算的自有 H100 總成本（TCO）1.17 美元都不到4。只有按廠商極限吞吐（空心條）去跑，收入才落在 3 到 7 美元一檔，越過 DeepInfra 出租 H100 的 2.20 美元15和 AWS 3 年承諾價的 2.97 美元。

這說明兩件事。第一，掛出最低價的那幾家，GPU 成本不是按雲廠商的價目表算的：它們要麼自己買卡、自己建機房，要麼從 CoreWeave、Lambda 這類 GPU 雲籤長約，每卡時成本在 1–2.5 美元。即使是按需價，這類 GPU 雲也比三大雲便宜得多：H100 在 Lambda 是 3.99 美元16，在 RunPod 社群版是 2.69 美元17。DeepInfra 本身就同時在出租 H100（2.20 美元 / 時）和賣 token15，出租價就是它願意讓出這張卡的機會成本。第二，它們的吞吐必須接近廠商極限：這要求把很多客戶的請求合進同一個大批次，單使用者速度壓得比較低，或者在排程、量化、推測解碼上做大量工程。

原因：同質化的商品，價格向邊際成本收斂

同一個開源模型，不管誰來託管，輸出的東西幾乎一樣，使用者換供應商只要改一行 base URL。OpenRouter 的預設路由按價格平方的倒數分配流量，價格降一半，分到的流量大約變成 4 倍9。在這樣的市場裡，價格會一路向成本最低那一家的邊際成本靠攏：有自有 GPU、閒置算力要消化的廠商，願意按略高於電費和折舊的價格賣。2023 年底 Mixtral 價格戰時，SemiAnalysis 就算過幾乎所有開源模型託管商都在虧錢18。

那 DeepSeek 自己公佈的 545% 利潤率，又是怎麼回事？

六、DeepSeek 的 545% 從哪來

現象：同樣的模型，DeepSeek 每卡時收入高出幾倍

DeepSeek 在 2025 年 3 月公佈了一天的推理賬本：平均 226.75 臺 8 卡 H800 節點，按每卡時 2 美元算日成本 87,072 美元；如果當天所有 token 都按 R1 的價格收費，理論收入是 562,027 美元，成本利潤率 545%5。

我們用同樣的方法，把 DeepSeek 的全天平均吞吐和一個單節點轉售商放在一起，都按今天 DeepSeek-V3.2 的最低市場價（輸入 $0.26/M、輸出 $0.38/M）1來算每卡時收入：

DeepSeek 與單節點轉售商的每卡時收入 按 DeepSeek-V3.2 最低市價輸入 0.26、輸出 0.38 美元每百萬 token 計：DeepSeek 全天平均每卡時收入 5.10 美元、成本 2 美元；8 卡 H200 單節點滿載每卡時收入 1.75 美元，AWS 3 年承諾租金 3.42 美元。 DeepSeek 自營 · 2025-02-27 全天平均 單節點轉售 · 每使用者 45 tok/s（推算） H800 × 1,814 226.75 節點 輸出吞吐 1,072 tok/s/卡 輸入吞吐（56% 命中快取） 3,880 tok/s/卡 每卡時收入 $5.10 每卡時成本 $2.00 自有卡 H200 × 8 1 節點 輸出吞吐 ≈197 tok/s/卡 輸入吞吐（8k:1k） ≈1,576 tok/s/卡 每卡時收入（滿載） $1.75 每卡時成本 $3.42 / $7.91 同一個價格：DeepSeek 每卡時收 $5.10，單節點滿載只收 $1.75。 右側成本為 AWS 3 年承諾 / 按需；右側輸入佔比更高，本來更有利於收入。
圖 5 · 同一個模型、同一個價格，DeepSeek 的每卡時收入是單節點轉售商的近 3 倍

同樣的價格，DeepSeek 的一張卡每小時能收 5.10 美元，單節點轉售商只有 1.75 美元，差了近 3 倍。

原因：規模本身就是效率

差距主要來自三處。

一是大規模專家並行。 DeepSeek-V3 是混合專家模型（MoE），每個 token 只用到 671B 引數中的約 37B。把專家分散到幾十上百張卡上，每張卡只負責少數幾個專家，批次可以做得非常大。DeepSeek 的解碼節點每卡約 1,850 輸出 tok/s5，LMSYS 用 96 張 H100 復現，每張解碼卡約 2,790 tok/s19；而單節點 8 卡在每使用者 45 tok/s 時只有約 197 輸出 tok/s（由 InferenceX 的總吞吐按 8k / 1k 的比例折算，是推算）4。這種部署需要至少幾十張卡起步，還要能把它們填滿。

二是快取。 DeepSeek 當天 608B 輸入 token 裡有 56.3% 命中了磁碟上的 KV 快取5，這部分不用重新計算，成本幾乎為零。智慧體和程式設計工具的請求會反覆帶上同一段長字首，命中率還能更高。小轉售商如果沒有按字首路由的排程和大容量快取，要麼不給快取價、丟掉這類客戶，要麼給了快取價卻吃不到命中。

三是 GPU 成本和閒時填充。 DeepSeek 用的是自己的卡，2 美元 / 時是它給自己定的核算價；夜裡流量低時，節點被調去做研究和訓練，空閒不浪費5。

另外，545% 是“利潤 ÷ 成本”，不是毛利率；DeepSeek 自己也寫明，網頁和 App 免費、V3 比 R1 便宜、夜間打折，實際收入遠低於這個理論值5。

規模、快取、自有卡，小轉售商一樣都沒有。那還有沒有能賺錢的做法？

七、什麼情況下能賺錢

前面的賬已經說明，租雲廠商的 GPU、部署一個熱門開源模型、按 token 和市場最低價競爭，在任何模型、任何卡、任何一家雲上都是虧的，區別只是虧多少。要賺錢，就得改掉這句話裡至少一個條件。

不賣大家都在賣的模型。 價格戰只發生在同質化的商品上。客戶自己微調的模型、多個 LoRA 介面卡共用一張卡、某個行業專用的小模型，沒有二十家供應商可比，可以按包時段的專屬例項收費，把利用率風險交給客戶。這時賣的已經不是 token，而是“替你把模型跑起來”。

不按最低價賣，而按速度和可靠性賣。 同樣是 gpt-oss-120b，Cerebras 賣輸入 $0.35/M、輸出 $0.75/M，Groq 的 Llama 3.3 70B 賣 $0.59/M 和 $0.79/M，都是最低價的好幾倍1。它們賣的是每秒幾百上千 token 的出字速度。企業客戶在雲廠商自己的模型平臺（Bedrock、Vertex、Azure AI Foundry）上也願意多付錢，換來合規、賬單合併和 SLA；但這部分溢價歸雲廠商，轉售商很難插進去。

換成本更低的 GPU，並把利用率填滿。 表 3 裡能跨過常見價的都是 3 年承諾加 90% 利用率。要做到 90%，就得有穩定的基礎流量：自己的產品本身要用、按五折賣 Batch 把夜裡填滿、或者從 GPU 雲籤長約而不是按需租。到這一步，生意的本質已經從“轉售 API”變成“經營一個推理叢集”。

賣給雲廠商價格夠不著的市場。 資料不能出境、要私有化部署、或者只能用某些國產卡的場景，客戶比較的不是 OpenRouter 的最低價，而是自己搭一套的成本和人力。

小結

  1. 一張 GPU 一小時能賣多少錢？ 吞吐 × 3600 × 單價。按 NVIDIA 的最大負載吞吐和 Llama 3.3 70B 的最低市價，一張 H100 滿載一小時只能賣 3.34 美元，AWS 按需租金是 6.88 美元。
  2. 廠商吞吐能直接用嗎？ 不能。最大負載下單使用者速度只有個位數，線上要保證 30–50 tok/s，吞吐只剩廠商數字的五分之一到二分之一。
  3. 利用率差在哪？ 容量按峰值準備，租金按 24 小時付。DeepSeek 自己也只用到峰值的 82%，小轉售商在 30%–60% 更常見；競價例項會被收回，撐不起線上服務。
  4. 逐項測算的結論？ 按需租用、60% 利用率下，6 個模型 × 9 種卡 × 4 家雲沒有一個組合能達到市場最低價；籤 3 年承諾、利用率 90% 時，也只有 B200 / H200 跑大模型能低於常見價。小模型怎麼算都虧。
  5. 市場最低價是誰定的？ 自有或長約 GPU（每卡時 1–2.5 美元）、吞吐接近廠商極限的廠商。同質化商品的價格向他們的邊際成本收斂。
  6. DeepSeek 為什麼能賺？ 大規模專家並行把每卡吞吐做到單節點的數倍，56% 的快取命中，自有卡和閒時訓練填充；545% 本身還是理論值。
  7. 什麼情況下能賺？ 不賣同質化模型、按速度和可靠性定價、用長約和穩定流量把利用率填滿，或者賣給公開市場夠不著的客戶。

本文的測算指令碼和三份調研筆記（雲 GPU 價格、吞吐基準、API 市價）在專案共享目錄裡，每個數字都標了來源和是否核實。“線上可賣”的吞吐、阿里雲 gn8v 的 GPU 型號和價格、30%–60% 的利用率區間都是推算，換成你自己的實測值，公式不變，結論可能會變。

參考資料

參考資料

  1. OpenRouter Models（各模型的供應商與價格）OpenRouter · 2026-10-20openrouter.ai ↗透過公開介面 api/v1/models/<model>/endpoints 讀取每家供應商的輸入 / 輸出價格，2026-10-20 取數。https://openrouter.ai/models ↩ ↩2 ↩3 ↩4 ↩5

  2. Amazon EC2 On-Demand PricingAWS · 2026-10-20aws.amazon.com ↗us-east-1；p5.48xlarge 55.04 美元/時、p6-b200 113.93 美元/時；摺合每卡時 H100 6.88、H200（p5en）7.91、B200 14.24、A100（p4de）3.43、L40S（g6e）1.86、L4（g6）0.80、A10G（g5）1.01 美元。3 年價取 EC2 Instance Savings Plan（無預付），資料來自 AWS 官方價格 JSON（2026-10-13 釋出）。https://aws.amazon.com/ec2/pricing/on-demand/ ↩ ↩2 ↩3

  3. TensorRT-LLM Performance OverviewNVIDIA · 2026-10-20nvidia.github.io ↗1024 輸入 / 1024 輸出、最大負載下的輸出 tok/s/GPU；文件示例裡單使用者速度只有 5.47 tok/s。https://nvidia.github.io/TensorRT-LLM/developer-guide/perf-overview.html ↩ ↩2 ↩3

  4. InferenceX：DeepSeek-R1 H100 vs H200SemiAnalysis · 2026-10-20inferencex.semianalysis.com ↗8k 輸入 / 1k 輸出；縱軸是輸入 + 輸出的總 tok/s/GPU；成本按自有 GPU 的 TCO 算（H100 1.17 美元/時、H200 1.22 美元/時、B200 1.73 美元/時）。https://inferencex.semianalysis.com/compare/deepseek-r1-h100-vs-h200 ↩ ↩2 ↩3

  5. DeepSeek-V3 / R1 Inference System OverviewDeepSeek / GitHub · 2025-03-01github.com ↗統計視窗 2025-02-27 12:00 至 02-28 12:00；平均 226.75 臺節點（峰值 278）；日輸入 608B（56.3% 命中快取）、輸出 168B；按 2 美元/卡·時 日成本 87,072 美元，理論日收入 562,027 美元，成本利潤率 545%。https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

  6. TensorRT-LLM Performance Overview（v0.17）NVIDIA / GitHubgithub.com ↗Llama 3.1 8B 在 L40S、A100 上的吞吐，以及 Llama 70B 在 A100 上的吞吐。https://github.com/NVIDIA/TensorRT-LLM/blob/v0.17.0/docs/source/performance/perf-overview.md ↩

  7. DeepSeek API 模型與價格DeepSeek · 2026-10-20api-docs.deepseek.com ↗忙時為工作日北京時間 9:00–12:00、14:00–18:00，閒時半價。https://api-docs.deepseek.com/zh-cn/quick_start/pricing ↩

  8. 阿里雲百鍊 模型價格阿里雲 · 2026-10-20help.aliyun.com ↗Batch 呼叫五折；快取命中的輸入按輸入價的 10% 計。https://help.aliyun.com/zh/model-studio/model-pricing ↩

  9. The Inference Market and Its Micro-StructureGalaxy Research · 2026-08-11galaxy.com ↗一張租價 2.74 美元/時 的 H100 按 0.90 美元/百萬 token 賣，盈虧平衡利用率約 85%；OpenRouter 預設路由按價格平方的倒數分配流量。https://www.galaxy.com/insights/perspectives/inference-market-and-micro-structure ↩ ↩2

  10. Accelerator-optimized machine family pricingGoogle Cloud · 2026-10-20cloud.google.com ↗us-central1；a3-highgpu-8g（H100）、a3-ultragpu-8g（H200）、a2-ultragpu-8g（A100）、g2（L4）。a4-highgpu-8g（B200）沒有普通按需價，文中“按需”取 DWS Flex-start 8.06 美元/卡·時。https://cloud.google.com/products/compute/pricing/accelerator-optimized ↩ ↩2

  11. Azure Retail Prices APIMicrosoft Azure · 2026-10-20prices.azure.com ↗East US（H200 為 East US 2）；ND H100 v5 仍為 98.32 美元/時；預留價按總價折成每小時。https://prices.azure.com/api/retail/prices ↩ ↩2 ↩3

  12. GPU 計算型例項規格族阿里雲幫助中心 · 2026-10-20help.aliyun.com ↗gn8v / ebmgn8v 為 96GB HBM3（文件沒寫 GPU 型號，與 H20 吻合，這是推斷）；gn8is 為 L20；gn7i 為 A10。https://help.aliyun.com/zh/egs/gpu-accelerated-compute-optimized-instance-families ↩

  13. 阿里雲 GPU 伺服器價格表（gn8v、gn8is 等）阿里雲開發者社群 · 2025-09-12developer.aliyun.com ↗非官方整理：gn8v-8x.48xlarge ¥287.5/時、包月 ¥138,000；gn8is-8x.32xlarge ¥115.32/時、包月 ¥55,354；未註明地域。A10（gn7i）杭州價取自 sparecores.com。按 7.1 元/美元換算。https://developer.aliyun.com/article/1681412 ↩

  14. Announcing up to 45% price reduction for Amazon EC2 NVIDIA GPU-accelerated instancesAWS News Blog · 2025-06aws.amazon.com ↗P5 按需價從 98.32 美元/時 降到 55.04 美元/時。https://aws.amazon.com/blogs/aws/announcing-up-to-45-price-reduction-for-amazon-ec2-nvidia-gpu-accelerated-instances/ ↩

  15. DeepInfra PricingDeepInfra · 2026-10-20deepinfra.com ↗既賣 token 也出租 GPU：H100 2.20 美元/時、H200 2.69 美元/時、B200 3.69 美元/時。https://deepinfra.com/pricing ↩ ↩2

  16. Lambda PricingLambda · 2026-10-20lambda.ai ↗8×H100 SXM 3.99 美元/卡·時。https://lambda.ai/pricing ↩

  17. RunPod PricingRunPod · 2026-10-20runpod.io ↗H100 SXM Community 2.69 美元/時、Secure 3.99 美元/時。https://www.runpod.io/pricing ↩

  18. Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUsLMSYS · 2025-05-05lmsys.org ↗每節點 52.3k 輸入 tok/s、22.3k 輸出 tok/s，約 0.20 美元/百萬輸出 token。https://lmsys.org/blog/2025-05-05-large-scale-ep/ ↩

延伸閱讀