從一張顯示卡到一整櫃算力 一排硬體像臺階一樣由矮到高排開：單風扇的小顯示卡、三風扇的大顯示卡、一臺金色的小主機、一臺塔式工作站、一整個伺服器機櫃，一條虛線價格曲線沿著它們的頂端陡峭上升；左側寫著 249 美元到 9.3 萬美元。 249 美元 · 一張入門顯示卡 93,000 美元 · 一臺桌面 AI 主機

最近想把手頭能買到的顯示卡、算力卡和 AI 小主機排一張表，比一比價格和效能。開啟幾家的價格頁和規格頁，還沒開始比，就先撞上三個怪現象：

  • 同一張卡有好幾個算力數字。 RTX 5090 的規格表上，104.8、209.5、419、838、1676、3352 都寫著 TFLOPS 或 TOPS，最大和最小差了 32 倍。
  • 標價不算數。 RTX 5090 首發價 1,999 美元，2026 年 10 月美國零售在 5,000 到 8,600 美元之間12；DGX Spark 去年 3,999 美元上市，今年 2 月漲到 4,699，10 月又漲到 6,95034。
  • 貴十倍，算力只多幾倍。 一張 H100 要兩三萬美元，稠密 BF16 算力 989 TFLOPS；一張 RTX 5090 按首發價只要它的十幾分之一，同口徑算力是 209.5，H100 只多不到 5 倍56。

於是有幾個問題要先回答：

  1. 這麼多算力數字，到底該拿哪個來比？
  2. 除了算力，還要看什麼？
  3. 消費級顯示卡之間，價格和效能是什麼關係？標價為什麼全失真了？
  4. 資料中心的算力卡貴十倍，多出來的錢買到了什麼？
  5. 國產算力卡處在什麼位置？
  6. DGX Spark、Mac Studio、Strix Halo 這類小主機，憑什麼能跑顯示卡跑不了的大模型？

本文不按“型號清單”來寫，而是順著這幾個問題，一層一層把這張表建起來。價格時點統一取 2026 年 10 月中下旬；資料中心卡沒有公開標價，用的是市場估算和租價指數。

一、算力數字的口徑

現象：一張卡，六個數字

把 RTX 5090 白皮書附錄裡的規格表摘出來6：

一張 RTX 5090 的六個算力數字 從 FP32 非張量的 104.8 TFLOPS，到 BF16 張量 FP32 累加 209.5、FP16 累加 419、FP8 838、FP4 1676、FP4 稀疏 3352，每一級翻一倍；本文統一使用 BF16 張量 FP32 累加的稠密口徑。 RTX 5090 規格表上的算力（TFLOPS / TOPS，均為同一顆 GB202） FP32 · 非張量核心 104.8 BF16 張量 · FP32 累加 209.5 ← 本文表格統一用這個口徑 FP16 張量 · FP16 累加 419 FP8 張量 838 FP4 張量 1676 FP4 張量 · 2:4 稀疏（宣傳的 AI TOPS） 3352 往下每一行都是上一行的兩倍：精度減半，吞吐翻倍；2:4 稀疏再按“跳過一半的零”算一次翻倍。
圖 1 · 同一顆晶片，規格表上的“算力”差 32 倍，差別全在精度、累加方式和是否算稀疏

原因：精度、累加和稀疏，各翻一倍

這六個數字都不是假的，它們描述的是同一組電路在不同條件下的吞吐。

精度每減半，吞吐翻一倍。 張量核心一次搬進來的位數是固定的，數從 16 位換成 8 位、4 位，一次就能多塞一倍、兩倍的數，乘加次數也跟著翻。

累加精度也算一檔。 矩陣乘是“乘完再加起來”，加的那一步可以用 16 位，也可以用 32 位。訓練和大多數推理框架都用 32 位累加，數值更穩。GeForce 卡上用 32 位累加時，速率被砍成一半（5090 的 419 變成 209.5）；資料中心卡和專業卡沒有這刀，所以它們規格表上的 BF16 本來就是 32 位累加的口徑。

稀疏是一種“打折演算法”。 2:4 結構化稀疏要求每 4 個權重裡有 2 個是零，硬體跳過這兩個，於是標稱再翻倍。可真實模型的權重很少是這樣排的，日常跑推理基本吃不到這一倍。

不同廠商連“同一個口徑”都寫法不同。 AMD 的 Radeon AI PRO R9700，技嘉規格頁寫 FP16 峰值 95.7 TFLOPS，那是向量單元；矩陣單元的稠密值約 191，算稀疏約 3837。同一張卡，在三個網頁上能看到三個差一倍的數。

第一次嘗試：直接比宣傳數字

最省事的辦法是拿各家首頁上最大的那個數比。可是 NVIDIA 消費卡首頁寫的是 FP4 稀疏，資料中心卡常寫 FP8 稀疏，AMD 寫的是 INT4 或 FP16 稀疏，國產卡多寫 FP16 稠密或 INT8。拿這些直接比，等於拿米和尺比長短。

而且紙面數字本身也未必跑得出來。DGX Spark 標稱 1 PFLOPS（FP4 稀疏），按 4 倍換算回 BF16 稠密約 125 TFLOPS；John Carmack 和 MLX 的負責人 Awni Hannun 實測 BF16 都只有 60 TFLOPS 左右8。另一邊，有人用原生 FP4 指令測到了 511 稠密、1,014 稀疏，和標稱對得上9。紙面數字是“某條最快的路徑上能跑到的峰值”，換一條路徑就是另一回事。

解決：統一到“稠密 BF16 / FP16，FP32 累加”

本文所有表格的算力列，統一取稠密（不算稀疏）的 BF16 / FP16 張量算力，按 32 位累加。選它有三個理由：幾乎每家都支援這個精度；訓練和高質量推理都用它；把稀疏和累加兩個“翻倍開關”關掉，各家數字才站在同一條線上。FP8、FP4 只在單獨一列或注裡出現。

AMD 和 Intel 的消費卡沒有公開區分累加精度，取的是廠商給的矩陣稠密值；國產卡取廠商公佈的 FP16 稠密值。這兩類和 NVIDIA 的數字之間仍然可能差一檔，這是推斷，比較時要留餘量。

口徑統一了，可光看算力就夠了嗎？

二、算力之外的兩把尺子

現象：算力強五倍，生成速度卻差不多

同樣跑一個裝得下的模型，一個人用、一個字一個字往外吐，H100 並不比一張 5090 快多少。原因在前一篇文章裡拆過：單使用者逐 token 生成時，每吐一個 token 都要把模型權重從視訊記憶體完整讀一遍，計算單元大部分時間在等資料10。

原因：三種活，各卡在一處

把大模型相關的工作粗分成三種，它們各自看的尺子不一樣：

  1. 裝不裝得下，看視訊記憶體容量。 一個 700 億引數的模型按 4 位量化也要 35GB 以上，再加上下文的 KV 快取。裝不下，要麼切到好幾張卡上，要麼根本跑不了。
  2. 單人對話吐字快不快，看視訊記憶體頻寬。 每秒生成的 token 數，上限大約是 带宽 ÷ 每个 token 要读的字节数。
  3. 讀長文件、批次服務、訓練，看算力。 預填充（一次讀進一大段提示詞）和訓練是一次處理很多 token，權重讀一次可以用很多次，這時瓶頸才回到算力上。

所以後面每張表都有三列：容量、頻寬、算力，再加上價格。哪一列要緊，取決於你買它來幹什麼。

先從最熟悉的消費級顯示卡看起。

三、消費級與工作站顯示卡

現象：一張表，三家廠商

消費級與工作站顯示卡（價格單位：美元，參考價為 2026 年 10 月美國零售）
型號視訊記憶體 GB頻寬 GB/sBF16 稠密 TFLOPS首發價10 月參考價
NVIDIA GeForce RTX 50
RTX 5090321,792209.51,9995,000–8,600
RTX 508016960112.69991,600–1,900
RTX 5070 Ti1689687.9749約 1,230
RTX 50701267261.7549約 900
RTX 5060 Ti 16G1644847.4429—
AMD / Intel
RX 9070 XT16640約 195599750–830
Radeon AI PRO R970032640約 1911,299約 1,190–1,300
Arc B58012456約 117249缺貨 / 約 330
Arc Pro B6024456約 98499約 650
工作站卡與改裝卡
RTX PRO 6000 Blackwell961,792約 5008,565約 16,000
RTX 4090 48G（國內改裝）481,008165.2—2.2–3 萬元

NVIDIA 的算力取白皮書 BF16 張量 FP32 累加稠密值（5060 Ti、5070 由 AI TOPS 逐級折算）；AMD 取矩陣稠密值；Intel 由 INT8 TOPS 折半。RTX PRO 6000 沒有 GeForce 的累加減速，約 500 為由 4,000 AI TOPS 折算。參考價取 Tom's Hardware、videocardprices、BuySellRAM 三家跟蹤站的區間，彼此差距不小。

表 1 · 消費級卡里容量和頻寬都在 12–32GB、450–1,800 GB/s 之間；NVIDIA 高階卡的零售價已經遠離首發價

資料來自白皮書和各家規格頁67，價格來自三家跟蹤站1211，改裝卡價格來自國內的行情報道12。

分析：按三把尺子讀這張表

容量上，消費卡基本封頂在 32GB。 想在一張卡上放 70B 級的模型，要麼買 96GB 的 RTX PRO 6000，要麼買國內改裝的 4090 48G，要麼兩張 32GB 的卡拼。R9700 和 Arc Pro B60 的定位很明確：算力和頻寬不強，但每美元的視訊記憶體最多，兩張 R9700 就有 64GB，價錢只有一張 5090 零售價的一半左右。

頻寬上，5090 和 PRO 6000 一檔，比其他卡高出一倍。 單人跑一個裝得下的模型，它們吐字最快。

算力上，同代卡之間大致和價格成比例。 首發價算下來，RTX 50 系每美元大約 0.1 TFLOPS，AMD 的 9070 XT 紙面更高，但前面說過 AMD 和 NVIDIA 的口徑可能差一檔，這個“更高”要打折看。

真正讓人看不懂的是最後一列：5090 的零售價是首發價的兩倍半到四倍多，PRO 6000 一年半翻了快一倍，DGX Spark 一年漲了 74%。為什麼？

原因：這一輪漲價，漲的是記憶體

這三樣東西的共同點是記憶體多：5090 有 32GB GDDR7，PRO 6000 有 96GB GDDR7，DGX Spark 有 128GB LPDDR5X。NVIDIA 給 DGX Spark 兩次漲價給出的理由都是記憶體供應34，PRO 6000 漲價也被歸因於 96GB GDDR7 的成本13。

背後的鏈條是這樣的：AI 算力卡要用 HBM，HBM 和普通 DRAM、GDDR 共用儲存廠的產線；AI 訂單把產能吃掉，普通記憶體跟著緊。視訊記憶體一緊，廠商優先把顆粒給利潤最高的產品。原定 2026 年初發布的 RTX 50 Super 系列被推遲，用的正是和 PRO 6000 同一種 3GB GDDR7 顆粒14；NVIDIA 美國官方商城已經不再列出 5090，NVIDIA 否認停產，但承認供應受限15。

所以 視訊記憶體越大的卡，這一輪漲得越兇；而 16GB 以下、AMD 和 Intel 的卡，零售價離首發價還不算太遠。看價格時，首發價只說明廠商的定位，買的時候按零售價算。

消費卡的天花板是 32GB、1.8 TB/s。資料中心的卡貴十倍，多出來的東西在哪？

四、資料中心算力卡

現象：單卡算力只多幾倍，價格多十倍以上

資料中心算力卡（購買價為市場估算，租價為每卡每小時，單位均為美元）
型號視訊記憶體 GB頻寬 TB/sBF16 稠密 TFLOPSFP8 稠密購買價租價
NVIDIA
A100 80G802.0312———
H100 SXM803.359891,9792.5–4 萬2.82
H2001414.89891,979約 3.1 萬3.43
B200180–19282,2504,5003–5 萬5.93
B30028882,2504,500約 3.8–5.3 萬6.71
Vera Rubin VR200288約 20–22—FP4 約 50 P已送樣，下半年量產，未公開價格
AMD / Intel
MI300X1925.31,3072,615——
MI325X2566.01,3072,615——
MI355X2888約 2,5005,000約 2.5 萬（未證實）5.99–8.60
MI455X43219.6—約 20,000Q3 末開始出貨，72 卡整櫃約 525 萬
Gaudi 31283.71,8351,835約 1.56 萬—

規格取廠商公開值，算力為稠密口徑（廠商頁面上 H100 的 1,979 BF16 是稀疏值，已減半）。購買價來自市場估算，NVIDIA 不公開標價；租價取 Silicon Data 指數（2026-10），MI355X 取 Oracle 按需價和比價站最低按需價。“—”為沒有找到可靠數字。

表 2 · 資料中心卡的視訊記憶體是 5090 的 2.5–13 倍、頻寬 2–11 倍、單卡算力 5–11 倍，價格卻是它首發價的十幾到二十幾倍

規格來自各家官方頁面516171819，新一代的 Rubin 和 MI455X 來自送樣和釋出會的報道2021，價格來自市場估算和租價指數222324。

把 H100 和 5090 對照一下：視訊記憶體 80GB 對 32GB，頻寬 3.35 對 1.79 TB/s，稠密 BF16 989 對 209.5。按首發價，H100 每 TFLOPS 的價錢比 5090 還貴兩三倍。如果只看單卡的這三列，資料中心卡並不划算。

原因：錢花在卡與卡之間

單卡的表看不出來的，是很多張卡能不能當一張卡用。一個 4000 億引數的模型，或者一次幾千張卡的訓練，任何單卡都裝不下，必須切到很多卡上；切開之後，每一層算完都要在卡之間交換中間結果。這時候卡與卡之間的通道，比單卡多快重要得多。

8 張 RTX 5090 與一臺 8 卡 HGX B200 的卡間通道 左邊 8 張 RTX 5090 各自透過 PCIe 5.0 x16 接到主機，每卡約 64 GB/s，視訊記憶體是 8 個分開的 32GB；右邊 8 張 B200 經 NVSwitch 全互聯，每卡 1.8 TB/s，8 卡共 1.5TB 視訊記憶體可以當一個整體切分模型。 8 張 RTX 5090 · 一臺工作站 一臺 HGX B200 · 8 卡 509032 GB 509032 GB 509032 GB 509032 GB CPU · PCIe 交換 509032 GB 509032 GB 509032 GB 509032 GB B200180 GB B200180 GB B200180 GB B200180 GB NVSwitch · 全互聯 B200180 GB B200180 GB B200180 GB B200180 GB 每卡 PCIe 5.0 x16 ≈ 64 GB/s 沒有 NVLink，卡間資料都繞主機走； 視訊記憶體是 8 塊分開的 32 GB 小池子。 每卡 NVLink 1.8 TB/s，約 28 倍 任意兩卡直連，8 卡共 1.44 TB 視訊記憶體， 可以像一張大卡一樣切分模型。
圖 2 · 資料中心卡貴在“很多張卡當一張用”：卡間頻寬比消費卡走 PCIe 高一個多數量級

除了圖上這條卡間通道，資料中心卡的價錢裡還有幾樣消費卡沒有的東西：

  • HBM 本身貴。 一張 B300 的 288GB HBM3e，在記憶體緊缺的年份裡光顆粒就是一大筆，這也是 Rubin 頻寬目標被下調的原因20。
  • 機櫃級的擴充套件。 GB200/GB300 NVL72 把 72 張卡用 NVLink 連成一個域，AMD 的 Helios 也是 72 卡一櫃21；單卡價格只是整櫃的一部分。
  • 可靠性和軟體授權。 ECC、長時間滿載、廠商支援，以及企業軟體訂閱。

第一次嘗試：買不起，就租

對個人和小團隊來說，資料中心卡的正確開啟方式通常是租。按 Silicon Data 的指數，H100 每卡時 2.82 美元、B200 5.93 美元23；Nebius 這類雲廠商的按需價更高一些，10 月 1 日還剛漲過一次25。

粗算一下：一張 H100 買下來約 3 萬美元，按每卡時 2.82 美元租，要滿載約 10,600 小時，也就是一年兩個多月才租到買價，還沒算電費、機房和網路。偶爾用、用量波動大，就租；常年滿載，才輪得到買。

這是一張以英偉達和 AMD 為主的表。在國內買卡，還有另一張表。

五、國產算力卡

現象：引數各說各話，價格幾乎查不到

國產卡的公開資料比海外卡少得多：很多型號只公佈了 FP16 或 INT8 的峰值，視訊記憶體頻寬要從第三方拼出來，單價幾乎都是渠道轉述。下表只收廠商釋出會或官方規格里能找到的數字，第三方推測的單獨標出來。

國產算力卡（廠商口徑；價格為人民幣渠道報價）
型號視訊記憶體 GB頻寬 TB/sFP16 稠密 TFLOPS價格與狀態
華為昇騰
昇騰 910B64約 1.6280–414B1–B4 四檔；單價未公開
昇騰 910C128約 3.2約 800兩顆 910B 封裝在一起；單價說法從 2 萬到 11 萬元，不可信
昇騰 950PR1281.6FP8 1,0002026 年 3 月量產；Atlas 350 卡約 11 萬元
昇騰 950DT1444FP8 1,000計劃 2026 年 Q4 量產，價格未公佈
其他廠商
寒武紀 思元 59096？約 2？256視訊記憶體、頻寬為第三方推測
海光 K100 AI640.9196類 CUDA 生態，遷移成本低
沐曦 曦雲 C500641.8240–280PCIe 版 240，OAM 版 280
摩爾執行緒 S4000480.77約 100GDDR6；FP16 另有 31.6 的說法
英偉達對華特供（參照）
H20964.0148按許可逐案審批

崑崙芯 P800、壁仞、燧原、天數智芯等的關鍵引數沒有找到可靠的公開口徑，沒有列入。950 系列官方只給了 FP8 和 FP4 的數字。

表 3 · 國產卡的視訊記憶體和頻寬已經到了 H100 到 H200 之間，但算力口徑和價格都還不透明

引數來自華為全聯接大會的釋出和國內的彙總文章262728，950PR 的價格來自渠道報價的整理29。

分析：在表上處於什麼位置

硬體指標上，第一梯隊已經到了 H100 到 H200 之間。 昇騰 910C 的視訊記憶體和頻寬在 H100 和 H200 之間，950DT 的 144GB、4 TB/s 和 H20、H200 同一水平。和表 2 比，差距主要在兩處：一是還沒有對應 B200/B300 的 8 TB/s 和 288GB；二是 FP16 算力的公開口徑多半不區分累加精度和稀疏，和表 2 直接比可能偏樂觀。

真正的差別在軟體。 昇騰用 CANN，海光走類 CUDA 的路線、遷移最省事，其他家各有一套。表上的數字在同一套軟體下才可比，換棧之後的實際利用率，要看具體模型的適配情況。

英偉達在國內的供貨一直在變。 H20 按許可逐案審批；面向中國的 RTX Pro 6000D 在 2025 年 9 月被要求停止採購30，但金融時報報道 2026 年中國公司又買了超過一百萬張 6000D 和 RTX Pro 500031。兩條訊息互相矛盾，這裡只作轉述，買卡前要以當時的政策為準。

到這裡，從 12GB 的遊戲卡到 288GB 的 B300，要麼視訊記憶體小，要麼價格高。有沒有視訊記憶體大、價格又在個人能承受範圍內的東西？

六、AI 小主機：DGX Spark 和它的對手

現象：六七千美元，裝得下 1200 億引數

DGX Spark 是一臺比書還小的主機，裡面是一顆 GB10 晶片，CPU 和 GPU 共用 128GB 記憶體32。它能整個裝下 gpt-oss-120b 這樣的 1,200 億引數模型，單人對話每秒約 59 個 token33；而表 1 裡最貴的消費卡 5090 只有 32GB，根本裝不下。

同一類的機器還有好幾種，它們走的都是同一條路：把顯示卡的視訊記憶體換成大容量的統一記憶體。

AI 小主機（價格單位：美元，2026 年 10 月）
機器價格記憶體 GB頻寬 GB/sgpt-oss-120b 生成軟體棧
NVIDIA GB10 一族
DGX Spark 128G6,950128273約 59 tok/sCUDA
GB10 64G（OEM 版）4,999 起64273裝不下CUDA
Jetson AGX Thor3,499128273—CUDA，面向機器人
AMD Ryzen AI Max
Strix Halo 128G 小主機3,300–3,650128256約 45–55 tok/sROCm / Vulkan
Gorgon Halo（AI Max+ Pro 495）未定192約 273—ROCm / Vulkan
Apple Mac Studio
M5 Max 128G約 5,400128614上限約 200（推算）MLX / Metal
M5 Ultra5,499 起最高 512約 1,200上限約 400（推算）MLX / Metal
其他
Tenstorrent p150a（加速卡）1,39932512裝不下TT-Metalium
DGX Station GB3009.3–15.9 萬288 + 496HBM 約 8,000—CUDA

gpt-oss-120b 生成速度為 llama.cpp 空上下文實測，Strix Halo 隨系統和後端在 45–55 之間；Mac 的兩行沒有找到公開實測，是按下文的公式推算的上限。DGX Station 的記憶體是 288GB HBM3e 加 496GB LPDDR5X 兩塊。

表 4 · 小主機用兩三百 GB/s 的頻寬換來了 128GB 以上的容量；Mac Studio 是其中唯一把頻寬也做上去的

資料來自各家規格頁和評測32434353637383940，生成速度來自 llama.cpp 社群的實測3341。

原因：容量便宜，頻寬貴

為什麼同樣 128GB，DGX Spark 只要六七千美元，而一張 96GB 的 PRO 6000 要一萬六？因為它們用的是兩種記憶體。

顯示卡用的 GDDR7 和 HBM，是靠很寬的匯流排、很高的頻率堆出頻寬的。 5090 的 512 位 GDDR7 有 1,792 GB/s，H100 的 HBM3 有 3.35 TB/s，代價是每 GB 很貴、容量很難做大。小主機用的 LPDDR5X 是手機和筆記本的記憶體，每 GB 便宜得多，128GB 也塞得進一個小盒子，但匯流排只有 256 位，頻寬停在 256–273 GB/s，是 5090 的七分之一。

所以表 4 前幾行在三把尺子上的位置很清楚：容量追上了資料中心卡，頻寬只有中端遊戲卡的一半，算力也只有一張 5070 上下（GB10 實測 BF16 約 60 TFLOPS）8。

回到起點：59 tok/s 是怎麼來的

第二節說過，單人生成的上限約等於 带宽 ÷ 每个 token 要读的字节数。gpt-oss-120b 是 MoE 模型，1,200 億引數裡每個 token 只啟用約 51 億，按 MXFP4 約 4.25 位儲存，每個 token 大約要讀 3GB（這是推算，沒算 KV 快取）。

代進去：DGX Spark 是 273 ÷ 3 ≈ 90 tok/s 的上限，實測 59，跑到了上限的三分之二左右；Strix Halo 是 256 ÷ 3 ≈ 85，實測 45–55。兩者實測差距主要來自軟體棧，而不是硬體。按同樣的演算法，M5 Max 的上限約 200，M5 Ultra 約 400，這是 Mac Studio 在這一類裡最大的優勢。

這也解釋了小主機的邊界。模型越“稠密”，每個 token 要讀的位元組越多，小主機越慢。 一個 700 億引數的稠密模型按 FP8 存要讀約 70GB，DGX Spark 上限只有 4 tok/s 左右，實測約 2.742。小主機適合的，是 MoE 這種“總引數大、啟用引數小”的模型。

第一次嘗試：DGX Spark 和 Strix Halo 選哪個

兩臺機器頻寬幾乎一樣，單人生成速度也接近。差別在三處：

  • 價格。 10 月份，Strix Halo 128GB 小主機在 3,300–3,650 美元，DGX Spark 128GB 是 6,950，差了一倍。
  • 預填充和算力。 GB10 的算力高得多，讀一段長提示詞時 DGX Spark 快好幾倍41；做微調、跑 CUDA 專屬的工具時，差距更明顯。
  • 軟體。 DGX Spark 是標準的 CUDA 環境，絕大多數開源專案開箱能跑；Strix Halo 要走 ROCm 或 Vulkan，能跑，但要多折騰。

Mac Studio 走的是第三條路：頻寬是它們的兩倍多到四倍多、記憶體最大到 512GB，代價是沒有 CUDA。只看單人推理大 MoE 模型，Mac Studio 是這一類裡最快的；要跟資料中心的 CUDA 環境保持一致，就是 DGX Spark。

七、放到一張圖上：按用途來選

分析：容量和頻寬的地圖

把前面四張表裡的卡和機器，按視訊記憶體容量和頻寬畫到同一張圖上：

顯示卡、算力卡和 AI 小主機的容量與頻寬 橫軸是視訊記憶體或記憶體容量（對數），縱軸是頻寬（對數）。消費級顯示卡集中在左側 12 到 32GB、450 到 1,800 GB/s；DGX Spark、Strix Halo 等小主機在右下，128GB 但只有兩三百 GB/s；資料中心卡在右上，80 到 288GB、3.35 到 8 TB/s；Mac Studio M5 Ultra 和 RTX PRO 6000 處在中間。 容量 × 頻寬（標註為 2026 年 10 月參考價，美元，另註明的除外） 8 16 32 64 128 256 512 1024 200 500 1,000 2,000 5,000 10,000 視訊記憶體 / 記憶體容量（GB，對數刻度） 頻寬（GB/s，對數刻度） 消費卡：頻寬夠，容量小 小主機：容量大，頻寬低 資料中心卡：兩樣都有 Arc B580 約 330 RX 9070 XT 750–830 RTX 5080 1.6–1.9 千 Arc Pro B60 約 650 R9700 約 1.3 千 RTX 5090 5–8.6 千 4090 48G 2.2–3 萬元 RTX PRO 6000 約 1.6 萬 Strix Halo 3.3–3.7 千 DGX Spark 6,950 M5 Max 約 5.4 千 M5 Ultra 512G 5,499 起 H100 2.5–4 萬 Gaudi 3 約 1.6 萬 H200 約 3.1 萬 B200 3–5 萬 B300 / MI355X 約 2.5–5 萬
圖 3 · 三類硬體各佔一塊：消費卡在左邊，小主機在右下，資料中心卡在右上

這張圖上大致分成三塊：

  • 左邊是消費卡。 頻寬高、容量小，適合裝得下的模型跑得快。
  • 右下是小主機。 容量大、頻寬低，適合裝下大 MoE 模型，單人慢慢用。
  • 右上是資料中心卡。 兩樣都有，再加上圖 2 的卡間互聯，代價是價格。

圖上空出來的那一塊，大容量、高頻寬、價格又能接受，目前只有 Mac Studio M5 Ultra 和 RTX PRO 6000 靠得最近，而它們正好是這一輪漲價裡最貴的幾樣之一。

解決：按用途對號入座

按用途選（2026 年 10 月）
用途先看哪把尺子候選
打遊戲，順帶跑 7–14B 的模型價格RX 9070 XT、RTX 5070 Ti（16GB）
本地跑 30B 級模型，要快頻寬 + 32GB 容量RTX 5090（若買得到）、4090 48G 改裝卡、兩張 R9700
單人跑 100B 級 MoE（gpt-oss-120b 等）容量，其次頻寬Strix Halo 128G（最便宜）、DGX Spark（CUDA）、Mac Studio M5 Max（最快）
本地跑 600B 級模型的量化版容量Mac Studio M5 Ultra 512GB；或兩臺 DGX Spark 互聯
微調、小規模訓練算力 + 容量RTX PRO 6000，或按小時租 H100 / H200
多人線上服務、大規模訓練卡間互聯租或買 8 卡整機：H200、B200、B300、MI355X
國內合規採購軟體適配昇騰 910C / 950、海光 K100 AI，先在目標模型上實測

“兩臺 DGX Spark 互聯”是 NVIDIA 官方支援的用法，256GB 合起來能裝下更大的模型，但每臺頻寬不變。

表 5 · 先想清楚是卡在容量、頻寬還是算力上，再看價格

小結

回到開頭的幾個問題：

  1. 算力數字該拿哪個比？ 同一張卡的數字按精度、累加方式和稀疏各翻一倍，5090 從 104.8 到 3352 差 32 倍。統一用稠密 BF16、FP32 累加的口徑，各家才能比；紙面峰值還要打折，DGX Spark 實測只有標稱的一半左右。
  2. 除了算力還看什麼？ 容量決定裝不裝得下，頻寬決定單人生成快不快，算力決定預填充、批次服務和訓練。
  3. 消費卡之間是什麼關係？標價為什麼失真？ 消費卡視訊記憶體封頂 32GB；這一輪 AI 把記憶體產能吃掉，視訊記憶體越大的產品漲得越兇，5090 零售價是首發價的兩倍半以上，PRO 6000 和 DGX Spark 也漲了七八成。
  4. 資料中心卡多花的錢買到了什麼？ 單卡算力只多幾倍，錢主要花在 HBM 和卡間互聯上，讓很多張卡能當一張用。個人使用者偶爾用就租，H100 每卡時不到 3 美元。
  5. 國產卡在什麼位置？ 視訊記憶體和頻寬到了 H100 到 H200 之間，算力口徑和價格不透明，差距更多在軟體生態。
  6. 小主機憑什麼跑得動大模型？ 用便宜的 LPDDR5X 換來 128GB 以上的容量，頻寬只有兩三百 GB/s，所以適合大 MoE、單人用；DGX Spark 的 59 tok/s 大約是 273 ÷ 3 這個上限的三分之二。

所有價格都是 2026 年 10 月的快照，這一輪記憶體緊缺沒有緩和的跡象，按儲存廠商的說法到 2027、2028 年還會更緊4。真要下單時，把表裡的價格換成當天的零售價，再按表 5 的思路重新算一遍。

參考資料

參考資料

  1. GPU price tracking 2026 — Lowest price on every graphics card from Nvidia, AMD, and Intel todayTom's Hardware · 2026-10tomshardware.com ↗2026-10 美國最低價：RTX 5090 8,599 美元、RTX 5080 1,899、RTX 5070 Ti 1,229、RX 9070 XT 829、Arc B580 缺貨。https://www.tomshardware.com/pc-components/gpus/lowest-gpu-prices-tracking ↩ ↩2

  2. GPU Price Indexvideocardprices.com · 2026-10-20videocardprices.com ↗同期另一個跟蹤站：RTX 5090 6,999 美元、5080 1,598.97、9070 XT 750、B580 329.99。兩家跟蹤站對 5090 差了 1,600 美元，所以本文給的是區間。https://videocardprices.com/gpu-price-index/ ↩ ↩2

  3. NVIDIA DGX Spark Sees $700 Price Hike Due To Ongoing Memory ShortagesWccftech · 2026-02wccftech.com ↗Founders Edition 從 3,999 漲到 4,699 美元，NVIDIA 在論壇說明原因是記憶體供應受限。https://wccftech.com/nvidia-dgx-spark-700-usd-price-hike-memory-shortages-4699-new-pricing/ ↩ ↩2

  4. Nvidia adds 64GB DGX Spark at 4,999 as 128GB model climbs to 6,950implicator.ai · 2026-10implicator.ai ↗128GB 版漲到 6,950 美元（比首發高約 74%）；新增 64GB 版 4,999 美元起，10 月 23 日起由 Acer、華碩、戴爾、技嘉、惠普、微星銷售。二手市場 128GB GB10 機器約 7,000–9,000。美光預計記憶體緊缺到 2027、2028 年還會加劇。https://www.implicator.ai/nvidia-adds-64gb-dgx-spark-at-4-999-as-128gb-model-climbs-to-6-950/ ↩ ↩2 ↩3 ↩4

  5. NVIDIA H100 Tensor Core GPUNVIDIAnvidia.com ↗H100 SXM：80GB HBM3、3.35 TB/s；BF16 1,979 TFLOPS、FP8 3,958 TFLOPS 均為稀疏口徑，稠密減半；NVLink 900 GB/s。https://www.nvidia.com/en-us/data-center/h100/ ↩ ↩2

  6. NVIDIA RTX Blackwell GPU Architecture（白皮書）NVIDIA · 2025images.nvidia.com ↗附錄 A 的 GB202 規格表：RTX 5090 FP32 非張量 104.8 TFLOPS；BF16 張量（FP32 累加）209.5 稠密 / 419 稀疏；FP16 張量（FP16 累加）419 / 838；FP8 838 / 1676；FP4 1676 / 3352。RTX 5070 Ti、5080 的表格在同一附錄。https://images.nvidia.com/aem-dam/Solutions/geforce/blackwell/nvidia-rtx-blackwell-gpu-architecture.pdf ↩ ↩2 ↩3

  7. Radeon AI PRO R9700 AI TOP 32G 規格GIGABYTEgigabyte.com ↗規格頁寫 FP16 峰值 95.7 TFLOPS（向量口徑）；第三方比較站給的矩陣口徑約 191（稠密）/ 383（稀疏）。同一張卡在不同頁面差一倍、兩倍，是口徑不統一的典型例子。https://www.gigabyte.com/se/Graphics-Card/GV-R9700AI-TOP-32GD-rev-10/sp ↩ ↩2

  8. John Carmack attestiert Nvidias DGX Spark enttäuschende LeistungWinFuture · 2025-10winfuture.de ↗Carmack 實測 BF16 約 60 TFLOPS、功耗約 100 W，低於由 1 PFLOPS（FP4 稀疏）推回的約 125 TFLOPS；Awni Hannun 的 MLX 微基準結果相近。https://winfuture.de/news,154545.html ↩ ↩2

  9. GB10 really does hit ~1 PFLOP NVFP4 (2:4 sparse) — measuredNVIDIA Developer Forumsforums.developer.nvidia.com ↗用原生打包 FP4 指令測到約 511 TFLOPS 稠密、1014–1022 TFLOPS 稀疏，與標稱一致；另一條 FP4 指令路徑只有一半速率。https://forums.developer.nvidia.com/t/gb10-really-does-hit-1-pflop-nvfp4-2-4-sparse-measured-with-an-open-source-tool-to-reproduce-it/373618 ↩

  10. 幾十美元的小盒子，為什麼跑得動大模型twwy.nettwwy.net ↗單使用者逐 token 生成卡在記憶體頻寬而不是算力；MoE 把“裝得下”和“跑得動”拆開。本文第二節直接用這個結論。https://twwy.net/blog/edge-llm-economics/ ↩

  11. NVIDIA Consumer GPU Market Update, October 2026BuySellRAM · 2026-10buysellram.com ↗RTX 5090 全新最低掛牌價從 3,004 漲到 4,920.99 美元（8 月到 10 月，+64%）；統計的是掛牌價不是成交價。https://www.buysellram.com/blog/nvidia-consumer-gpu-market-update/ ↩

  12. RTX5090與RTX4090魔改48G為何在8月持續漲價晨澗雲 · 2026-08mornai.cn ↗8 月國內 RTX 5090 漲到 4 萬元以上，4090 魔改 48G 站上 2.5 萬元。https://www.mornai.cn/news/gpu/why-rtx-5090-and-modded-rtx-4090-48gb-prices-kept-rising-in-august/ ↩

  13. NVIDIA RTX PRO 6000 "Blackwell" 96 GB GPU Now Costs 16,000 USDTechPowerUp · 2026-10techpowerup.com ↗2025 年 3 月首發 8,565 美元，2026 年 10 月 NVIDIA 商城 16,000 美元，約 18 個月漲 87%，主要原因是 96GB GDDR7 的成本。https://www.techpowerup.com/351549/nvidia-rtx-pro-6000-blackwell-96-gb-gpu-now-costs-usd-16-000 ↩

  14. RTX 50 Super GPUs may be delayed indefinitely as Nvidia prioritizes AI during memory shortageNotebookcheck · 2026-02notebookcheck.net ↗轉述 The Information：因視訊記憶體短缺、優先保障 AI 晶片，RTX 50 Super 推遲；Super 原計劃用的 3GB GDDR7 顆粒和 RTX PRO 6000 是同一種。https://www.notebookcheck.net/RTX-50-Super-GPUs-may-be-delayed-indefinitely-as-Nvidia-prioritizes-AI-during-memory-shortage.1199980.0.html ↩

  15. Nvidia says RTX 5090 is still in production, but its absence from the company's US store says otherwiseTechSpot · 2026-10techspot.com ↗NVIDIA 高階副總裁 Jeff Fisher 否認 5090 停產，但承認供應鏈產能受限；NVIDIA 美國官方商城已不再列出 5090。https://www.techspot.com/news/114254-nvidia-rtx-5090-production-but-absence-company-us.html ↩

  16. NVIDIA H200 Tensor Core GPUNVIDIAnvidia.com ↗141GB HBM3e、4.8 TB/s，算力與 H100 相同。https://www.nvidia.com/en-us/data-center/h200/ ↩

  17. NVIDIA DGX B200NVIDIAnvidia.com ↗8 卡共 1,440GB 視訊記憶體；第五代 NVLink 每卡 1.8 TB/s，經 NVSwitch 全互聯。https://www.nvidia.com/en-us/data-center/dgx-b200/ ↩

  18. AMD Instinct MI355XAMDamd.com ↗288GB HBM3E、8 TB/s；FP16/BF16 矩陣約 2.5 PFLOPS 稠密，FP8 5 PFLOPS 稠密、10 稀疏。https://www.amd.com/en/products/accelerators/instinct/mi350/mi355x.html ↩

  19. Intel's Gaudi 3 will cost half the price of Nvidia's H100Tom's Hardware · 2024-06tomshardware.com ↗8 卡套件 12.5 萬美元（約 1.56 萬每卡）；128GB HBM2e、3.7 TB/s，BF16/FP8 矩陣約 1,835 TFLOPS。https://www.tomshardware.com/pc-components/cpus/intels-gaudi-3-will-cost-half-the-price-of-nvidias-h100 ↩

  20. NVIDIA Lowers HBM4 Specs for "Vera Rubin" VR200 as Memory Suppliers Miss 22 TB/s TargetTechPowerUp · 2026techpowerup.com ↗VR200：288GB HBM4，目標 22 TB/s，首批約 20 TB/s；FP4 約 50 PFLOPS；已向客戶送樣，整機 2026 下半年量產，未公開價格。https://www.techpowerup.com/346983/nvidia-lowers-hbm4-specs-for-vera-rubin-vr200-as-memory-suppliers-miss-22-tb-s-target ↩ ↩2

  21. AMD MI400 vs Nvidia Rubin: 432GB HBM4 GPU WarTech Insider · 2026tech-insider.org ↗MI455X：432GB HBM4（12 堆 × 36GB），頻寬 19.6 TB/s（另有 23.3 的說法），FP8 約 20 PFLOPS、MXFP4 約 40；Helios 72 卡整櫃，報道價約 525 萬美元；2026 Q3 末開始出貨。https://tech-insider.org/ca/amd-mi400-hbm4-nvidia-rubin-b300-2026/ ↩ ↩2

  22. NVIDIA AI GPU Pricing Guide: H100, H200, B200, B300IntuitionLabs · 2026-10intuitionlabs.ai ↗購買價估算：H100 約 2.5–4 萬美元、H200 約 3.1–3.2 萬（單卡 NVL）、B200 約 3–5 萬；DGX B300 八卡整機 30–35 萬。NVIDIA 不公開標價，均為市場估算。https://intuitionlabs.ai/articles/nvidia-ai-gpu-pricing-guide ↩

  23. GPU cloud pricing, October 2026: what an H100, H200, B200 or B300 costs per hourDEV Community · 2026-10dev.to ↗引用 Silicon Data 租價指數：H100 每卡時 2.82 美元、H200 3.43、B200 5.93、B300 6.71。https://dev.to/viswaretas_kotra/gpu-cloud-pricing-october-2026-what-an-h100-h200-b200-or-b300-costs-per-hour-5a25 ↩ ↩2

  24. AMD MI300X & MI355X Pricing 2026: The Real On-Demand RatesSpheron · 2026spheron.network ↗MI355X 能核實的按需價只有 Oracle 每卡時 8.60 美元；購買價約 2.5 萬美元的說法未經證實。https://www.spheron.network/blog/amd-mi300x-mi355x-pricing-2026/ ↩

  25. Nebius raises H100, H200, B200 and B300 GPU pricesUsagePricing · 2026-09-24usagepricing.com ↗2026-10-01 起按需價：H100 4.50、H200 5.40、B200 8.50、B300 9.50 美元每卡時。https://www.usagepricing.com/blueprint/activity/nebius-ai-2026-09-24-gpu-price-increase ↩

  26. 昇騰950首發！華為自研HBM記憶體正式公佈：最大144GB 頻寬4TB/s新浪科技 · 2025-09-18finance.sina.com.cn ↗華為全聯接大會 2025：950PR 配 HiBL 1.0（128GB、1.6 TB/s），950DT 配 HiZQ 2.0（144GB、4 TB/s）；FP8 1 PFLOPS、MXFP4 2 PFLOPS。https://finance.sina.com.cn/tech/roll/2025-09-18/doc-infqwutp4036206.shtml ↩

  27. 2025年最新技術引數、市場份額及應用場景的國產AI計算卡綜合排名知乎zhuanlan.zhihu.com ↗彙總了昇騰 910B（B1–B4 分檔，FP16 280–414 TFLOPS）、海光 K100 AI（64GB、896 GB/s、FP16 196）、摩爾執行緒 S4000（48GB、768 GB/s）、沐曦 C500（64GB HBM2e、1.8 TB/s、FP16 240/280）等引數。各來源數值互有出入，本文取廠商口徑。https://zhuanlan.zhihu.com/p/1982095781738586879 ↩

  28. 寒武紀 MLU590（思元590）MirrorFrogmirrorfrog.com ↗FP16 256 TFLOPS（另有 345 的說法）、INT8 512 TOPS；96GB HBM2e、約 2 TB/s；單價 8,000–10,000 美元為推測。https://mirrorfrog.com/docs/cards/others/cambricon-mlu-590/ ↩

  29. 昇騰 950 系列最新報價：950PR 與 950DT 的價格曲線MirrorFrog · 2026-10mirrorfrog.com ↗950PR 的 Atlas 350 加速卡 2026-03-20 上市，市場報價約 11 萬元；行業報告另有 5 萬（DDR 版）/ 7 萬元（HBM 版）每顆的口徑；950DT 計劃 2026 Q4 量產，價格未公佈。https://mirrorfrog.com/blog/ascend-950-price-hike-2026october/ ↩

  30. Exploring the RTX Pro 6000D, Nvidia's China-only GPU, which is now banned from saleTom's Hardware · 2025-09tomshardware.com ↗6000D 單價約 7,000 美元，被認為太慢；2025 年 9 月網信辦要求大廠停止採購。https://www.tomshardware.com/tech-industry/semiconductors/why-nobody-is-buying-nvidia-6000d-in-china ↩

  31. FT: Chinese tech firms bought 1M+ Nvidia RTX Pro 6000D and 5000 chips in 2026AI Weekly（轉述金融時報） · 2026-10aiweekly.co ↗2026 年中國公司為填補算力缺口買了超過 100 萬張 RTX Pro 6000D 和 RTX Pro 5000。與 2025 年的禁令說法衝突，本文只作為轉述引用。https://aiweekly.co/alerts/ft-chinese-tech-firms-bought-1m-nvidia-rtx-pro-6000d-and-5000-chips-in-2026-for ↩

  32. NVIDIA DGX SparkNVIDIAnvidia.com ↗GB10：128GB LPDDR5X 統一記憶體、273 GB/s；1 PFLOPS FP4（含稀疏）；ConnectX-7 可兩臺互聯。https://www.nvidia.com/en-us/products/workstations/dgx-spark/ ↩ ↩2

  33. Performance of llama.cpp on NVIDIA DGX Spark（Discussion #16578）ggml-org/llama.cppgithub.com ↗gpt-oss-120b（MXFP4）空上下文生成約 58.7 tok/s，32K 上下文後降到約 42.8；預填充約 1,700–2,000 tok/s。https://github.com/ggml-org/llama.cpp/discussions/16578 ↩ ↩2

  34. Nvidia's Jetson AGX Thor costs 3499 US dollars as a dev kitheise online · 2025-08heise.de ↗128GB LPDDR5X、273 GB/s，FP4 約 2,070 TFLOPS（稀疏）；面向機器人，不是桌面推理機。https://heise.de/-10622015 ↩

  35. Best Ryzen AI Max+ 395 Mini PC (2026): 5 Compared by Price and PortsComputingForGeeks · 2026-10computingforgeeks.com ↗128GB 版：Framework Desktop 3,449 美元（缺貨），GMKtec EVO-X2 3,499（1TB）/ 3,649（2TB），Bosgame M5 約 3,324。https://computingforgeeks.com/ryzen-ai-max-395-mini-pc-comparison/ ↩

  36. AMD Ryzen AI Max 400 'Gorgon Halo' packs up to 192GB of unified memoryTom's Hardware · 2026tomshardware.com ↗Strix Halo 的小改款：最高 192GB LPDDR5X-8533（GPU 最多可分 160GB），頻寬約增 7% 到約 273 GB/s；目前帶 Pro 字尾，面向商用。https://www.tomshardware.com/pc-components/cpus/amd-ryzen-ai-max-400-gorgon-halo-packs-up-to-192gb-of-unified-memory-refreshed-apu-uses-zen-5-and-rdna-3-5-and-can-clock-up-to-5-2-ghz ↩

  37. Apple unveils next generation Mac Studio with M5 Max and M5 Ultra9to5Mac · 2026-08-259to5mac.com ↗M5 Max 起價 2,499 美元（36GB），最高 128GB、614 GB/s；M5 Ultra 起價 5,499，最高 512GB、約 1.2 TB/s，滿配 18,299。https://9to5mac.com/2026/08/25/apple-unveils-next-generation-mac-studio-with-m5-max-and-m5-ultra/ ↩

  38. Apple Mac Studio (M5 Ultra) review: Huge AI and graphics power at a huge premiumEngadget · 2026engadget.com ↗M5 Ultra 起價比上一代（3,999 美元起）高出一截；評測時在售的是 96GB 和 256GB 配置，512GB 推遲。https://www.engadget.com/2263184/apple-mac-studio-m5-ultra-review/ ↩

  39. Tenstorrent Launches Blackhole Developer Products at Tenstorrent Dev DayTenstorrenttenstorrent.com ↗Blackhole p150：32GB GDDR6、512 GB/s，首發 1,399 美元；卡上帶乙太網口，多卡直接互聯。https://tenstorrent.com/en/newsroom/tenstorrent-launches-blackhole-developer-products-at-tenstorrent-dev-day ↩

  40. Nvidia's GB300-powered DGX Station listed for nearly 100,000 dollarsTom's Hardware · 2026tomshardware.com ↗GB300 桌面超級晶片：288GB HBM3e + 約 496GB LPDDR5X；美國掛牌價從超微約 92,887 到戴爾 159,283 美元。https://www.tomshardware.com/desktops/nvidias-gb300-powered-dgx-station-desktop-tower-listed-for-nearly-usd100-000-online-enterprise-ai-powerhouse-now-available-to-buy-for-mere-mortals-with-lots-of-cash ↩

  41. First Nvidia DGX Spark LLM Benchmarks Are In: Does It Beat Strix HaloHardware Cornerhardware-corner.net ↗同一版本 llama.cpp：gpt-oss-120b 生成 Strix Halo 44.7 tok/s、DGX Spark 59.5；預填充 Spark 快好幾倍。社群在 Linux 下給 Strix Halo 測到過約 55 tok/s。https://www.hardware-corner.net/first-dgx-spark-llm-benchmarks/ ↩ ↩2

  42. NVIDIA DGX Spark Review: Price, Specs & BenchmarksIntuitionLabs · 2026intuitionlabs.ai ↗Llama 3.1 70B（FP8、batch 1）生成約 2.7 tok/s；gpt-oss-120b 預填充約 1,723 tok/s。https://intuitionlabs.ai/articles/nvidia-dgx-spark-review ↩