从一张显卡到一整柜算力 一排硬件像台阶一样由矮到高排开：单风扇的小显卡、三风扇的大显卡、一台金色的小主机、一台塔式工作站、一整个服务器机柜，一条虚线价格曲线沿着它们的顶端陡峭上升；左侧写着 249 美元到 9.3 万美元。 249 美元 · 一张入门显卡 93,000 美元 · 一台桌面 AI 主机

最近想把手头能买到的显卡、算力卡和 AI 小主机排一张表，比一比价格和性能。打开几家的价格页和规格页，还没开始比，就先撞上三个怪现象：

  • 同一张卡有好几个算力数字。 RTX 5090 的规格表上，104.8、209.5、419、838、1676、3352 都写着 TFLOPS 或 TOPS，最大和最小差了 32 倍。
  • 标价不算数。 RTX 5090 首发价 1,999 美元，2026 年 10 月美国零售在 5,000 到 8,600 美元之间12；DGX Spark 去年 3,999 美元上市，今年 2 月涨到 4,699，10 月又涨到 6,95034。
  • 贵十倍，算力只多几倍。 一张 H100 要两三万美元，稠密 BF16 算力 989 TFLOPS；一张 RTX 5090 按首发价只要它的十几分之一，同口径算力是 209.5，H100 只多不到 5 倍56。

于是有几个问题要先回答：

  1. 这么多算力数字，到底该拿哪个来比？
  2. 除了算力，还要看什么？
  3. 消费级显卡之间，价格和性能是什么关系？标价为什么全失真了？
  4. 数据中心的算力卡贵十倍，多出来的钱买到了什么？
  5. 国产算力卡处在什么位置？
  6. DGX Spark、Mac Studio、Strix Halo 这类小主机，凭什么能跑显卡跑不了的大模型？

本文不按“型号清单”来写，而是顺着这几个问题，一层一层把这张表建起来。价格时点统一取 2026 年 10 月中下旬；数据中心卡没有公开标价，用的是市场估算和租价指数。

一、算力数字的口径

现象：一张卡，六个数字

把 RTX 5090 白皮书附录里的规格表摘出来6：

一张 RTX 5090 的六个算力数字 从 FP32 非张量的 104.8 TFLOPS，到 BF16 张量 FP32 累加 209.5、FP16 累加 419、FP8 838、FP4 1676、FP4 稀疏 3352，每一级翻一倍；本文统一使用 BF16 张量 FP32 累加的稠密口径。 RTX 5090 规格表上的算力（TFLOPS / TOPS，均为同一颗 GB202） FP32 · 非张量核心 104.8 BF16 张量 · FP32 累加 209.5 ← 本文表格统一用这个口径 FP16 张量 · FP16 累加 419 FP8 张量 838 FP4 张量 1676 FP4 张量 · 2:4 稀疏（宣传的 AI TOPS） 3352 往下每一行都是上一行的两倍：精度减半，吞吐翻倍；2:4 稀疏再按“跳过一半的零”算一次翻倍。
图 1 · 同一颗芯片，规格表上的“算力”差 32 倍，差别全在精度、累加方式和是否算稀疏

原因：精度、累加和稀疏，各翻一倍

这六个数字都不是假的，它们描述的是同一组电路在不同条件下的吞吐。

精度每减半，吞吐翻一倍。 张量核心一次搬进来的位数是固定的，数从 16 位换成 8 位、4 位，一次就能多塞一倍、两倍的数，乘加次数也跟着翻。

累加精度也算一档。 矩阵乘是“乘完再加起来”，加的那一步可以用 16 位，也可以用 32 位。训练和大多数推理框架都用 32 位累加，数值更稳。GeForce 卡上用 32 位累加时，速率被砍成一半（5090 的 419 变成 209.5）；数据中心卡和专业卡没有这刀，所以它们规格表上的 BF16 本来就是 32 位累加的口径。

稀疏是一种“打折算法”。 2:4 结构化稀疏要求每 4 个权重里有 2 个是零，硬件跳过这两个，于是标称再翻倍。可真实模型的权重很少是这样排的，日常跑推理基本吃不到这一倍。

不同厂商连“同一个口径”都写法不同。 AMD 的 Radeon AI PRO R9700，技嘉规格页写 FP16 峰值 95.7 TFLOPS，那是向量单元；矩阵单元的稠密值约 191，算稀疏约 3837。同一张卡，在三个网页上能看到三个差一倍的数。

第一次尝试：直接比宣传数字

最省事的办法是拿各家首页上最大的那个数比。可是 NVIDIA 消费卡首页写的是 FP4 稀疏，数据中心卡常写 FP8 稀疏，AMD 写的是 INT4 或 FP16 稀疏，国产卡多写 FP16 稠密或 INT8。拿这些直接比，等于拿米和尺比长短。

而且纸面数字本身也未必跑得出来。DGX Spark 标称 1 PFLOPS（FP4 稀疏），按 4 倍换算回 BF16 稠密约 125 TFLOPS；John Carmack 和 MLX 的负责人 Awni Hannun 实测 BF16 都只有 60 TFLOPS 左右8。另一边，有人用原生 FP4 指令测到了 511 稠密、1,014 稀疏，和标称对得上9。纸面数字是“某条最快的路径上能跑到的峰值”，换一条路径就是另一回事。

解决：统一到“稠密 BF16 / FP16，FP32 累加”

本文所有表格的算力列，统一取稠密（不算稀疏）的 BF16 / FP16 张量算力，按 32 位累加。选它有三个理由：几乎每家都支持这个精度；训练和高质量推理都用它；把稀疏和累加两个“翻倍开关”关掉，各家数字才站在同一条线上。FP8、FP4 只在单独一列或注里出现。

AMD 和 Intel 的消费卡没有公开区分累加精度，取的是厂商给的矩阵稠密值；国产卡取厂商公布的 FP16 稠密值。这两类和 NVIDIA 的数字之间仍然可能差一档，这是推断，比较时要留余量。

口径统一了，可光看算力就够了吗？

二、算力之外的两把尺子

现象：算力强五倍，生成速度却差不多

同样跑一个装得下的模型，一个人用、一个字一个字往外吐，H100 并不比一张 5090 快多少。原因在前一篇文章里拆过：单用户逐 token 生成时，每吐一个 token 都要把模型权重从显存完整读一遍，计算单元大部分时间在等数据10。

原因：三种活，各卡在一处

把大模型相关的工作粗分成三种，它们各自看的尺子不一样：

  1. 装不装得下，看显存容量。 一个 700 亿参数的模型按 4 位量化也要 35GB 以上，再加上下文的 KV 缓存。装不下，要么切到好几张卡上，要么根本跑不了。
  2. 单人对话吐字快不快，看显存带宽。 每秒生成的 token 数，上限大约是 带宽 ÷ 每个 token 要读的字节数。
  3. 读长文档、批量服务、训练，看算力。 预填充（一次读进一大段提示词）和训练是一次处理很多 token，权重读一次可以用很多次，这时瓶颈才回到算力上。

所以后面每张表都有三列：容量、带宽、算力，再加上价格。哪一列要紧，取决于你买它来干什么。

先从最熟悉的消费级显卡看起。

三、消费级与工作站显卡

现象：一张表，三家厂商

消费级与工作站显卡（价格单位：美元，参考价为 2026 年 10 月美国零售）
型号显存 GB带宽 GB/sBF16 稠密 TFLOPS首发价10 月参考价
NVIDIA GeForce RTX 50
RTX 5090321,792209.51,9995,000–8,600
RTX 508016960112.69991,600–1,900
RTX 5070 Ti1689687.9749约 1,230
RTX 50701267261.7549约 900
RTX 5060 Ti 16G1644847.4429—
AMD / Intel
RX 9070 XT16640约 195599750–830
Radeon AI PRO R970032640约 1911,299约 1,190–1,300
Arc B58012456约 117249缺货 / 约 330
Arc Pro B6024456约 98499约 650
工作站卡与改装卡
RTX PRO 6000 Blackwell961,792约 5008,565约 16,000
RTX 4090 48G（国内改装）481,008165.2—2.2–3 万元

NVIDIA 的算力取白皮书 BF16 张量 FP32 累加稠密值（5060 Ti、5070 由 AI TOPS 逐级折算）；AMD 取矩阵稠密值；Intel 由 INT8 TOPS 折半。RTX PRO 6000 没有 GeForce 的累加减速，约 500 为由 4,000 AI TOPS 折算。参考价取 Tom's Hardware、videocardprices、BuySellRAM 三家跟踪站的区间，彼此差距不小。

表 1 · 消费级卡里容量和带宽都在 12–32GB、450–1,800 GB/s 之间；NVIDIA 高端卡的零售价已经远离首发价

数据来自白皮书和各家规格页67，价格来自三家跟踪站1211，改装卡价格来自国内的行情报道12。

分析：按三把尺子读这张表

容量上，消费卡基本封顶在 32GB。 想在一张卡上放 70B 级的模型，要么买 96GB 的 RTX PRO 6000，要么买国内改装的 4090 48G，要么两张 32GB 的卡拼。R9700 和 Arc Pro B60 的定位很明确：算力和带宽不强，但每美元的显存最多，两张 R9700 就有 64GB，价钱只有一张 5090 零售价的一半左右。

带宽上，5090 和 PRO 6000 一档，比其他卡高出一倍。 单人跑一个装得下的模型，它们吐字最快。

算力上，同代卡之间大致和价格成比例。 首发价算下来，RTX 50 系每美元大约 0.1 TFLOPS，AMD 的 9070 XT 纸面更高，但前面说过 AMD 和 NVIDIA 的口径可能差一档，这个“更高”要打折看。

真正让人看不懂的是最后一列：5090 的零售价是首发价的两倍半到四倍多，PRO 6000 一年半翻了快一倍，DGX Spark 一年涨了 74%。为什么？

原因：这一轮涨价，涨的是内存

这三样东西的共同点是内存多：5090 有 32GB GDDR7，PRO 6000 有 96GB GDDR7，DGX Spark 有 128GB LPDDR5X。NVIDIA 给 DGX Spark 两次涨价给出的理由都是内存供应34，PRO 6000 涨价也被归因于 96GB GDDR7 的成本13。

背后的链条是这样的：AI 算力卡要用 HBM，HBM 和普通 DRAM、GDDR 共用存储厂的产线；AI 订单把产能吃掉，普通内存跟着紧。显存一紧，厂商优先把颗粒给利润最高的产品。原定 2026 年初发布的 RTX 50 Super 系列被推迟，用的正是和 PRO 6000 同一种 3GB GDDR7 颗粒14；NVIDIA 美国官方商城已经不再列出 5090，NVIDIA 否认停产，但承认供应受限15。

所以 显存越大的卡，这一轮涨得越凶；而 16GB 以下、AMD 和 Intel 的卡，零售价离首发价还不算太远。看价格时，首发价只说明厂商的定位，买的时候按零售价算。

消费卡的天花板是 32GB、1.8 TB/s。数据中心的卡贵十倍，多出来的东西在哪？

四、数据中心算力卡

现象：单卡算力只多几倍，价格多十倍以上

数据中心算力卡（购买价为市场估算，租价为每卡每小时，单位均为美元）
型号显存 GB带宽 TB/sBF16 稠密 TFLOPSFP8 稠密购买价租价
NVIDIA
A100 80G802.0312———
H100 SXM803.359891,9792.5–4 万2.82
H2001414.89891,979约 3.1 万3.43
B200180–19282,2504,5003–5 万5.93
B30028882,2504,500约 3.8–5.3 万6.71
Vera Rubin VR200288约 20–22—FP4 约 50 P已送样，下半年量产，未公开价格
AMD / Intel
MI300X1925.31,3072,615——
MI325X2566.01,3072,615——
MI355X2888约 2,5005,000约 2.5 万（未证实）5.99–8.60
MI455X43219.6—约 20,000Q3 末开始出货，72 卡整柜约 525 万
Gaudi 31283.71,8351,835约 1.56 万—

规格取厂商公开值，算力为稠密口径（厂商页面上 H100 的 1,979 BF16 是稀疏值，已减半）。购买价来自市场估算，NVIDIA 不公开标价；租价取 Silicon Data 指数（2026-10），MI355X 取 Oracle 按需价和比价站最低按需价。“—”为没有找到可靠数字。

表 2 · 数据中心卡的显存是 5090 的 2.5–13 倍、带宽 2–11 倍、单卡算力 5–11 倍，价格却是它首发价的十几到二十几倍

规格来自各家官方页面516171819，新一代的 Rubin 和 MI455X 来自送样和发布会的报道2021，价格来自市场估算和租价指数222324。

把 H100 和 5090 对照一下：显存 80GB 对 32GB，带宽 3.35 对 1.79 TB/s，稠密 BF16 989 对 209.5。按首发价，H100 每 TFLOPS 的价钱比 5090 还贵两三倍。如果只看单卡的这三列，数据中心卡并不划算。

原因：钱花在卡与卡之间

单卡的表看不出来的，是很多张卡能不能当一张卡用。一个 4000 亿参数的模型，或者一次几千张卡的训练，任何单卡都装不下，必须切到很多卡上；切开之后，每一层算完都要在卡之间交换中间结果。这时候卡与卡之间的通道，比单卡多快重要得多。

8 张 RTX 5090 与一台 8 卡 HGX B200 的卡间通道 左边 8 张 RTX 5090 各自通过 PCIe 5.0 x16 接到主机，每卡约 64 GB/s，显存是 8 个分开的 32GB；右边 8 张 B200 经 NVSwitch 全互联，每卡 1.8 TB/s，8 卡共 1.5TB 显存可以当一个整体切分模型。 8 张 RTX 5090 · 一台工作站 一台 HGX B200 · 8 卡 509032 GB 509032 GB 509032 GB 509032 GB CPU · PCIe 交换 509032 GB 509032 GB 509032 GB 509032 GB B200180 GB B200180 GB B200180 GB B200180 GB NVSwitch · 全互联 B200180 GB B200180 GB B200180 GB B200180 GB 每卡 PCIe 5.0 x16 ≈ 64 GB/s 没有 NVLink，卡间数据都绕主机走； 显存是 8 块分开的 32 GB 小池子。 每卡 NVLink 1.8 TB/s，约 28 倍 任意两卡直连，8 卡共 1.44 TB 显存， 可以像一张大卡一样切分模型。
图 2 · 数据中心卡贵在“很多张卡当一张用”：卡间带宽比消费卡走 PCIe 高一个多数量级

除了图上这条卡间通道，数据中心卡的价钱里还有几样消费卡没有的东西：

  • HBM 本身贵。 一张 B300 的 288GB HBM3e，在内存紧缺的年份里光颗粒就是一大笔，这也是 Rubin 带宽目标被下调的原因20。
  • 机柜级的扩展。 GB200/GB300 NVL72 把 72 张卡用 NVLink 连成一个域，AMD 的 Helios 也是 72 卡一柜21；单卡价格只是整柜的一部分。
  • 可靠性和软件授权。 ECC、长时间满载、厂商支持，以及企业软件订阅。

第一次尝试：买不起，就租

对个人和小团队来说，数据中心卡的正确打开方式通常是租。按 Silicon Data 的指数，H100 每卡时 2.82 美元、B200 5.93 美元23；Nebius 这类云厂商的按需价更高一些，10 月 1 日还刚涨过一次25。

粗算一下：一张 H100 买下来约 3 万美元，按每卡时 2.82 美元租，要满载约 10,600 小时，也就是一年两个多月才租到买价，还没算电费、机房和网络。偶尔用、用量波动大，就租；常年满载，才轮得到买。

这是一张以英伟达和 AMD 为主的表。在国内买卡，还有另一张表。

五、国产算力卡

现象：参数各说各话，价格几乎查不到

国产卡的公开资料比海外卡少得多：很多型号只公布了 FP16 或 INT8 的峰值，显存带宽要从第三方拼出来，单价几乎都是渠道转述。下表只收厂商发布会或官方规格里能找到的数字，第三方推测的单独标出来。

国产算力卡（厂商口径；价格为人民币渠道报价）
型号显存 GB带宽 TB/sFP16 稠密 TFLOPS价格与状态
华为昇腾
昇腾 910B64约 1.6280–414B1–B4 四档；单价未公开
昇腾 910C128约 3.2约 800两颗 910B 封装在一起；单价说法从 2 万到 11 万元，不可信
昇腾 950PR1281.6FP8 1,0002026 年 3 月量产；Atlas 350 卡约 11 万元
昇腾 950DT1444FP8 1,000计划 2026 年 Q4 量产，价格未公布
其他厂商
寒武纪 思元 59096？约 2？256显存、带宽为第三方推测
海光 K100 AI640.9196类 CUDA 生态，迁移成本低
沐曦 曦云 C500641.8240–280PCIe 版 240，OAM 版 280
摩尔线程 S4000480.77约 100GDDR6；FP16 另有 31.6 的说法
英伟达对华特供（参照）
H20964.0148按许可逐案审批

昆仑芯 P800、壁仞、燧原、天数智芯等的关键参数没有找到可靠的公开口径，没有列入。950 系列官方只给了 FP8 和 FP4 的数字。

表 3 · 国产卡的显存和带宽已经到了 H100 到 H200 之间，但算力口径和价格都还不透明

参数来自华为全联接大会的发布和国内的汇总文章262728，950PR 的价格来自渠道报价的整理29。

分析：在表上处于什么位置

硬件指标上，第一梯队已经到了 H100 到 H200 之间。 昇腾 910C 的显存和带宽在 H100 和 H200 之间，950DT 的 144GB、4 TB/s 和 H20、H200 同一水平。和表 2 比，差距主要在两处：一是还没有对应 B200/B300 的 8 TB/s 和 288GB；二是 FP16 算力的公开口径多半不区分累加精度和稀疏，和表 2 直接比可能偏乐观。

真正的差别在软件。 昇腾用 CANN，海光走类 CUDA 的路线、迁移最省事，其他家各有一套。表上的数字在同一套软件下才可比，换栈之后的实际利用率，要看具体模型的适配情况。

英伟达在国内的供货一直在变。 H20 按许可逐案审批；面向中国的 RTX Pro 6000D 在 2025 年 9 月被要求停止采购30，但金融时报报道 2026 年中国公司又买了超过一百万张 6000D 和 RTX Pro 500031。两条消息互相矛盾，这里只作转述，买卡前要以当时的政策为准。

到这里，从 12GB 的游戏卡到 288GB 的 B300，要么显存小，要么价格高。有没有显存大、价格又在个人能承受范围内的东西？

六、AI 小主机：DGX Spark 和它的对手

现象：六七千美元，装得下 1200 亿参数

DGX Spark 是一台比书还小的主机，里面是一颗 GB10 芯片，CPU 和 GPU 共用 128GB 内存32。它能整个装下 gpt-oss-120b 这样的 1,200 亿参数模型，单人对话每秒约 59 个 token33；而表 1 里最贵的消费卡 5090 只有 32GB，根本装不下。

同一类的机器还有好几种，它们走的都是同一条路：把显卡的显存换成大容量的统一内存。

AI 小主机（价格单位：美元，2026 年 10 月）
机器价格内存 GB带宽 GB/sgpt-oss-120b 生成软件栈
NVIDIA GB10 一族
DGX Spark 128G6,950128273约 59 tok/sCUDA
GB10 64G（OEM 版）4,999 起64273装不下CUDA
Jetson AGX Thor3,499128273—CUDA，面向机器人
AMD Ryzen AI Max
Strix Halo 128G 小主机3,300–3,650128256约 45–55 tok/sROCm / Vulkan
Gorgon Halo（AI Max+ Pro 495）未定192约 273—ROCm / Vulkan
Apple Mac Studio
M5 Max 128G约 5,400128614上限约 200（推算）MLX / Metal
M5 Ultra5,499 起最高 512约 1,200上限约 400（推算）MLX / Metal
其他
Tenstorrent p150a（加速卡）1,39932512装不下TT-Metalium
DGX Station GB3009.3–15.9 万288 + 496HBM 约 8,000—CUDA

gpt-oss-120b 生成速度为 llama.cpp 空上下文实测，Strix Halo 随系统和后端在 45–55 之间；Mac 的两行没有找到公开实测，是按下文的公式推算的上限。DGX Station 的内存是 288GB HBM3e 加 496GB LPDDR5X 两块。

表 4 · 小主机用两三百 GB/s 的带宽换来了 128GB 以上的容量；Mac Studio 是其中唯一把带宽也做上去的

数据来自各家规格页和评测32434353637383940，生成速度来自 llama.cpp 社区的实测3341。

原因：容量便宜，带宽贵

为什么同样 128GB，DGX Spark 只要六七千美元，而一张 96GB 的 PRO 6000 要一万六？因为它们用的是两种内存。

显卡用的 GDDR7 和 HBM，是靠很宽的总线、很高的频率堆出带宽的。 5090 的 512 位 GDDR7 有 1,792 GB/s，H100 的 HBM3 有 3.35 TB/s，代价是每 GB 很贵、容量很难做大。小主机用的 LPDDR5X 是手机和笔记本的内存，每 GB 便宜得多，128GB 也塞得进一个小盒子，但总线只有 256 位，带宽停在 256–273 GB/s，是 5090 的七分之一。

所以表 4 前几行在三把尺子上的位置很清楚：容量追上了数据中心卡，带宽只有中端游戏卡的一半，算力也只有一张 5070 上下（GB10 实测 BF16 约 60 TFLOPS）8。

回到起点：59 tok/s 是怎么来的

第二节说过，单人生成的上限约等于 带宽 ÷ 每个 token 要读的字节数。gpt-oss-120b 是 MoE 模型，1,200 亿参数里每个 token 只激活约 51 亿，按 MXFP4 约 4.25 位存储，每个 token 大约要读 3GB（这是推算，没算 KV 缓存）。

代进去：DGX Spark 是 273 ÷ 3 ≈ 90 tok/s 的上限，实测 59，跑到了上限的三分之二左右；Strix Halo 是 256 ÷ 3 ≈ 85，实测 45–55。两者实测差距主要来自软件栈，而不是硬件。按同样的算法，M5 Max 的上限约 200，M5 Ultra 约 400，这是 Mac Studio 在这一类里最大的优势。

这也解释了小主机的边界。模型越“稠密”，每个 token 要读的字节越多，小主机越慢。 一个 700 亿参数的稠密模型按 FP8 存要读约 70GB，DGX Spark 上限只有 4 tok/s 左右，实测约 2.742。小主机适合的，是 MoE 这种“总参数大、激活参数小”的模型。

第一次尝试：DGX Spark 和 Strix Halo 选哪个

两台机器带宽几乎一样，单人生成速度也接近。差别在三处：

  • 价格。 10 月份，Strix Halo 128GB 小主机在 3,300–3,650 美元，DGX Spark 128GB 是 6,950，差了一倍。
  • 预填充和算力。 GB10 的算力高得多，读一段长提示词时 DGX Spark 快好几倍41；做微调、跑 CUDA 专属的工具时，差距更明显。
  • 软件。 DGX Spark 是标准的 CUDA 环境，绝大多数开源项目开箱能跑；Strix Halo 要走 ROCm 或 Vulkan，能跑，但要多折腾。

Mac Studio 走的是第三条路：带宽是它们的两倍多到四倍多、内存最大到 512GB，代价是没有 CUDA。只看单人推理大 MoE 模型，Mac Studio 是这一类里最快的；要跟数据中心的 CUDA 环境保持一致，就是 DGX Spark。

七、放到一张图上：按用途来选

分析：容量和带宽的地图

把前面四张表里的卡和机器，按显存容量和带宽画到同一张图上：

显卡、算力卡和 AI 小主机的容量与带宽 横轴是显存或内存容量（对数），纵轴是带宽（对数）。消费级显卡集中在左侧 12 到 32GB、450 到 1,800 GB/s；DGX Spark、Strix Halo 等小主机在右下，128GB 但只有两三百 GB/s；数据中心卡在右上，80 到 288GB、3.35 到 8 TB/s；Mac Studio M5 Ultra 和 RTX PRO 6000 处在中间。 容量 × 带宽（标注为 2026 年 10 月参考价，美元，另注明的除外） 8 16 32 64 128 256 512 1024 200 500 1,000 2,000 5,000 10,000 显存 / 内存容量（GB，对数刻度） 带宽（GB/s，对数刻度） 消费卡：带宽够，容量小 小主机：容量大，带宽低 数据中心卡：两样都有 Arc B580 约 330 RX 9070 XT 750–830 RTX 5080 1.6–1.9 千 Arc Pro B60 约 650 R9700 约 1.3 千 RTX 5090 5–8.6 千 4090 48G 2.2–3 万元 RTX PRO 6000 约 1.6 万 Strix Halo 3.3–3.7 千 DGX Spark 6,950 M5 Max 约 5.4 千 M5 Ultra 512G 5,499 起 H100 2.5–4 万 Gaudi 3 约 1.6 万 H200 约 3.1 万 B200 3–5 万 B300 / MI355X 约 2.5–5 万
图 3 · 三类硬件各占一块：消费卡在左边，小主机在右下，数据中心卡在右上

这张图上大致分成三块：

  • 左边是消费卡。 带宽高、容量小，适合装得下的模型跑得快。
  • 右下是小主机。 容量大、带宽低，适合装下大 MoE 模型，单人慢慢用。
  • 右上是数据中心卡。 两样都有，再加上图 2 的卡间互联，代价是价格。

图上空出来的那一块，大容量、高带宽、价格又能接受，目前只有 Mac Studio M5 Ultra 和 RTX PRO 6000 靠得最近，而它们正好是这一轮涨价里最贵的几样之一。

解决：按用途对号入座

按用途选（2026 年 10 月）
用途先看哪把尺子候选
打游戏，顺带跑 7–14B 的模型价格RX 9070 XT、RTX 5070 Ti（16GB）
本地跑 30B 级模型，要快带宽 + 32GB 容量RTX 5090（若买得到）、4090 48G 改装卡、两张 R9700
单人跑 100B 级 MoE（gpt-oss-120b 等）容量，其次带宽Strix Halo 128G（最便宜）、DGX Spark（CUDA）、Mac Studio M5 Max（最快）
本地跑 600B 级模型的量化版容量Mac Studio M5 Ultra 512GB；或两台 DGX Spark 互联
微调、小规模训练算力 + 容量RTX PRO 6000，或按小时租 H100 / H200
多人在线服务、大规模训练卡间互联租或买 8 卡整机：H200、B200、B300、MI355X
国内合规采购软件适配昇腾 910C / 950、海光 K100 AI，先在目标模型上实测

“两台 DGX Spark 互联”是 NVIDIA 官方支持的用法，256GB 合起来能装下更大的模型，但每台带宽不变。

表 5 · 先想清楚是卡在容量、带宽还是算力上，再看价格

小结

回到开头的几个问题：

  1. 算力数字该拿哪个比？ 同一张卡的数字按精度、累加方式和稀疏各翻一倍，5090 从 104.8 到 3352 差 32 倍。统一用稠密 BF16、FP32 累加的口径，各家才能比；纸面峰值还要打折，DGX Spark 实测只有标称的一半左右。
  2. 除了算力还看什么？ 容量决定装不装得下，带宽决定单人生成快不快，算力决定预填充、批量服务和训练。
  3. 消费卡之间是什么关系？标价为什么失真？ 消费卡显存封顶 32GB；这一轮 AI 把内存产能吃掉，显存越大的产品涨得越凶，5090 零售价是首发价的两倍半以上，PRO 6000 和 DGX Spark 也涨了七八成。
  4. 数据中心卡多花的钱买到了什么？ 单卡算力只多几倍，钱主要花在 HBM 和卡间互联上，让很多张卡能当一张用。个人用户偶尔用就租，H100 每卡时不到 3 美元。
  5. 国产卡在什么位置？ 显存和带宽到了 H100 到 H200 之间，算力口径和价格不透明，差距更多在软件生态。
  6. 小主机凭什么跑得动大模型？ 用便宜的 LPDDR5X 换来 128GB 以上的容量，带宽只有两三百 GB/s，所以适合大 MoE、单人用；DGX Spark 的 59 tok/s 大约是 273 ÷ 3 这个上限的三分之二。

所有价格都是 2026 年 10 月的快照，这一轮内存紧缺没有缓和的迹象，按存储厂商的说法到 2027、2028 年还会更紧4。真要下单时，把表里的价格换成当天的零售价，再按表 5 的思路重新算一遍。

参考资料

Footnotes

  1. GPU price tracking 2026 — Lowest price on every graphics card from Nvidia, AMD, and Intel todayTom's Hardware · 2026-10tomshardware.com ↗2026-10 美国最低价：RTX 5090 8,599 美元、RTX 5080 1,899、RTX 5070 Ti 1,229、RX 9070 XT 829、Arc B580 缺货。https://www.tomshardware.com/pc-components/gpus/lowest-gpu-prices-tracking ↩ ↩2

  2. GPU Price Indexvideocardprices.com · 2026-10-20videocardprices.com ↗同期另一个跟踪站：RTX 5090 6,999 美元、5080 1,598.97、9070 XT 750、B580 329.99。两家跟踪站对 5090 差了 1,600 美元，所以本文给的是区间。https://videocardprices.com/gpu-price-index/ ↩ ↩2

  3. NVIDIA DGX Spark Sees $700 Price Hike Due To Ongoing Memory ShortagesWccftech · 2026-02wccftech.com ↗Founders Edition 从 3,999 涨到 4,699 美元，NVIDIA 在论坛说明原因是内存供应受限。https://wccftech.com/nvidia-dgx-spark-700-usd-price-hike-memory-shortages-4699-new-pricing/ ↩ ↩2

  4. Nvidia adds 64GB DGX Spark at 4,999 as 128GB model climbs to 6,950implicator.ai · 2026-10implicator.ai ↗128GB 版涨到 6,950 美元（比首发高约 74%）；新增 64GB 版 4,999 美元起，10 月 23 日起由 Acer、华硕、戴尔、技嘉、惠普、微星销售。二手市场 128GB GB10 机器约 7,000–9,000。美光预计内存紧缺到 2027、2028 年还会加剧。https://www.implicator.ai/nvidia-adds-64gb-dgx-spark-at-4-999-as-128gb-model-climbs-to-6-950/ ↩ ↩2 ↩3 ↩4

  5. NVIDIA H100 Tensor Core GPUNVIDIAnvidia.com ↗H100 SXM：80GB HBM3、3.35 TB/s；BF16 1,979 TFLOPS、FP8 3,958 TFLOPS 均为稀疏口径，稠密减半；NVLink 900 GB/s。https://www.nvidia.com/en-us/data-center/h100/ ↩ ↩2

  6. NVIDIA RTX Blackwell GPU Architecture（白皮书）NVIDIA · 2025images.nvidia.com ↗附录 A 的 GB202 规格表：RTX 5090 FP32 非张量 104.8 TFLOPS；BF16 张量（FP32 累加）209.5 稠密 / 419 稀疏；FP16 张量（FP16 累加）419 / 838；FP8 838 / 1676；FP4 1676 / 3352。RTX 5070 Ti、5080 的表格在同一附录。https://images.nvidia.com/aem-dam/Solutions/geforce/blackwell/nvidia-rtx-blackwell-gpu-architecture.pdf ↩ ↩2 ↩3

  7. Radeon AI PRO R9700 AI TOP 32G 规格GIGABYTEgigabyte.com ↗规格页写 FP16 峰值 95.7 TFLOPS（向量口径）；第三方比较站给的矩阵口径约 191（稠密）/ 383（稀疏）。同一张卡在不同页面差一倍、两倍，是口径不统一的典型例子。https://www.gigabyte.com/se/Graphics-Card/GV-R9700AI-TOP-32GD-rev-10/sp ↩ ↩2

  8. John Carmack attestiert Nvidias DGX Spark enttäuschende LeistungWinFuture · 2025-10winfuture.de ↗Carmack 实测 BF16 约 60 TFLOPS、功耗约 100 W，低于由 1 PFLOPS（FP4 稀疏）推回的约 125 TFLOPS；Awni Hannun 的 MLX 微基准结果相近。https://winfuture.de/news,154545.html ↩ ↩2

  9. GB10 really does hit ~1 PFLOP NVFP4 (2:4 sparse) — measuredNVIDIA Developer Forumsforums.developer.nvidia.com ↗用原生打包 FP4 指令测到约 511 TFLOPS 稠密、1014–1022 TFLOPS 稀疏，与标称一致；另一条 FP4 指令路径只有一半速率。https://forums.developer.nvidia.com/t/gb10-really-does-hit-1-pflop-nvfp4-2-4-sparse-measured-with-an-open-source-tool-to-reproduce-it/373618 ↩

  10. 几十美元的小盒子，为什么跑得动大模型twwy.nettwwy.net ↗单用户逐 token 生成卡在内存带宽而不是算力；MoE 把“装得下”和“跑得动”拆开。本文第二节直接用这个结论。https://twwy.net/blog/edge-llm-economics/ ↩

  11. NVIDIA Consumer GPU Market Update, October 2026BuySellRAM · 2026-10buysellram.com ↗RTX 5090 全新最低挂牌价从 3,004 涨到 4,920.99 美元（8 月到 10 月，+64%）；统计的是挂牌价不是成交价。https://www.buysellram.com/blog/nvidia-consumer-gpu-market-update/ ↩

  12. RTX5090与RTX4090魔改48G为何在8月持续涨价晨涧云 · 2026-08mornai.cn ↗8 月国内 RTX 5090 涨到 4 万元以上，4090 魔改 48G 站上 2.5 万元。https://www.mornai.cn/news/gpu/why-rtx-5090-and-modded-rtx-4090-48gb-prices-kept-rising-in-august/ ↩

  13. NVIDIA RTX PRO 6000 "Blackwell" 96 GB GPU Now Costs 16,000 USDTechPowerUp · 2026-10techpowerup.com ↗2025 年 3 月首发 8,565 美元，2026 年 10 月 NVIDIA 商城 16,000 美元，约 18 个月涨 87%，主要原因是 96GB GDDR7 的成本。https://www.techpowerup.com/351549/nvidia-rtx-pro-6000-blackwell-96-gb-gpu-now-costs-usd-16-000 ↩

  14. RTX 50 Super GPUs may be delayed indefinitely as Nvidia prioritizes AI during memory shortageNotebookcheck · 2026-02notebookcheck.net ↗转述 The Information：因显存短缺、优先保障 AI 芯片，RTX 50 Super 推迟；Super 原计划用的 3GB GDDR7 颗粒和 RTX PRO 6000 是同一种。https://www.notebookcheck.net/RTX-50-Super-GPUs-may-be-delayed-indefinitely-as-Nvidia-prioritizes-AI-during-memory-shortage.1199980.0.html ↩

  15. Nvidia says RTX 5090 is still in production, but its absence from the company's US store says otherwiseTechSpot · 2026-10techspot.com ↗NVIDIA 高级副总裁 Jeff Fisher 否认 5090 停产，但承认供应链产能受限；NVIDIA 美国官方商城已不再列出 5090。https://www.techspot.com/news/114254-nvidia-rtx-5090-production-but-absence-company-us.html ↩

  16. NVIDIA H200 Tensor Core GPUNVIDIAnvidia.com ↗141GB HBM3e、4.8 TB/s，算力与 H100 相同。https://www.nvidia.com/en-us/data-center/h200/ ↩

  17. NVIDIA DGX B200NVIDIAnvidia.com ↗8 卡共 1,440GB 显存；第五代 NVLink 每卡 1.8 TB/s，经 NVSwitch 全互联。https://www.nvidia.com/en-us/data-center/dgx-b200/ ↩

  18. AMD Instinct MI355XAMDamd.com ↗288GB HBM3E、8 TB/s；FP16/BF16 矩阵约 2.5 PFLOPS 稠密，FP8 5 PFLOPS 稠密、10 稀疏。https://www.amd.com/en/products/accelerators/instinct/mi350/mi355x.html ↩

  19. Intel's Gaudi 3 will cost half the price of Nvidia's H100Tom's Hardware · 2024-06tomshardware.com ↗8 卡套件 12.5 万美元（约 1.56 万每卡）；128GB HBM2e、3.7 TB/s，BF16/FP8 矩阵约 1,835 TFLOPS。https://www.tomshardware.com/pc-components/cpus/intels-gaudi-3-will-cost-half-the-price-of-nvidias-h100 ↩

  20. NVIDIA Lowers HBM4 Specs for "Vera Rubin" VR200 as Memory Suppliers Miss 22 TB/s TargetTechPowerUp · 2026techpowerup.com ↗VR200：288GB HBM4，目标 22 TB/s，首批约 20 TB/s；FP4 约 50 PFLOPS；已向客户送样，整机 2026 下半年量产，未公开价格。https://www.techpowerup.com/346983/nvidia-lowers-hbm4-specs-for-vera-rubin-vr200-as-memory-suppliers-miss-22-tb-s-target ↩ ↩2

  21. AMD MI400 vs Nvidia Rubin: 432GB HBM4 GPU WarTech Insider · 2026tech-insider.org ↗MI455X：432GB HBM4（12 堆 × 36GB），带宽 19.6 TB/s（另有 23.3 的说法），FP8 约 20 PFLOPS、MXFP4 约 40；Helios 72 卡整柜，报道价约 525 万美元；2026 Q3 末开始出货。https://tech-insider.org/ca/amd-mi400-hbm4-nvidia-rubin-b300-2026/ ↩ ↩2

  22. NVIDIA AI GPU Pricing Guide: H100, H200, B200, B300IntuitionLabs · 2026-10intuitionlabs.ai ↗购买价估算：H100 约 2.5–4 万美元、H200 约 3.1–3.2 万（单卡 NVL）、B200 约 3–5 万；DGX B300 八卡整机 30–35 万。NVIDIA 不公开标价，均为市场估算。https://intuitionlabs.ai/articles/nvidia-ai-gpu-pricing-guide ↩

  23. GPU cloud pricing, October 2026: what an H100, H200, B200 or B300 costs per hourDEV Community · 2026-10dev.to ↗引用 Silicon Data 租价指数：H100 每卡时 2.82 美元、H200 3.43、B200 5.93、B300 6.71。https://dev.to/viswaretas_kotra/gpu-cloud-pricing-october-2026-what-an-h100-h200-b200-or-b300-costs-per-hour-5a25 ↩ ↩2

  24. AMD MI300X & MI355X Pricing 2026: The Real On-Demand RatesSpheron · 2026spheron.network ↗MI355X 能核实的按需价只有 Oracle 每卡时 8.60 美元；购买价约 2.5 万美元的说法未经证实。https://www.spheron.network/blog/amd-mi300x-mi355x-pricing-2026/ ↩

  25. Nebius raises H100, H200, B200 and B300 GPU pricesUsagePricing · 2026-09-24usagepricing.com ↗2026-10-01 起按需价：H100 4.50、H200 5.40、B200 8.50、B300 9.50 美元每卡时。https://www.usagepricing.com/blueprint/activity/nebius-ai-2026-09-24-gpu-price-increase ↩

  26. 昇腾950首发！华为自研HBM内存正式公布：最大144GB 带宽4TB/s新浪科技 · 2025-09-18finance.sina.com.cn ↗华为全联接大会 2025：950PR 配 HiBL 1.0（128GB、1.6 TB/s），950DT 配 HiZQ 2.0（144GB、4 TB/s）；FP8 1 PFLOPS、MXFP4 2 PFLOPS。https://finance.sina.com.cn/tech/roll/2025-09-18/doc-infqwutp4036206.shtml ↩

  27. 2025年最新技术参数、市场份额及应用场景的国产AI计算卡综合排名知乎zhuanlan.zhihu.com ↗汇总了昇腾 910B（B1–B4 分档，FP16 280–414 TFLOPS）、海光 K100 AI（64GB、896 GB/s、FP16 196）、摩尔线程 S4000（48GB、768 GB/s）、沐曦 C500（64GB HBM2e、1.8 TB/s、FP16 240/280）等参数。各来源数值互有出入，本文取厂商口径。https://zhuanlan.zhihu.com/p/1982095781738586879 ↩

  28. 寒武纪 MLU590（思元590）MirrorFrogmirrorfrog.com ↗FP16 256 TFLOPS（另有 345 的说法）、INT8 512 TOPS；96GB HBM2e、约 2 TB/s；单价 8,000–10,000 美元为推测。https://mirrorfrog.com/docs/cards/others/cambricon-mlu-590/ ↩

  29. 昇腾 950 系列最新报价：950PR 与 950DT 的价格曲线MirrorFrog · 2026-10mirrorfrog.com ↗950PR 的 Atlas 350 加速卡 2026-03-20 上市，市场报价约 11 万元；行业报告另有 5 万（DDR 版）/ 7 万元（HBM 版）每颗的口径；950DT 计划 2026 Q4 量产，价格未公布。https://mirrorfrog.com/blog/ascend-950-price-hike-2026october/ ↩

  30. Exploring the RTX Pro 6000D, Nvidia's China-only GPU, which is now banned from saleTom's Hardware · 2025-09tomshardware.com ↗6000D 单价约 7,000 美元，被认为太慢；2025 年 9 月网信办要求大厂停止采购。https://www.tomshardware.com/tech-industry/semiconductors/why-nobody-is-buying-nvidia-6000d-in-china ↩

  31. FT: Chinese tech firms bought 1M+ Nvidia RTX Pro 6000D and 5000 chips in 2026AI Weekly（转述金融时报） · 2026-10aiweekly.co ↗2026 年中国公司为填补算力缺口买了超过 100 万张 RTX Pro 6000D 和 RTX Pro 5000。与 2025 年的禁令说法冲突，本文只作为转述引用。https://aiweekly.co/alerts/ft-chinese-tech-firms-bought-1m-nvidia-rtx-pro-6000d-and-5000-chips-in-2026-for ↩

  32. NVIDIA DGX SparkNVIDIAnvidia.com ↗GB10：128GB LPDDR5X 统一内存、273 GB/s；1 PFLOPS FP4（含稀疏）；ConnectX-7 可两台互联。https://www.nvidia.com/en-us/products/workstations/dgx-spark/ ↩ ↩2

  33. Performance of llama.cpp on NVIDIA DGX Spark（Discussion #16578）ggml-org/llama.cppgithub.com ↗gpt-oss-120b（MXFP4）空上下文生成约 58.7 tok/s，32K 上下文后降到约 42.8；预填充约 1,700–2,000 tok/s。https://github.com/ggml-org/llama.cpp/discussions/16578 ↩ ↩2

  34. Nvidia's Jetson AGX Thor costs 3499 US dollars as a dev kitheise online · 2025-08heise.de ↗128GB LPDDR5X、273 GB/s，FP4 约 2,070 TFLOPS（稀疏）；面向机器人，不是桌面推理机。https://heise.de/-10622015 ↩

  35. Best Ryzen AI Max+ 395 Mini PC (2026): 5 Compared by Price and PortsComputingForGeeks · 2026-10computingforgeeks.com ↗128GB 版：Framework Desktop 3,449 美元（缺货），GMKtec EVO-X2 3,499（1TB）/ 3,649（2TB），Bosgame M5 约 3,324。https://computingforgeeks.com/ryzen-ai-max-395-mini-pc-comparison/ ↩

  36. AMD Ryzen AI Max 400 'Gorgon Halo' packs up to 192GB of unified memoryTom's Hardware · 2026tomshardware.com ↗Strix Halo 的小改款：最高 192GB LPDDR5X-8533（GPU 最多可分 160GB），带宽约增 7% 到约 273 GB/s；目前带 Pro 后缀，面向商用。https://www.tomshardware.com/pc-components/cpus/amd-ryzen-ai-max-400-gorgon-halo-packs-up-to-192gb-of-unified-memory-refreshed-apu-uses-zen-5-and-rdna-3-5-and-can-clock-up-to-5-2-ghz ↩

  37. Apple unveils next generation Mac Studio with M5 Max and M5 Ultra9to5Mac · 2026-08-259to5mac.com ↗M5 Max 起价 2,499 美元（36GB），最高 128GB、614 GB/s；M5 Ultra 起价 5,499，最高 512GB、约 1.2 TB/s，满配 18,299。https://9to5mac.com/2026/08/25/apple-unveils-next-generation-mac-studio-with-m5-max-and-m5-ultra/ ↩

  38. Apple Mac Studio (M5 Ultra) review: Huge AI and graphics power at a huge premiumEngadget · 2026engadget.com ↗M5 Ultra 起价比上一代（3,999 美元起）高出一截；评测时在售的是 96GB 和 256GB 配置，512GB 推迟。https://www.engadget.com/2263184/apple-mac-studio-m5-ultra-review/ ↩

  39. Tenstorrent Launches Blackhole Developer Products at Tenstorrent Dev DayTenstorrenttenstorrent.com ↗Blackhole p150：32GB GDDR6、512 GB/s，首发 1,399 美元；卡上带以太网口，多卡直接互联。https://tenstorrent.com/en/newsroom/tenstorrent-launches-blackhole-developer-products-at-tenstorrent-dev-day ↩

  40. Nvidia's GB300-powered DGX Station listed for nearly 100,000 dollarsTom's Hardware · 2026tomshardware.com ↗GB300 桌面超级芯片：288GB HBM3e + 约 496GB LPDDR5X；美国挂牌价从超微约 92,887 到戴尔 159,283 美元。https://www.tomshardware.com/desktops/nvidias-gb300-powered-dgx-station-desktop-tower-listed-for-nearly-usd100-000-online-enterprise-ai-powerhouse-now-available-to-buy-for-mere-mortals-with-lots-of-cash ↩

  41. First Nvidia DGX Spark LLM Benchmarks Are In: Does It Beat Strix HaloHardware Cornerhardware-corner.net ↗同一版本 llama.cpp：gpt-oss-120b 生成 Strix Halo 44.7 tok/s、DGX Spark 59.5；预填充 Spark 快好几倍。社区在 Linux 下给 Strix Halo 测到过约 55 tok/s。https://www.hardware-corner.net/first-dgx-spark-llm-benchmarks/ ↩ ↩2

  42. NVIDIA DGX Spark Review: Price, Specs & BenchmarksIntuitionLabs · 2026intuitionlabs.ai ↗Llama 3.1 70B（FP8、batch 1）生成约 2.7 tok/s；gpt-oss-120b 预填充约 1,723 tok/s。https://intuitionlabs.ai/articles/nvidia-dgx-spark-review ↩