---
title: "从 249 美元到 9 万美元：显卡、算力卡和 AI 小主机放在一起比"
description: "想把市面上的显卡、算力卡和 DGX Spark 这类 AI 小主机排在一张表里比价格和性能，很快撞上三个怪现象：同一张卡有六个算力数字、标价 1999 美元的卡卖到五千以上、贵十倍的卡算力只多几倍。顺着这几个问题往下追：算力数字的口径怎么统一、该看哪几把尺子、消费级卡和数据中心卡差在哪、国产卡在什么位置、小主机用什么换来了大内存，最后放到一张图上按用途来选。"
pubDate: 2026-10-22
tags: ["GPU", "算力", "硬件选型", "大模型", "DGX Spark"]
hero: "./hero.svg"
refs:
- id: blackwell-wp
title: "NVIDIA RTX Blackwell GPU Architecture（白皮书）"
url: https://images.nvidia.com/aem-dam/Solutions/geforce/blackwell/nvidia-rtx-blackwell-gpu-architecture.pdf
site: NVIDIA
date: "2025"
note: "附录 A 的 GB202 规格表：RTX 5090 FP32 非张量 104.8 TFLOPS；BF16 张量（FP32 累加）209.5 稠密 / 419 稀疏；FP16 张量（FP16 累加）419 / 838；FP8 838 / 1676；FP4 1676 / 3352。RTX 5070 Ti、5080 的表格在同一附录。"
- id: spark-carmack
title: "John Carmack attestiert Nvidias DGX Spark enttäuschende Leistung"
url: https://winfuture.de/news,154545.html
site: WinFuture
date: "2025-10"
note: "Carmack 实测 BF16 约 60 TFLOPS、功耗约 100 W，低于由 1 PFLOPS（FP4 稀疏）推回的约 125 TFLOPS；Awni Hannun 的 MLX 微基准结果相近。"
- id: spark-fp4
title: "GB10 really does hit ~1 PFLOP NVFP4 (2:4 sparse) — measured"
url: https://forums.developer.nvidia.com/t/gb10-really-does-hit-1-pflop-nvfp4-2-4-sparse-measured-with-an-open-source-tool-to-reproduce-it/373618
site: NVIDIA Developer Forums
note: "用原生打包 FP4 指令测到约 511 TFLOPS 稠密、1014–1022 TFLOPS 稀疏，与标称一致；另一条 FP4 指令路径只有一半速率。"
- id: r9700-spec
title: "Radeon AI PRO R9700 AI TOP 32G 规格"
url: https://www.gigabyte.com/se/Graphics-Card/GV-R9700AI-TOP-32GD-rev-10/sp
site: GIGABYTE
note: "规格页写 FP16 峰值 95.7 TFLOPS（向量口径）；第三方比较站给的矩阵口径约 191（稠密）/ 383（稀疏）。同一张卡在不同页面差一倍、两倍，是口径不统一的典型例子。"
- id: toms-price
title: "GPU price tracking 2026 — Lowest price on every graphics card from Nvidia, AMD, and Intel today"
url: https://www.tomshardware.com/pc-components/gpus/lowest-gpu-prices-tracking
site: Tom's Hardware
date: "2026-10"
note: "2026-10 美国最低价：RTX 5090 8,599 美元、RTX 5080 1,899、RTX 5070 Ti 1,229、RX 9070 XT 829、Arc B580 缺货。"
- id: vcp-index
title: "GPU Price Index"
url: https://videocardprices.com/gpu-price-index/
site: videocardprices.com
date: "2026-10-20"
note: "同期另一个跟踪站：RTX 5090 6,999 美元、5080 1,598.97、9070 XT 750、B580 329.99。两家跟踪站对 5090 差了 1,600 美元，所以本文给的是区间。"
- id: buysellram
title: "NVIDIA Consumer GPU Market Update, October 2026"
url: https://www.buysellram.com/blog/nvidia-consumer-gpu-market-update/
site: BuySellRAM
date: "2026-10"
note: "RTX 5090 全新最低挂牌价从 3,004 涨到 4,920.99 美元（8 月到 10 月，+64%）；统计的是挂牌价不是成交价。"
- id: rtx5090-denial
title: "Nvidia says RTX 5090 is still in production, but its absence from the company's US store says otherwise"
url: https://www.techspot.com/news/114254-nvidia-rtx-5090-production-but-absence-company-us.html
site: TechSpot
date: "2026-10"
note: "NVIDIA 高级副总裁 Jeff Fisher 否认 5090 停产，但承认供应链产能受限；NVIDIA 美国官方商城已不再列出 5090。"
- id: super-delay
title: "RTX 50 Super GPUs may be delayed indefinitely as Nvidia prioritizes AI during memory shortage"
url: https://www.notebookcheck.net/RTX-50-Super-GPUs-may-be-delayed-indefinitely-as-Nvidia-prioritizes-AI-during-memory-shortage.1199980.0.html
site: Notebookcheck
date: "2026-02"
note: "转述 The Information：因显存短缺、优先保障 AI 芯片，RTX 50 Super 推迟；Super 原计划用的 3GB GDDR7 颗粒和 RTX PRO 6000 是同一种。"
- id: spark-hike-feb
title: "NVIDIA DGX Spark Sees $700 Price Hike Due To Ongoing Memory Shortages"
url: https://wccftech.com/nvidia-dgx-spark-700-usd-price-hike-memory-shortages-4699-new-pricing/
site: Wccftech
date: "2026-02"
note: "Founders Edition 从 3,999 涨到 4,699 美元，NVIDIA 在论坛说明原因是内存供应受限。"
- id: spark-hike-oct
title: "Nvidia adds 64GB DGX Spark at 4,999 as 128GB model climbs to 6,950"
url: https://www.implicator.ai/nvidia-adds-64gb-dgx-spark-at-4-999-as-128gb-model-climbs-to-6-950/
site: implicator.ai
date: "2026-10"
note: "128GB 版涨到 6,950 美元（比首发高约 74%）；新增 64GB 版 4,999 美元起，10 月 23 日起由 Acer、华硕、戴尔、技嘉、惠普、微星销售。二手市场 128GB GB10 机器约 7,000–9,000。美光预计内存紧缺到 2027、2028 年还会加剧。"
- id: pro6000
title: "NVIDIA RTX PRO 6000 \"Blackwell\" 96 GB GPU Now Costs 16,000 USD"
url: https://www.techpowerup.com/351549/nvidia-rtx-pro-6000-blackwell-96-gb-gpu-now-costs-usd-16-000
site: TechPowerUp
date: "2026-10"
note: "2025 年 3 月首发 8,565 美元，2026 年 10 月 NVIDIA 商城 16,000 美元，约 18 个月涨 87%，主要原因是 96GB GDDR7 的成本。"
- id: dc-price
title: "NVIDIA AI GPU Pricing Guide: H100, H200, B200, B300"
url: https://intuitionlabs.ai/articles/nvidia-ai-gpu-pricing-guide
site: IntuitionLabs
date: "2026-10"
note: "购买价估算：H100 约 2.5–4 万美元、H200 约 3.1–3.2 万（单卡 NVL）、B200 约 3–5 万；DGX B300 八卡整机 30–35 万。NVIDIA 不公开标价，均为市场估算。"
- id: rent-index
title: "GPU cloud pricing, October 2026: what an H100, H200, B200 or B300 costs per hour"
url: https://dev.to/viswaretas_kotra/gpu-cloud-pricing-october-2026-what-an-h100-h200-b200-or-b300-costs-per-hour-5a25
site: DEV Community
date: "2026-10"
note: "引用 Silicon Data 租价指数：H100 每卡时 2.82 美元、H200 3.43、B200 5.93、B300 6.71。"
- id: nebius
title: "Nebius raises H100, H200, B200 and B300 GPU prices"
url: https://www.usagepricing.com/blueprint/activity/nebius-ai-2026-09-24-gpu-price-increase
site: UsagePricing
date: "2026-09-24"
note: "2026-10-01 起按需价：H100 4.50、H200 5.40、B200 8.50、B300 9.50 美元每卡时。"
- id: h100-spec
title: "NVIDIA H100 Tensor Core GPU"
url: https://www.nvidia.com/en-us/data-center/h100/
site: NVIDIA
note: "H100 SXM：80GB HBM3、3.35 TB/s；BF16 1,979 TFLOPS、FP8 3,958 TFLOPS 均为稀疏口径，稠密减半；NVLink 900 GB/s。"
- id: h200-spec
title: "NVIDIA H200 Tensor Core GPU"
url: https://www.nvidia.com/en-us/data-center/h200/
site: NVIDIA
note: "141GB HBM3e、4.8 TB/s，算力与 H100 相同。"
- id: b200-spec
title: "NVIDIA DGX B200"
url: https://www.nvidia.com/en-us/data-center/dgx-b200/
site: NVIDIA
note: "8 卡共 1,440GB 显存；第五代 NVLink 每卡 1.8 TB/s，经 NVSwitch 全互联。"
- id: mi355x-spec
title: "AMD Instinct MI355X"
url: https://www.amd.com/en/products/accelerators/instinct/mi350/mi355x.html
site: AMD
note: "288GB HBM3E、8 TB/s；FP16/BF16 矩阵约 2.5 PFLOPS 稠密，FP8 5 PFLOPS 稠密、10 稀疏。"
- id: mi355x-price
title: "AMD MI300X & MI355X Pricing 2026: The Real On-Demand Rates"
url: https://www.spheron.network/blog/amd-mi300x-mi355x-pricing-2026/
site: Spheron
date: "2026"
note: "MI355X 能核实的按需价只有 Oracle 每卡时 8.60 美元；购买价约 2.5 万美元的说法未经证实。"
- id: mi455x
title: "AMD MI400 vs Nvidia Rubin: 432GB HBM4 GPU War"
url: https://tech-insider.org/ca/amd-mi400-hbm4-nvidia-rubin-b300-2026/
site: Tech Insider
date: "2026"
note: "MI455X：432GB HBM4（12 堆 × 36GB），带宽 19.6 TB/s（另有 23.3 的说法），FP8 约 20 PFLOPS、MXFP4 约 40；Helios 72 卡整柜，报道价约 525 万美元；2026 Q3 末开始出货。"
- id: vr200
title: "NVIDIA Lowers HBM4 Specs for \"Vera Rubin\" VR200 as Memory Suppliers Miss 22 TB/s Target"
url: https://www.techpowerup.com/346983/nvidia-lowers-hbm4-specs-for-vera-rubin-vr200-as-memory-suppliers-miss-22-tb-s-target
site: TechPowerUp
date: "2026"
note: "VR200：288GB HBM4，目标 22 TB/s，首批约 20 TB/s；FP4 约 50 PFLOPS；已向客户送样，整机 2026 下半年量产，未公开价格。"
- id: gaudi3
title: "Intel's Gaudi 3 will cost half the price of Nvidia's H100"
url: https://www.tomshardware.com/pc-components/cpus/intels-gaudi-3-will-cost-half-the-price-of-nvidias-h100
site: Tom's Hardware
date: "2024-06"
note: "8 卡套件 12.5 万美元（约 1.56 万每卡）；128GB HBM2e、3.7 TB/s，BF16/FP8 矩阵约 1,835 TFLOPS。"
- id: ascend950
title: "昇腾950首发！华为自研HBM内存正式公布：最大144GB 带宽4TB/s"
url: https://finance.sina.com.cn/tech/roll/2025-09-18/doc-infqwutp4036206.shtml
site: 新浪科技
date: "2025-09-18"
note: "华为全联接大会 2025：950PR 配 HiBL 1.0（128GB、1.6 TB/s），950DT 配 HiZQ 2.0（144GB、4 TB/s）；FP8 1 PFLOPS、MXFP4 2 PFLOPS。"
- id: ascend950-price
title: "昇腾 950 系列最新报价：950PR 与 950DT 的价格曲线"
url: https://mirrorfrog.com/blog/ascend-950-price-hike-2026october/
site: MirrorFrog
date: "2026-10"
note: "950PR 的 Atlas 350 加速卡 2026-03-20 上市，市场报价约 11 万元；行业报告另有 5 万（DDR 版）/ 7 万元（HBM 版）每颗的口径；950DT 计划 2026 Q4 量产，价格未公布。"
- id: cn-cards
title: "2025年最新技术参数、市场份额及应用场景的国产AI计算卡综合排名"
url: https://zhuanlan.zhihu.com/p/1982095781738586879
site: 知乎
note: "汇总了昇腾 910B（B1–B4 分档，FP16 280–414 TFLOPS）、海光 K100 AI（64GB、896 GB/s、FP16 196）、摩尔线程 S4000（48GB、768 GB/s）、沐曦 C500（64GB HBM2e、1.8 TB/s、FP16 240/280）等参数。各来源数值互有出入，本文取厂商口径。"
- id: mlu590
title: "寒武纪 MLU590（思元590）"
url: https://mirrorfrog.com/docs/cards/others/cambricon-mlu-590/
site: MirrorFrog
note: "FP16 256 TFLOPS（另有 345 的说法）、INT8 512 TOPS；96GB HBM2e、约 2 TB/s；单价 8,000–10,000 美元为推测。"
- id: modded-4090
title: "RTX5090与RTX4090魔改48G为何在8月持续涨价"
url: https://www.mornai.cn/news/gpu/why-rtx-5090-and-modded-rtx-4090-48gb-prices-kept-rising-in-august/
site: 晨涧云
date: "2026-08"
note: "8 月国内 RTX 5090 涨到 4 万元以上，4090 魔改 48G 站上 2.5 万元。"
- id: pro6000d
title: "Exploring the RTX Pro 6000D, Nvidia's China-only GPU, which is now banned from sale"
url: https://www.tomshardware.com/tech-industry/semiconductors/why-nobody-is-buying-nvidia-6000d-in-china
site: Tom's Hardware
date: "2025-09"
note: "6000D 单价约 7,000 美元，被认为太慢；2025 年 9 月网信办要求大厂停止采购。"
- id: ft-6000d
title: "FT: Chinese tech firms bought 1M+ Nvidia RTX Pro 6000D and 5000 chips in 2026"
url: https://aiweekly.co/alerts/ft-chinese-tech-firms-bought-1m-nvidia-rtx-pro-6000d-and-5000-chips-in-2026-for
site: AI Weekly（转述金融时报）
date: "2026-10"
note: "2026 年中国公司为填补算力缺口买了超过 100 万张 RTX Pro 6000D 和 RTX Pro 5000。与 2025 年的禁令说法冲突，本文只作为转述引用。"
- id: spark-spec
title: "NVIDIA DGX Spark"
url: https://www.nvidia.com/en-us/products/workstations/dgx-spark/
site: NVIDIA
note: "GB10：128GB LPDDR5X 统一内存、273 GB/s；1 PFLOPS FP4（含稀疏）；ConnectX-7 可两台互联。"
- id: spark-review
title: "NVIDIA DGX Spark Review: Price, Specs & Benchmarks"
url: https://intuitionlabs.ai/articles/nvidia-dgx-spark-review
site: IntuitionLabs
date: "2026"
note: "Llama 3.1 70B（FP8、batch 1）生成约 2.7 tok/s；gpt-oss-120b 预填充约 1,723 tok/s。"
- id: llamacpp-spark
title: "Performance of llama.cpp on NVIDIA DGX Spark（Discussion #16578）"
url: https://github.com/ggml-org/llama.cpp/discussions/16578
site: ggml-org/llama.cpp
note: "gpt-oss-120b（MXFP4）空上下文生成约 58.7 tok/s，32K 上下文后降到约 42.8；预填充约 1,700–2,000 tok/s。"
- id: spark-vs-halo
title: "First Nvidia DGX Spark LLM Benchmarks Are In: Does It Beat Strix Halo"
url: https://www.hardware-corner.net/first-dgx-spark-llm-benchmarks/
site: Hardware Corner
note: "同一版本 llama.cpp：gpt-oss-120b 生成 Strix Halo 44.7 tok/s、DGX Spark 59.5；预填充 Spark 快好几倍。社区在 Linux 下给 Strix Halo 测到过约 55 tok/s。"
- id: halo-prices
title: "Best Ryzen AI Max+ 395 Mini PC (2026): 5 Compared by Price and Ports"
url: https://computingforgeeks.com/ryzen-ai-max-395-mini-pc-comparison/
site: ComputingForGeeks
date: "2026-10"
note: "128GB 版：Framework Desktop 3,449 美元（缺货），GMKtec EVO-X2 3,499（1TB）/ 3,649（2TB），Bosgame M5 约 3,324。"
- id: gorgon
title: "AMD Ryzen AI Max 400 'Gorgon Halo' packs up to 192GB of unified memory"
url: https://www.tomshardware.com/pc-components/cpus/amd-ryzen-ai-max-400-gorgon-halo-packs-up-to-192gb-of-unified-memory-refreshed-apu-uses-zen-5-and-rdna-3-5-and-can-clock-up-to-5-2-ghz
site: Tom's Hardware
date: "2026"
note: "Strix Halo 的小改款：最高 192GB LPDDR5X-8533（GPU 最多可分 160GB），带宽约增 7% 到约 273 GB/s；目前带 Pro 后缀，面向商用。"
- id: mac-studio
title: "Apple unveils next generation Mac Studio with M5 Max and M5 Ultra"
url: https://9to5mac.com/2026/08/25/apple-unveils-next-generation-mac-studio-with-m5-max-and-m5-ultra/
site: 9to5Mac
date: "2026-08-25"
note: "M5 Max 起价 2,499 美元（36GB），最高 128GB、614 GB/s；M5 Ultra 起价 5,499，最高 512GB、约 1.2 TB/s，满配 18,299。"
- id: m5-ultra-review
title: "Apple Mac Studio (M5 Ultra) review: Huge AI and graphics power at a huge premium"
url: https://www.engadget.com/2263184/apple-mac-studio-m5-ultra-review/
site: Engadget
date: "2026"
note: "M5 Ultra 起价比上一代（3,999 美元起）高出一截；评测时在售的是 96GB 和 256GB 配置，512GB 推迟。"
- id: dgx-station
title: "Nvidia's GB300-powered DGX Station listed for nearly 100,000 dollars"
url: https://www.tomshardware.com/desktops/nvidias-gb300-powered-dgx-station-desktop-tower-listed-for-nearly-usd100-000-online-enterprise-ai-powerhouse-now-available-to-buy-for-mere-mortals-with-lots-of-cash
site: Tom's Hardware
date: "2026"
note: "GB300 桌面超级芯片：288GB HBM3e + 约 496GB LPDDR5X；美国挂牌价从超微约 92,887 到戴尔 159,283 美元。"
- id: thor
title: "Nvidia's Jetson AGX Thor costs 3499 US dollars as a dev kit"
url: https://heise.de/-10622015
site: heise online
date: "2025-08"
note: "128GB LPDDR5X、273 GB/s，FP4 约 2,070 TFLOPS（稀疏）；面向机器人，不是桌面推理机。"
- id: tenstorrent
title: "Tenstorrent Launches Blackhole Developer Products at Tenstorrent Dev Day"
url: https://tenstorrent.com/en/newsroom/tenstorrent-launches-blackhole-developer-products-at-tenstorrent-dev-day
site: Tenstorrent
note: "Blackhole p150：32GB GDDR6、512 GB/s，首发 1,399 美元；卡上带以太网口，多卡直接互联。"
- id: edge-llm
title: "几十美元的小盒子，为什么跑得动大模型"
url: https://twwy.net/blog/edge-llm-economics/
site: twwy.net
note: "单用户逐 token 生成卡在内存带宽而不是算力；MoE 把“装得下”和“跑得动”拆开。本文第二节直接用这个结论。"
---
最近想把手头能买到的显卡、算力卡和 AI 小主机排一张表，比一比价格和性能。打开几家的价格页和规格页，还没开始比，就先撞上三个怪现象：
- **同一张卡有好几个算力数字。** RTX 5090 的规格表上，104.8、209.5、419、838、1676、3352 都写着 TFLOPS 或 TOPS，最大和最小差了 32 倍。
- **标价不算数。** RTX 5090 首发价 1,999 美元，2026 年 10 月美国零售在 5,000 到 8,600 美元之间[^toms-price][^vcp-index]；DGX Spark 去年 3,999 美元上市，今年 2 月涨到 4,699，10 月又涨到 6,950[^spark-hike-feb][^spark-hike-oct]。
- **贵十倍，算力只多几倍。** 一张 H100 要两三万美元，稠密 BF16 算力 989 TFLOPS；一张 RTX 5090 按首发价只要它的十几分之一，同口径算力是 209.5，H100 只多不到 5 倍[^h100-spec][^blackwell-wp]。
于是有几个问题要先回答：
1. 这么多算力数字，到底该拿哪个来比？
2. 除了算力，还要看什么？
3. 消费级显卡之间，价格和性能是什么关系？标价为什么全失真了？
4. 数据中心的算力卡贵十倍，多出来的钱买到了什么？
5. 国产算力卡处在什么位置？
6. DGX Spark、Mac Studio、Strix Halo 这类小主机，凭什么能跑显卡跑不了的大模型？
本文不按“型号清单”来写，而是顺着这几个问题，一层一层把这张表建起来。价格时点统一取 2026 年 10 月中下旬；数据中心卡没有公开标价，用的是市场估算和租价指数。
## 一、算力数字的口径
### 现象：一张卡，六个数字
把 RTX 5090 白皮书附录里的规格表摘出来[^blackwell-wp]：
图 1 · 同一颗芯片，规格表上的“算力”差 32 倍，差别全在精度、累加方式和是否算稀疏
### 原因：精度、累加和稀疏，各翻一倍
这六个数字都不是假的，它们描述的是同一组电路在不同条件下的吞吐。
**精度每减半，吞吐翻一倍。** 张量核心一次搬进来的位数是固定的，数从 16 位换成 8 位、4 位，一次就能多塞一倍、两倍的数，乘加次数也跟着翻。
**累加精度也算一档。** 矩阵乘是“乘完再加起来”，加的那一步可以用 16 位，也可以用 32 位。训练和大多数推理框架都用 32 位累加，数值更稳。GeForce 卡上用 32 位累加时，速率被砍成一半（5090 的 419 变成 209.5）；数据中心卡和专业卡没有这刀，所以它们规格表上的 BF16 本来就是 32 位累加的口径。
**稀疏是一种“打折算法”。** 2:4 结构化稀疏要求每 4 个权重里有 2 个是零，硬件跳过这两个，于是标称再翻倍。可真实模型的权重很少是这样排的，日常跑推理基本吃不到这一倍。
**不同厂商连“同一个口径”都写法不同。** AMD 的 Radeon AI PRO R9700，技嘉规格页写 FP16 峰值 95.7 TFLOPS，那是向量单元；矩阵单元的稠密值约 191，算稀疏约 383[^r9700-spec]。同一张卡，在三个网页上能看到三个差一倍的数。
### 第一次尝试：直接比宣传数字
最省事的办法是拿各家首页上最大的那个数比。可是 NVIDIA 消费卡首页写的是 FP4 稀疏，数据中心卡常写 FP8 稀疏，AMD 写的是 INT4 或 FP16 稀疏，国产卡多写 FP16 稠密或 INT8。拿这些直接比，等于拿米和尺比长短。
而且纸面数字本身也未必跑得出来。DGX Spark 标称 1 PFLOPS（FP4 稀疏），按 4 倍换算回 BF16 稠密约 125 TFLOPS；John Carmack 和 MLX 的负责人 Awni Hannun 实测 BF16 都只有 60 TFLOPS 左右[^spark-carmack]。另一边，有人用原生 FP4 指令测到了 511 稠密、1,014 稀疏，和标称对得上[^spark-fp4]。纸面数字是“某条最快的路径上能跑到的峰值”，换一条路径就是另一回事。
### 解决：统一到“稠密 BF16 / FP16，FP32 累加”
本文所有表格的算力列，统一取**稠密（不算稀疏）的 BF16 / FP16 张量算力，按 32 位累加**。选它有三个理由：几乎每家都支持这个精度；训练和高质量推理都用它；把稀疏和累加两个“翻倍开关”关掉，各家数字才站在同一条线上。FP8、FP4 只在单独一列或注里出现。
AMD 和 Intel 的消费卡没有公开区分累加精度，取的是厂商给的矩阵稠密值；国产卡取厂商公布的 FP16 稠密值。这两类和 NVIDIA 的数字之间仍然可能差一档，这是推断，比较时要留余量。
口径统一了，**可光看算力就够了吗？**
## 二、算力之外的两把尺子
### 现象：算力强五倍，生成速度却差不多
同样跑一个装得下的模型，一个人用、一个字一个字往外吐，H100 并不比一张 5090 快多少。原因在[前一篇文章](/blog/edge-llm-economics/)里拆过：单用户逐 token 生成时，每吐一个 token 都要把模型权重从显存完整读一遍，计算单元大部分时间在等数据[^edge-llm]。
### 原因：三种活，各卡在一处
把大模型相关的工作粗分成三种，它们各自看的尺子不一样：
1. **装不装得下，看显存容量。** 一个 700 亿参数的模型按 4 位量化也要 35GB 以上，再加上下文的 KV 缓存。装不下，要么切到好几张卡上，要么根本跑不了。
2. **单人对话吐字快不快，看显存带宽。** 每秒生成的 token 数，上限大约是 `带宽 ÷ 每个 token 要读的字节数`。
3. **读长文档、批量服务、训练，看算力。** 预填充（一次读进一大段提示词）和训练是一次处理很多 token，权重读一次可以用很多次，这时瓶颈才回到算力上。
所以后面每张表都有三列：**容量、带宽、算力**，再加上价格。哪一列要紧，取决于你买它来干什么。
**先从最熟悉的消费级显卡看起。**
## 三、消费级与工作站显卡
### 现象：一张表，三家厂商
消费级与工作站显卡（价格单位：美元，参考价为 2026 年 10 月美国零售）
NVIDIA 的算力取白皮书 BF16 张量 FP32 累加稠密值（5060 Ti、5070 由 AI TOPS 逐级折算）；AMD 取矩阵稠密值；Intel 由 INT8 TOPS 折半。RTX PRO 6000 没有 GeForce 的累加减速，约 500 为由 4,000 AI TOPS 折算。参考价取 Tom's Hardware、videocardprices、BuySellRAM 三家跟踪站的区间，彼此差距不小。
表 1 · 消费级卡里容量和带宽都在 12–32GB、450–1,800 GB/s 之间；NVIDIA 高端卡的零售价已经远离首发价
数据来自白皮书和各家规格页[^blackwell-wp][^r9700-spec]，价格来自三家跟踪站[^toms-price][^vcp-index][^buysellram]，改装卡价格来自国内的行情报道[^modded-4090]。
### 分析：按三把尺子读这张表
**容量上，消费卡基本封顶在 32GB。** 想在一张卡上放 70B 级的模型，要么买 96GB 的 RTX PRO 6000，要么买国内改装的 4090 48G，要么两张 32GB 的卡拼。R9700 和 Arc Pro B60 的定位很明确：算力和带宽不强，但每美元的显存最多，两张 R9700 就有 64GB，价钱只有一张 5090 零售价的一半左右。
**带宽上，5090 和 PRO 6000 一档，比其他卡高出一倍。** 单人跑一个装得下的模型，它们吐字最快。
**算力上，同代卡之间大致和价格成比例。** 首发价算下来，RTX 50 系每美元大约 0.1 TFLOPS，AMD 的 9070 XT 纸面更高，但前面说过 AMD 和 NVIDIA 的口径可能差一档，这个“更高”要打折看。
真正让人看不懂的是最后一列：**5090 的零售价是首发价的两倍半到四倍多，PRO 6000 一年半翻了快一倍，DGX Spark 一年涨了 74%。为什么？**
### 原因：这一轮涨价，涨的是内存
这三样东西的共同点是**内存多**：5090 有 32GB GDDR7，PRO 6000 有 96GB GDDR7，DGX Spark 有 128GB LPDDR5X。NVIDIA 给 DGX Spark 两次涨价给出的理由都是内存供应[^spark-hike-feb][^spark-hike-oct]，PRO 6000 涨价也被归因于 96GB GDDR7 的成本[^pro6000]。
背后的链条是这样的：AI 算力卡要用 HBM，HBM 和普通 DRAM、GDDR 共用存储厂的产线；AI 订单把产能吃掉，普通内存跟着紧。显存一紧，厂商优先把颗粒给利润最高的产品。原定 2026 年初发布的 RTX 50 Super 系列被推迟，用的正是和 PRO 6000 同一种 3GB GDDR7 颗粒[^super-delay]；NVIDIA 美国官方商城已经不再列出 5090，NVIDIA 否认停产，但承认供应受限[^rtx5090-denial]。
所以 **显存越大的卡，这一轮涨得越凶**；而 16GB 以下、AMD 和 Intel 的卡，零售价离首发价还不算太远。看价格时，首发价只说明厂商的定位，买的时候按零售价算。
消费卡的天花板是 32GB、1.8 TB/s。**数据中心的卡贵十倍，多出来的东西在哪？**
## 四、数据中心算力卡
### 现象：单卡算力只多几倍，价格多十倍以上
数据中心算力卡（购买价为市场估算，租价为每卡每小时，单位均为美元）
规格取厂商公开值，算力为稠密口径（厂商页面上 H100 的 1,979 BF16 是稀疏值，已减半）。购买价来自市场估算，NVIDIA 不公开标价；租价取 Silicon Data 指数（2026-10），MI355X 取 Oracle 按需价和比价站最低按需价。“—”为没有找到可靠数字。
表 2 · 数据中心卡的显存是 5090 的 2.5–13 倍、带宽 2–11 倍、单卡算力 5–11 倍，价格却是它首发价的十几到二十几倍
规格来自各家官方页面[^h100-spec][^h200-spec][^b200-spec][^mi355x-spec][^gaudi3]，新一代的 Rubin 和 MI455X 来自送样和发布会的报道[^vr200][^mi455x]，价格来自市场估算和租价指数[^dc-price][^rent-index][^mi355x-price]。
把 H100 和 5090 对照一下：显存 80GB 对 32GB，带宽 3.35 对 1.79 TB/s，稠密 BF16 989 对 209.5。按首发价，H100 每 TFLOPS 的价钱比 5090 还贵两三倍。**如果只看单卡的这三列，数据中心卡并不划算。**
### 原因：钱花在卡与卡之间
单卡的表看不出来的，是**很多张卡能不能当一张卡用**。一个 4000 亿参数的模型，或者一次几千张卡的训练，任何单卡都装不下，必须切到很多卡上；切开之后，每一层算完都要在卡之间交换中间结果。这时候卡与卡之间的通道，比单卡多快重要得多。
图 2 · 数据中心卡贵在“很多张卡当一张用”：卡间带宽比消费卡走 PCIe 高一个多数量级
除了图上这条卡间通道，数据中心卡的价钱里还有几样消费卡没有的东西：
- **HBM 本身贵。** 一张 B300 的 288GB HBM3e，在内存紧缺的年份里光颗粒就是一大笔，这也是 Rubin 带宽目标被下调的原因[^vr200]。
- **机柜级的扩展。** GB200/GB300 NVL72 把 72 张卡用 NVLink 连成一个域，AMD 的 Helios 也是 72 卡一柜[^mi455x]；单卡价格只是整柜的一部分。
- **可靠性和软件授权。** ECC、长时间满载、厂商支持，以及企业软件订阅。
### 第一次尝试：买不起，就租
对个人和小团队来说，数据中心卡的正确打开方式通常是租。按 Silicon Data 的指数，H100 每卡时 2.82 美元、B200 5.93 美元[^rent-index]；Nebius 这类云厂商的按需价更高一些，10 月 1 日还刚涨过一次[^nebius]。
粗算一下：一张 H100 买下来约 3 万美元，按每卡时 2.82 美元租，要满载约 10,600 小时，也就是一年两个多月才租到买价，还没算电费、机房和网络。**偶尔用、用量波动大，就租；常年满载，才轮得到买。**
这是一张以英伟达和 AMD 为主的表。**在国内买卡，还有另一张表。**
## 五、国产算力卡
### 现象：参数各说各话，价格几乎查不到
国产卡的公开资料比海外卡少得多：很多型号只公布了 FP16 或 INT8 的峰值，显存带宽要从第三方拼出来，单价几乎都是渠道转述。下表只收厂商发布会或官方规格里能找到的数字，第三方推测的单独标出来。
国产算力卡（厂商口径；价格为人民币渠道报价）
昆仑芯 P800、壁仞、燧原、天数智芯等的关键参数没有找到可靠的公开口径，没有列入。950 系列官方只给了 FP8 和 FP4 的数字。
表 3 · 国产卡的显存和带宽已经到了 H100 到 H200 之间，但算力口径和价格都还不透明
参数来自华为全联接大会的发布和国内的汇总文章[^ascend950][^cn-cards][^mlu590]，950PR 的价格来自渠道报价的整理[^ascend950-price]。
### 分析：在表上处于什么位置
**硬件指标上，第一梯队已经到了 H100 到 H200 之间。** 昇腾 910C 的显存和带宽在 H100 和 H200 之间，950DT 的 144GB、4 TB/s 和 H20、H200 同一水平。和表 2 比，差距主要在两处：一是还没有对应 B200/B300 的 8 TB/s 和 288GB；二是 FP16 算力的公开口径多半不区分累加精度和稀疏，和表 2 直接比可能偏乐观。
**真正的差别在软件。** 昇腾用 CANN，海光走类 CUDA 的路线、迁移最省事，其他家各有一套。表上的数字在同一套软件下才可比，换栈之后的实际利用率，要看具体模型的适配情况。
**英伟达在国内的供货一直在变。** H20 按许可逐案审批；面向中国的 RTX Pro 6000D 在 2025 年 9 月被要求停止采购[^pro6000d]，但金融时报报道 2026 年中国公司又买了超过一百万张 6000D 和 RTX Pro 5000[^ft-6000d]。两条消息互相矛盾，这里只作转述，买卡前要以当时的政策为准。
到这里，**从 12GB 的游戏卡到 288GB 的 B300，要么显存小，要么价格高。有没有显存大、价格又在个人能承受范围内的东西？**
## 六、AI 小主机：DGX Spark 和它的对手
### 现象：六七千美元，装得下 1200 亿参数
DGX Spark 是一台比书还小的主机，里面是一颗 GB10 芯片，CPU 和 GPU 共用 128GB 内存[^spark-spec]。它能整个装下 gpt-oss-120b 这样的 1,200 亿参数模型，单人对话每秒约 59 个 token[^llamacpp-spark]；而表 1 里最贵的消费卡 5090 只有 32GB，根本装不下。
同一类的机器还有好几种，它们走的都是同一条路：**把显卡的显存换成大容量的统一内存**。
AI 小主机（价格单位：美元，2026 年 10 月）
gpt-oss-120b 生成速度为 llama.cpp 空上下文实测，Strix Halo 随系统和后端在 45–55 之间；Mac 的两行没有找到公开实测，是按下文的公式推算的上限。DGX Station 的内存是 288GB HBM3e 加 496GB LPDDR5X 两块。
表 4 · 小主机用两三百 GB/s 的带宽换来了 128GB 以上的容量；Mac Studio 是其中唯一把带宽也做上去的
数据来自各家规格页和评测[^spark-spec][^spark-hike-oct][^thor][^halo-prices][^gorgon][^mac-studio][^m5-ultra-review][^tenstorrent][^dgx-station]，生成速度来自 llama.cpp 社区的实测[^llamacpp-spark][^spark-vs-halo]。
### 原因：容量便宜，带宽贵
为什么同样 128GB，DGX Spark 只要六七千美元，而一张 96GB 的 PRO 6000 要一万六？因为它们用的是两种内存。
**显卡用的 GDDR7 和 HBM，是靠很宽的总线、很高的频率堆出带宽的。** 5090 的 512 位 GDDR7 有 1,792 GB/s，H100 的 HBM3 有 3.35 TB/s，代价是每 GB 很贵、容量很难做大。**小主机用的 LPDDR5X 是手机和笔记本的内存**，每 GB 便宜得多，128GB 也塞得进一个小盒子，但总线只有 256 位，带宽停在 256–273 GB/s，是 5090 的七分之一。
所以表 4 前几行在三把尺子上的位置很清楚：**容量追上了数据中心卡，带宽只有中端游戏卡的一半，算力也只有一张 5070 上下**（GB10 实测 BF16 约 60 TFLOPS）[^spark-carmack]。
### 回到起点：59 tok/s 是怎么来的
第二节说过，单人生成的上限约等于 `带宽 ÷ 每个 token 要读的字节数`。gpt-oss-120b 是 MoE 模型，1,200 亿参数里每个 token 只激活约 51 亿，按 MXFP4 约 4.25 位存储，每个 token 大约要读 3GB（这是推算，没算 KV 缓存）。
代进去：DGX Spark 是 273 ÷ 3 ≈ 90 tok/s 的上限，实测 59，跑到了上限的三分之二左右；Strix Halo 是 256 ÷ 3 ≈ 85，实测 45–55。两者实测差距主要来自软件栈，而不是硬件。按同样的算法，M5 Max 的上限约 200，M5 Ultra 约 400，这是 Mac Studio 在这一类里最大的优势。
这也解释了小主机的边界。**模型越“稠密”，每个 token 要读的字节越多，小主机越慢。** 一个 700 亿参数的稠密模型按 FP8 存要读约 70GB，DGX Spark 上限只有 4 tok/s 左右，实测约 2.7[^spark-review]。小主机适合的，是 MoE 这种“总参数大、激活参数小”的模型。
### 第一次尝试：DGX Spark 和 Strix Halo 选哪个
两台机器带宽几乎一样，单人生成速度也接近。差别在三处：
- **价格。** 10 月份，Strix Halo 128GB 小主机在 3,300–3,650 美元，DGX Spark 128GB 是 6,950，差了一倍。
- **预填充和算力。** GB10 的算力高得多，读一段长提示词时 DGX Spark 快好几倍[^spark-vs-halo]；做微调、跑 CUDA 专属的工具时，差距更明显。
- **软件。** DGX Spark 是标准的 CUDA 环境，绝大多数开源项目开箱能跑；Strix Halo 要走 ROCm 或 Vulkan，能跑，但要多折腾。
Mac Studio 走的是第三条路：带宽是它们的两倍多到四倍多、内存最大到 512GB，代价是没有 CUDA。**只看单人推理大 MoE 模型，Mac Studio 是这一类里最快的；要跟数据中心的 CUDA 环境保持一致，就是 DGX Spark。**
## 七、放到一张图上：按用途来选
### 分析：容量和带宽的地图
把前面四张表里的卡和机器，按显存容量和带宽画到同一张图上：
图 3 · 三类硬件各占一块：消费卡在左边，小主机在右下，数据中心卡在右上
这张图上大致分成三块：
- **左边是消费卡。** 带宽高、容量小，适合装得下的模型跑得快。
- **右下是小主机。** 容量大、带宽低，适合装下大 MoE 模型，单人慢慢用。
- **右上是数据中心卡。** 两样都有，再加上图 2 的卡间互联，代价是价格。
图上空出来的那一块，**大容量、高带宽、价格又能接受**，目前只有 Mac Studio M5 Ultra 和 RTX PRO 6000 靠得最近，而它们正好是这一轮涨价里最贵的几样之一。
### 解决：按用途对号入座
按用途选（2026 年 10 月）
“两台 DGX Spark 互联”是 NVIDIA 官方支持的用法，256GB 合起来能装下更大的模型，但每台带宽不变。
表 5 · 先想清楚是卡在容量、带宽还是算力上，再看价格
## 小结
回到开头的几个问题：
1. **算力数字该拿哪个比？** 同一张卡的数字按精度、累加方式和稀疏各翻一倍，5090 从 104.8 到 3352 差 32 倍。统一用稠密 BF16、FP32 累加的口径，各家才能比；纸面峰值还要打折，DGX Spark 实测只有标称的一半左右。
2. **除了算力还看什么？** 容量决定装不装得下，带宽决定单人生成快不快，算力决定预填充、批量服务和训练。
3. **消费卡之间是什么关系？标价为什么失真？** 消费卡显存封顶 32GB；这一轮 AI 把内存产能吃掉，显存越大的产品涨得越凶，5090 零售价是首发价的两倍半以上，PRO 6000 和 DGX Spark 也涨了七八成。
4. **数据中心卡多花的钱买到了什么？** 单卡算力只多几倍，钱主要花在 HBM 和卡间互联上，让很多张卡能当一张用。个人用户偶尔用就租，H100 每卡时不到 3 美元。
5. **国产卡在什么位置？** 显存和带宽到了 H100 到 H200 之间，算力口径和价格不透明，差距更多在软件生态。
6. **小主机凭什么跑得动大模型？** 用便宜的 LPDDR5X 换来 128GB 以上的容量，带宽只有两三百 GB/s，所以适合大 MoE、单人用；DGX Spark 的 59 tok/s 大约是 `273 ÷ 3` 这个上限的三分之二。
所有价格都是 2026 年 10 月的快照，这一轮内存紧缺没有缓和的迹象，按存储厂商的说法到 2027、2028 年还会更紧[^spark-hike-oct]。真要下单时，把表里的价格换成当天的零售价，再按表 5 的思路重新算一遍。
## 参考资料