标签: 内存带宽

几十美元的小盒子，为什么跑得动大模型

一台一百多美元的树莓派，单用户能把一个 300 亿参数的模型跑到约 8 token/s。顺着这个反差往下追：单路生成到底卡在哪、小盒子的内存带宽比数据中心 GPU 贵多少、300 亿参数怎么塞进 16GB 还跑得动、GPU 真正的本事是什么、为什么同样一笔账在「租 GPU 转卖 API」那篇里是亏的、这里却不亏，以及一大片这样的小盒子连起来会呈现什么整体性质。