硬盘能像神经元一样记忆吗：把 30B 参数固化到裸盘上
把一个 30B 模型的权重不经文件系统、直接写进一块裸盘，盘就“记住”了这三百亿个数吗？我们从裸盘上的地址和闪存单元讲起，用一个小实验对比按地址读取和按内容回忆两种记忆；再算清楚盘只存储、处理器计算时每个 token 要读多少数据，看存储单元能不能就地计算、能不能像突触一样学习；最后回答什么样的模型、什么样的盘，才适合把 30B 参数固化下来。
标签: 大模型
共 8 篇
大模型的 Flash 版和完整版，架构上差在哪
Gemini、DeepSeek、GLM 都有 Flash 型号，价钱只有完整版的几分之一。Flash 是 FlashAttention 吗，还是把模型压缩了一遍？如果都不是，它到底在哪几处下刀，变小之后又靠什么不变笨？
梯度下降早就有了，大模型为什么最近几年才出现
训练语言模型时打出的损失，换个单位就是“每个字要花几个比特”：训练一个大模型，也是在训练一个压缩器。梯度下降是 1847 年 Cauchy 为了算天体轨道写下的，“预测就是压缩”是香农 1948 年说清楚的，“压缩即智能”的理论在六十年代就有了，大模型为什么等到 2020 年前后才出现？我们沿着时间往下走：会学习的机器为什么被一道 XOR 题难住，反向传播的本质是什么，为什么 1986 年以后神经网络冷了二十年、压缩榜上赢的一直是手写模型；算力、数据各差了多少个数量级，Transformer 和规模定律补上了哪两块；最后把数学、算法、算力、数据四条线放在一起，回答一个压缩器凭什么看起来有智能。
从 249 美元到 9 万美元：显卡、算力卡和 AI 小主机放在一起比
想把市面上的显卡、算力卡和 DGX Spark 这类 AI 小主机排在一张表里比价格和性能，很快撞上三个怪现象：同一张卡有六个算力数字、标价 1999 美元的卡卖到五千以上、贵十倍的卡算力只多几倍。顺着这几个问题往下追：算力数字的口径怎么统一、该看哪几把尺子、消费级卡和数据中心卡差在哪、国产卡在什么位置、小主机用什么换来了大内存，最后放到一张图上按用途来选。
去中心化推理：把一个大模型拆给很多台机器跑
Petals 说可以像 BT 下载一样，用大家家里的显卡一起跑 70B 的大模型；io.net 说手里有几十万张分散的 GPU。顺着“模型为什么要拆”往下追：按层切开的流水线怎么传数据、为什么每个 token 都要跑一圈网络、层内切开的张量并行为什么只能待在一个房间里、并发能不能把空转的机器填满、io.net 实际上拆的是什么，最后用电费和市价算一笔账，看“闲置硬件不要钱”这个赌注在什么条件下成立。
几十美元的小盒子，为什么跑得动大模型
一台一百多美元的树莓派，单用户能把一个 300 亿参数的模型跑到约 8 token/s。顺着这个反差往下追：单路生成到底卡在哪、小盒子的内存带宽比数据中心 GPU 贵多少、300 亿参数怎么塞进 16GB 还跑得动、GPU 真正的本事是什么、为什么同样一笔账在「租 GPU 转卖 API」那篇里是亏的、这里却不亏，以及一大片这样的小盒子连起来会呈现什么整体性质。
租云 GPU 转卖大模型 API，能赚钱吗
OpenRouter 上同一个模型有二十多家在卖，最便宜的每百万输出 token 只要 0.15 美元，而 AWS 一张 H100 每小时要 6.88 美元。按小时租、按 token 卖，这中间的账差在哪里？把 6 个模型、9 种卡、4 家云逐项算完，答案指向利用率。
怎样相信大模型算出来的数字：拆解 BootLoops
日常程序里 16 位浮点数足够用，科学里的精密计算却要几十上百位，还得证明每一位可信。大模型说“这个积分算出来了，和数值吻合 20 位”，我们该不该信？顺着这句话往下追：数值本身会不会悄悄算错，吻合的位数能不能被凑出来，什么样的检查才算数，检查本身坏了怎么办，以及这些纪律怎样交给一个会遗忘、会讨好的 agent，最后看它和 Claude Code 这类 agent harness 是什么关系。BootLoops 的每一层，都是为了堵住其中一个漏洞。