共 2 篇
把本站文章交给几代压缩器，1996 年的 bzip2 压得比 2016 年的 zstd 还小，1992 年的 gzip 至今仍是网页的默认格式。顺着这个现象往回找：莫尔斯为什么给 E 一个点，Huffman 怎样把“按频率分配码长”做到最优，LZ77 怎样把重复的片段换成一个指针，专利怎样逼出了 gzip 和 PNG，算术编码和上下文模型怎样把“压缩”变成“预测”，BWT 为什么先排序再压，zstd 和 Brotli 又为什么在压缩率之外去追速度；最后看有损压缩扔掉了什么，以及压缩的尽头在哪里。
训练语言模型时打出的损失，换个单位就是“每个字要花几个比特”：训练一个大模型，也是在训练一个压缩器。梯度下降是 1847 年 Cauchy 为了算天体轨道写下的，“预测就是压缩”是香农 1948 年说清楚的，“压缩即智能”的理论在六十年代就有了，大模型为什么等到 2020 年前后才出现？我们沿着时间往下走：会学习的机器为什么被一道 XOR 题难住，反向传播的本质是什么，为什么 1986 年以后神经网络冷了二十年、压缩榜上赢的一直是手写模型；算力、数据各差了多少个数量级，Transformer 和规模定律补上了哪两块；最后把数学、算法、算力、数据四条线放在一起，回答一个压缩器凭什么看起来有智能。