共 3 篇
把本站文章交給幾代壓縮器，1996 年的 bzip2 壓得比 2016 年的 zstd 還小，1992 年的 gzip 至今仍是網頁的預設格式。順著這個現象往回找：莫爾斯為什麼給 E 一個點，Huffman 怎樣把“按頻率分配碼長”做到最優，LZ77 怎樣把重複的片段換成一個指標，專利怎樣逼出了 gzip 和 PNG，算術編碼和上下文模型怎樣把“壓縮”變成“預測”，BWT 為什麼先排序再壓，zstd 和 Brotli 又為什麼在壓縮率之外去追速度；最後看有失真壓縮扔掉了什麼，以及壓縮的盡頭在哪裡。
訓練語言模型時打出的損失，換個單位就是“每個字要花幾個位元”：訓練一個大模型，也是在訓練一個壓縮器。梯度下降是 1847 年 Cauchy 為了算天體軌道寫下的，“預測就是壓縮”是夏農 1948 年說清楚的，“壓縮即智慧”的理論在六十年代就有了，大模型為什麼等到 2020 年前後才出現？我們沿著時間往下走：會學習的機器為什麼被一道 XOR 題難住，反向傳播的本質是什麼，為什麼 1986 年以後神經網路冷了二十年、壓縮榜上贏的一直是手寫模型；算力、資料各差了多少個數量級，Transformer 和規模定律補上了哪兩塊；最後把數學、演算法、算力、資料四條線放在一起，回答一個壓縮器憑什麼看起來有智慧。
30u30 是一個按天帶讀“Ilya Sutskever 推薦的 30 篇論文”的開源倉庫。我們先查這份清單從哪來，發現它其實有三個版本；再看它的構成，裡面除了 Transformer、ResNet，還有咖啡自動機、一本數學專著的第 14 章和一篇 200 頁的博士論文。順著這幾篇往下讀，清單的另一條主線是壓縮：預測就是壓縮，學習就是把資料拆成規律和噪聲。最後用三個自己復現的小實驗檢驗這條線，也順帶看看 30u30 的實現。