標籤: 歷史

共 2 篇

壓縮演算法簡史:從莫爾斯電碼到 zstd

2026年10月28日

把本站文章交給幾代壓縮器,1996 年的 bzip2 壓得比 2016 年的 zstd 還小,1992 年的 gzip 至今仍是網頁的預設格式。順著這個現象往回找:莫爾斯為什麼給 E 一個點,Huffman 怎樣把“按頻率分配碼長”做到最優,LZ77 怎樣把重複的片段換成一個指標,專利怎樣逼出了 gzip 和 PNG,算術編碼和上下文模型怎樣把“壓縮”變成“預測”,BWT 為什麼先排序再壓,zstd 和 Brotli 又為什麼在壓縮率之外去追速度;最後看有失真壓縮扔掉了什麼,以及壓縮的盡頭在哪裡。

梯度下降早就有了,大模型為什麼最近幾年才出現

2026年10月27日

訓練語言模型時打出的損失,換個單位就是“每個字要花幾個位元”:訓練一個大模型,也是在訓練一個壓縮器。梯度下降是 1847 年 Cauchy 為了算天體軌道寫下的,“預測就是壓縮”是夏農 1948 年說清楚的,“壓縮即智慧”的理論在六十年代就有了,大模型為什麼等到 2020 年前後才出現?我們沿著時間往下走:會學習的機器為什麼被一道 XOR 題難住,反向傳播的本質是什麼,為什麼 1986 年以後神經網路冷了二十年、壓縮榜上贏的一直是手寫模型;算力、資料各差了多少個數量級,Transformer 和規模定律補上了哪兩塊;最後把數學、演算法、算力、資料四條線放在一起,回答一個壓縮器憑什麼看起來有智慧。