訓練大模型為什麼不用來回評審：梯度下降找到的是什麼解
GPT-3 被損失函式“評審”了約 9.4 萬輪，每輪都可能讓訓練變差，卻還是走到了好解。是誰在給每一步打分，單步變差又為什麼能整體變好？引數越多越不容易卡住，這或許說明好解不止一個。
標籤: 入門
共 7 篇
壓縮演算法簡史：從莫爾斯電碼到 zstd
把本站文章交給幾代壓縮器，1996 年的 bzip2 壓得比 2016 年的 zstd 還小，1992 年的 gzip 至今仍是網頁的預設格式。順著這個現象往回找：莫爾斯為什麼給 E 一個點，Huffman 怎樣把“按頻率分配碼長”做到最優，LZ77 怎樣把重複的片段換成一個指標，專利怎樣逼出了 gzip 和 PNG，算術編碼和上下文模型怎樣把“壓縮”變成“預測”，BWT 為什麼先排序再壓，zstd 和 Brotli 又為什麼在壓縮率之外去追速度；最後看有失真壓縮扔掉了什麼，以及壓縮的盡頭在哪裡。
指數時間假說被推翻了嗎：兩篇 AI 論文裡的 3-SAT 新演算法
2026 年 10 月底，OpenAI 和 Anthropic 先後放出論文，說各自的模型證明了指數時間假說（ETH）是錯的。我們從一道聚會邀請的邏輯題講起：SAT 是什麼，怎麼比較演算法快慢，P、NP 和 NP 完全是什麼，幾十年的努力為什麼只能改底數，ETH 又斷言了什麼；再核對新聞裡哪些屬實、哪些被誇大；然後順著證明往下走：老的分而治之為什麼只能改常數，一個兩百年前的八平方恆等式怎麼用正負相消減少要對上的位元，遞迴又怎麼把指數壓到零；最後看 OpenAI 的另一條路，以及這件事改變了什麼、沒改變什麼。
梯度下降早就有了，大模型為什麼最近幾年才出現
訓練語言模型時打出的損失，換個單位就是“每個字要花幾個位元”：訓練一個大模型，也是在訓練一個壓縮器。梯度下降是 1847 年 Cauchy 為了算天體軌道寫下的，“預測就是壓縮”是夏農 1948 年說清楚的，“壓縮即智慧”的理論在六十年代就有了，大模型為什麼等到 2020 年前後才出現？我們沿著時間往下走：會學習的機器為什麼被一道 XOR 題難住，反向傳播的本質是什麼，為什麼 1986 年以後神經網路冷了二十年、壓縮榜上贏的一直是手寫模型；算力、資料各差了多少個數量級，Transformer 和規模定律補上了哪兩塊；最後把數學、演算法、算力、資料四條線放在一起，回答一個壓縮器憑什麼看起來有智慧。
Transformer 是怎麼訓練的：手算一層注意力的梯度下降
訓練時螢幕上打出來的 loss 0.615、0.594、0.572……每一個數背後發生了什麼？我們先用一個只有一個旋鈕的機器，把損失、導數、梯度下降和學習率講清楚；再開啟一個只有 10 個引數的 Transformer，任務是“說出兩個字裡的第一個字”，把一步訓練裡的每個數都攤開算：前向怎樣從輸入算到損失，反向傳播怎樣從損失往回算出 10 個偏導數，更新之後為什麼有的樣本變好、有的變差，幾十步裡注意力怎樣轉向正確的位置，學習率太大時模型為什麼會卡死；最後看真實的大模型多了什麼，以及現實中找最優解那麼難，為什麼在 Transformer 裡卻這麼順。
做加法最少要幾個引數：AdderBoard 排行榜與 Transformer 入門
AdderBoard 是一個比誰的 Transformer 更小的排行榜，題目是十位數加法。榜首的手寫模型只有 6 個引數，訓練出來的模型最少 36 個。我們先把 Transformer 是什麼、它怎麼一個字一個字地往外吐答案講清楚，再順著排行榜往下看：加法對它難在哪裡，數位為什麼要倒過來寫，訓練出來的模型怎麼從 6080 個引數壓到 36 個，手寫的 6 個引數又是怎麼把十位數加對的，它和 CPU 裡的二進位制加法器、我們列的十進位制豎式比有什麼不同，最後看這些數字該怎麼理解。
從一個 87% 說起：Polymarket 是什麼、怎麼看、怎麼下注
新聞裡的“87%”不是民調，而是一份 YES 合約的價格。一份事件合約怎麼定價，為什麼非要放到區塊鏈上？錢鎖在哪、結果誰說了算，不懂區塊鏈的人又該怎麼看這些資料？