共 4 篇
訓練時螢幕上打出來的 loss 0.615、0.594、0.572……每一個數背後發生了什麼？我們先用一個只有一個旋鈕的機器，把損失、導數、梯度下降和學習率講清楚；再開啟一個只有 10 個引數的 Transformer，任務是“說出兩個字裡的第一個字”，把一步訓練裡的每個數都攤開算：前向怎樣從輸入算到損失，反向傳播怎樣從損失往回算出 10 個偏導數，更新之後為什麼有的樣本變好、有的變差，幾十步裡注意力怎樣轉向正確的位置，學習率太大時模型為什麼會卡死；最後看真實的大模型多了什麼，以及現實中找最優解那麼難，為什麼在 Transformer 裡卻這麼順。
一塊 H100 只給一個使用者生成文字時，不到 0.3% 的乘法器在幹活。既然 FPGA 能搭出任意電路，能不能專門為 Transformer 搭一塊，讓推理更快、更省電、更便宜？我們先看 decode 時晶片到底在等什麼，再看專用電路能省在哪裡；接著看已經做出來的 FPGA 推理流水線贏在哪、又被什麼卡住；最後用一個綜合實驗看把權重“焊進電路”能省多少面積，以及為什麼這條路最後通向 ASIC。
FPGA 是一片可以重新配置的電路，Transformer 跑一步也是一個固定的電路，兩者都是“固定骨架 + 一串配置數”。我們從同一個一位全加器在兩邊的寫法出發，先看它們相同在哪：都能表示任意函式，FPGA 的表示能力甚至更強；再看不同在哪：配置是人寫的位元還是梯度寫的實數，導線是燒寫時焊死的還是每一步現算的，配置的規模差了幾個數量級；解釋 Transformer 的引數為什麼能靠梯度下降收斂、FPGA 的位元為什麼不行，並用一個小實驗比較變異搜尋和梯度下降去“寫”同一張查詢表網路；最後回答 FPGA 的四十年裡為什麼沒有出現智慧湧現。
AdderBoard 是一個比誰的 Transformer 更小的排行榜，題目是十位數加法。榜首的手寫模型只有 6 個引數，訓練出來的模型最少 36 個。我們先把 Transformer 是什麼、它怎麼一個字一個字地往外吐答案講清楚，再順著排行榜往下看：加法對它難在哪裡，數位為什麼要倒過來寫，訓練出來的模型怎麼從 6080 個引數壓到 36 個，手寫的 6 個引數又是怎麼把十位數加對的，它和 CPU 裡的二進位制加法器、我們列的十進位制豎式比有什麼不同，最後看這些數字該怎麼理解。