能不能用 FPGA 做一塊 Transformer 專用推理電路
一塊 H100 只給一個使用者生成文字時,不到 0.3% 的乘法器在幹活。既然 FPGA 能搭出任意電路,能不能專門為 Transformer 搭一塊,讓推理更快、更省電、更便宜?我們先看 decode 時晶片到底在等什麼,再看專用電路能省在哪裡;接著看已經做出來的 FPGA 推理流水線贏在哪、又被什麼卡住;最後用一個綜合實驗看把權重“焊進電路”能省多少面積,以及為什麼這條路最後通向 ASIC。
共 2 篇
一塊 H100 只給一個使用者生成文字時,不到 0.3% 的乘法器在幹活。既然 FPGA 能搭出任意電路,能不能專門為 Transformer 搭一塊,讓推理更快、更省電、更便宜?我們先看 decode 時晶片到底在等什麼,再看專用電路能省在哪裡;接著看已經做出來的 FPGA 推理流水線贏在哪、又被什麼卡住;最後用一個綜合實驗看把權重“焊進電路”能省多少面積,以及為什麼這條路最後通向 ASIC。
FPGA 是一片可以重新配置的電路,Transformer 跑一步也是一個固定的電路,兩者都是“固定骨架 + 一串配置數”。我們從同一個一位全加器在兩邊的寫法出發,先看它們相同在哪:都能表示任意函式,FPGA 的表示能力甚至更強;再看不同在哪:配置是人寫的位元還是梯度寫的實數,導線是燒寫時焊死的還是每一步現算的,配置的規模差了幾個數量級;解釋 Transformer 的引數為什麼能靠梯度下降收斂、FPGA 的位元為什麼不行,並用一個小實驗比較變異搜尋和梯度下降去“寫”同一張查詢表網路;最後回答 FPGA 的四十年裡為什麼沒有出現智慧湧現。