Transformer 和 FPGA 都是電路:為什麼智慧沒有在 FPGA 上湧現
FPGA 是一片可以重新配置的電路,Transformer 跑一步也是一個固定的電路,兩者都是“固定骨架 + 一串配置數”。我們從同一個一位全加器在兩邊的寫法出發,先看它們相同在哪:都能表示任意函式,FPGA 的表示能力甚至更強;再看不同在哪:配置是人寫的位元還是梯度寫的實數,導線是燒寫時焊死的還是每一步現算的,配置的規模差了幾個數量級;解釋 Transformer 的引數為什麼能靠梯度下降收斂、FPGA 的位元為什麼不行,並用一個小實驗比較變異搜尋和梯度下降去“寫”同一張查詢表網路;最後回答 FPGA 的四十年裡為什麼沒有出現智慧湧現。