焊死的導線和現算的導線 左邊寫著一個查詢表的配置 0x96 和 GPT-3 的 175B × 16 bit。右邊是一片方格狀的 FPGA 查詢表陣列,導線橫平豎直;陣列向右漸漸變成一排詞元圓點,圓點之間用粗細不一的弧線相連,表示注意力每一步現算出來的連線。 一個查詢表的配置 0x96 一個大模型的配置 175B × 16 bit

一位全加器是數位電路的第一課:輸入兩個位元 a、b 和低位進來的進位 c,輸出這一位的和 s 和往高位送的進位。把它燒進 FPGA,最後落到晶片上的是兩張小小的真值表,寫成十六進位制只有兩個數:

s = 0x96 # 1001 0110:a、b、c 里有奇数个 1 时为 1
cout = 0xE8 # 1110 1000:a、b、c 里至少两个 1 时为 1

同一個全加器也可以用兩個“神經元”來做:每個神經元把輸入加權求和,超過閾值就輸出 1。這時候寫下的不是位元,而是 9 個實數,比如 [1, 1, 1], −1.5 和 [1, 1, 1, −2], −0.5。Transformer 說到底也是這樣一個東西:一張固定的計算圖,加上幾十億、幾千億個這樣的實數。

這樣一比,問題就來了。FPGA 是一片可以隨意配置的電路,Transformer 跑一步也是一個電路,兩者看起來是一回事,那它們到底哪裡相同、哪裡不同? FPGA 從 1985 年就有了,比 Transformer 早了三十多年,單片上的邏輯單元也從幾十個漲到了上千萬個,為什麼智慧沒有在 FPGA 上“湧現”出來? 我們先把兩種電路各自怎麼配置講清楚,再一層層往下找它們真正的差別。

一、兩種電路各自怎麼配置

FPGA:查詢表和導線

FPGA(現場可程式設計門陣列)裡沒有固定的與門、或門,只有成片的查詢表(LUT,look-up table)和它們之間的可程式設計導線。一個 k 輸入的查詢表就是一塊 2k2^k 位的小儲存器:k 個輸入拼成一個地址,讀出那一位就是輸出。所以 4 輸入 LUT 有 16 個配置位,可以實現任意一個 4 輸入的布林函式;現在的主流晶片用 6 輸入 LUT,64 個配置位。導線也一樣,每個交叉點上的開關接通還是斷開,都由一個配置位決定。

把一個設計放進 FPGA 的過程是:工程師用 Verilog 之類的硬體描述語言寫出電路,綜合工具把它翻譯成查詢表,佈局佈線工具決定每張表放在晶片哪個位置、走哪幾根線,最後生成位元流(bitstream),也就是所有配置位的總和。上電時位元流寫進晶片,電路就成形了。

第一塊 FPGA 是 1985 年 Xilinx 的 XC2064,只有 64 個可配置邏輯塊,每塊是一個 4 輸入的邏輯函式1。2023 年 AMD 釋出的 VP1902 有 846 萬個 LUT2。

Transformer:固定的計算圖和權重

Transformer 每預測一個詞元(token),都要把同一張計算圖走一遍:詞嵌入把符號變成向量,注意力從前面的位置取資訊,MLP 在每個位置上做非線性變換,輸出頭給每個候選打分3。這張圖裡有哪些乘法、加法、softmax,連線方式是什麼,在訓練之前就定死了;會變的只有圖裡的權重,也就是那幾千億個實數。

從這個角度看,Transformer 的一次前向計算就是一個電路,權重就是它的配置。跑在 GPU 上時,這個電路是用矩陣乘法“模擬”出來的;也可以真把它做進硬體,後面會看到,確實有人把它放進了 FPGA。

同一個全加器,兩種配置

把開頭那個全加器畫出來,兩種配置的樣子就很清楚了。

同一個一位全加器的兩種配置 左邊是 FPGA 的兩張查詢表:輸入 c、b、a 的 8 種組合各對應一個和 s 與進位 cout,合起來是 0x96 和 0xE8 兩個配置位元組,共 16 個位元。右邊是兩個閾值神經元:進位神經元權重 1、1、1,偏置負 1.5;和神經元權重 1、1、1、負 2,偏置負 0.5,共 9 個實數。以 a=1、b=1、c=0 為例,兩邊都得到 s=0、進位=1。 FPGA · 兩張查詢表 神經網路 · 兩個閾值神經元 地址 c b a s cout 0 0 0 000 1 0 0 110 2 0 1 010 3 0 1 101 4 1 0 010 5 1 0 101 6 1 1 001 7 1 1 111 從地址 7 讀到 0:s = 0x96,cout = 0xE8,共 16 bit 進位神經元 cout 權重[1, 1, 1]接 a、b、c 偏置−1.5 輸出[a+b+c ≥ 1.5] 和神經元 s 權重[1, 1, 1, −2]最後一個接 cout 偏置−0.5 輸出[a+b+c−2·cout ≥ 0.5] 例:a=1, b=1, c=0,和為 2,cout=1,s=0;共 9 個實數 兩邊的骨架(按地址讀表、加權求和再比閾值)都是固定的,換一個功能只需換這串數。 不同的是:左邊的數只能是 0 或 1,右邊的數可以連續地調。
圖 1 · 同一個一位全加器:FPGA 記住 16 個位元,閾值神經元記住 9 個實數

左邊的查詢表就是把真值表原樣存下來:地址 3(c=0、b=1、a=1)那一行,s 是 0,進位是 1。右邊的閾值神經元是另一種存法:進位神經元把三個輸入加起來,超過 1.5 就輸出 1;和神經元再減去兩倍進位,剩下的超過 0.5 就輸出 1。

兩種寫法得到的是同一個函式,所以電路本身只是骨架,功能全在那串配置裡。這是兩者最根本的共同點。那麼,除了這一點,它們在“能表示什麼”上還有多像?

二、相同之處:骨架固定,功能在配置裡

都能表示任意函式

查詢表網路能表示任意布林函式,這幾乎是定義:最笨的辦法是把整張真值表存進一大片 LUT 裡。閾值神經元也一樣,圖 1 用兩個神經元做出了全加器,而全加器串起來就是任意位數的加法器;與、或、非都能用一個閾值神經元實現,所以任意布林電路都能一個門一個門地換成神經元。

反過來,神經網路裡的乘加和比較,本身也是數位電路,FPGA 當然能實現。兩邊誰也不比誰“多”一種能力,差別只在需要多大的電路。

一步之內能算多深

再細一點,可以問“一步”能算多少。FPGA 的一次計算是一片組合邏輯,深度由設計者決定,只受時脈頻率約束;如果加上暫存器和時鐘,讓電路每一拍更新一次狀態,它就是一臺完整的有限狀態機,CPU 本身就能用 FPGA 實現。

Transformer 的一次前向只有固定的幾十層。理論電腦科學裡有一個乾淨的結論:如果數值精度是輸入長度的對數級,一次前向可以用常數深度的閾值電路來模擬,屬於複雜度類 TC⁰4。也就是說,單看一步,Transformer 是一種層數固定、但每層可以很寬的閾值電路,和圖 1 右邊那種神經元電路是同一類東西。

Transformer 的“迴圈”來自自迴歸:每一步寫出一個詞元,接到輸入末尾,再算下一步。允許它先寫一串中間步驟(也就是思維鏈)以後,表示能力會隨步數增長:線性步數可以識別所有正則語言,多項式步數恰好對應 P5。

兩種電路能表示什麼
FPGATransformer
基本單元4–6 輸入查詢表,任意布林函式加權求和 + 非線性(注意力、MLP)
一步之內任意深度的組合邏輯,受時脈頻率約束固定層數;對數精度下屬於常數深度閾值電路 TC⁰
加上迴圈暫存器 + 時鐘:任意有限狀態機,可以做成 CPU自迴歸把輸出寫回輸入:線性步數覆蓋正則語言,多項式步數對應 P
實現對方可以跑神經網路推理:Brainwave 在 Stratix 10 上批大小 1 時 39.5 TFLOPS訓練好的網路可以整個編譯成查詢表(LogicNets、LUTNet)

只要電路夠大,誰都能模擬誰;單看“能表示什麼”,FPGA 不比 Transformer 弱,一步之內甚至更強。

表 1 · 表示能力不是兩者的分水嶺

它們可以互相實現

表 1 最後一行不是理論上的可能,而是已經做成的工程。微軟的 Project Brainwave 把神經網路推理放在資料中心的 FPGA 上,權重全部放進片上儲存,在 Stratix 10 上批大小為 1 時達到 39.5 TFLOPS 的有效算力,用在必應搜尋裡6。反方向,LUTNet 直接訓練 FPGA 查詢表裡的內容7,LogicNets 先訓練一個每個神經元只有很少輸入的網路,再把每個神經元整個換成一張真值表,編譯成 FPGA 電路8。

到這裡,一個直覺上的答案就被排除了:FPGA 時代沒有出現智慧,不是因為 FPGA“表示不了”智慧需要的計算。既然能表示,那差別在哪裡? 回到圖 1 最後那句話:兩邊的數,一邊只能是 0 和 1,一邊可以連續地調。這串數是誰寫的、怎麼寫出來的,才是下一節的問題。

三、配置由誰來寫

現象:FPGA 上的每一位都是人決定的

一個 FPGA 設計裡的每一個配置位,歸根到底都來自工程師寫下的 Verilog。綜合和佈局佈線工具會替人做大量最佳化,但它們只是把人已經想清楚的功能翻譯成位元,不會自己發明功能。工程師得先知道全加器是什麼,才寫得出 assign s = a ^ b ^ c;。

而且這條路很慢。一個大設計跑一遍佈局佈線要幾個小時:在 Virtex-7 2000T 上,一個大設計用 Vivado 跑了 5 小時、佔了 9 GB 記憶體,舊工具 ISE 要 13 小時9。改一行程式碼,等半天才能在板子上看到結果。

所以 FPGA 能做的事,被設計者的理解力框住了:電路不會比寫它的人更聰明。要出現“沒人設計過、自己長出來”的能力,配置就不能由人來寫。

第一次嘗試:讓進化來寫

上世紀九十年代,真有人這樣試過。1996 年,薩塞克斯大學的 Adrian Thompson 用遺傳演算法直接“進化”FPGA 的配置10。他用的是 Xilinx XC6216,只取晶片一角 10×10 共 100 個格子,每格 18 個配置位,整個“基因”是 1800 個位元。任務是分辨兩種方波:輸入 1 kHz 時輸出一個電平,輸入 10 kHz 時輸出另一個電平,而且不給時鐘、不給任何外部元件。

做法很樸素:隨機生成 50 個配置,逐個寫進真實的晶片,用示波器和積分器給它們的表現打分;分高的留下來交叉、變異,生成下一代。

Thompson 1996 年的進化實驗 上方是一條 0 到 5000 代的時間軸,標出最好個體的表現:第 0 代輸出恆定 5 伏;第 650 代對 1 千赫基本穩住,對 10 千赫仍在照抄輸入;第 1400 代兩種頻率開始分開;第 2800 代只剩 10 千赫時的快速毛刺;第 3500 代示波器上看著完美;第 4100 代偶發尖峰消除;取第 5000 代為最終電路。下方四張卡片:基因 1800 位元;種群 50,約 25 萬次評估;每次評估 5 秒,全程兩到三週;有用的只有 32 格,有的格子不連到輸出卻不能去掉。 最好個體在示波器上的表現(代數) 這次實驗的賬 0恆定 +5V,毫無區分 14001k 多為高、10k 多為低 3500示波器上看著完美 5000取為最終電路 6501k 基本穩住,10k 仍照抄 2800只剩 10k 時的毛刺 4100偶發尖峰消除 基因 1800 bit10×10 格 × 每格 18 bit 種群 50 · 約 5000 代約 25 萬次評估 每次評估約 5 秒全程 2–3 周 有用的只有 32 格有的不連到輸出卻不能去掉
圖 2 · 進化確實“長”出了沒人設計過的電路,但 1800 個位元就用了 25 萬次評估、兩三週

結果是成功的,而且很奇特。最後的電路只用了 32 個格子,沒有時鐘,卻能分辨週期差了五個數量級的訊號(每個格子的延遲只有幾納秒,訊號週期是 0.1 和 1 毫秒)。其中幾個格子跟輸出之間沒有任何導線相連,可一旦把它們固定住,電路就失靈;Thompson 推測它們是透過電源線或電磁耦合在起作用。這個電路還很怕溫度:用一盞 60 瓦的燈泡烤晶片,或者在涼風習習的晚上開啟實驗室所有窗戶,頻率響應就會平移,分辨就不再完美。

這次實驗正好說明了讓機器寫配置的兩面。好的一面是,它真的寫出了人寫不出來的東西,這正是“湧現”的味道。壞的一面是代價:1800 個位元的配置,就要 25 萬次評估、兩三週時間;而且進化利用的是這一塊晶片的物理細節,換一塊晶片、換一個溫度就不一定成立。

為什麼這麼慢? 照這個速度,GPT-3 那樣幾萬億位元的配置是不可能靠進化寫出來的。

梯度下降:引數怎樣一步步收斂

要說清楚這一點,得先說清楚“訓練”和“收斂”是怎麼回事。

訓練一個網路,先要把“它現在錯得有多厲害”變成一個數,叫損失(loss)。做加法時,可以數一數輸出的位元錯了幾個;實際訓練更常用交叉熵,它不只看對錯,還看模型對正確答案有幾分把握,所以“差一點就對了”和“錯得離譜”會得到不同的分數。

接下來可以打一個比方:把所有引數當成座標,損失當成高度,整張網路的所有可能配置就是一片起伏的地形,訓練就是在這片地形上往低處走。梯度是腳下這一點在每個方向上的坡度,它告訴你:這個引數調大一點,損失是升還是降、變化多快。梯度下降每一步做兩件事:先算出坡度,再朝下坡的方向挪一小步,步子的大小叫學習率。一步一步走下去,損失降到一個很低的位置,引數也不再怎麼變,這就叫收斂。

坡度怎麼算?網路是一層套一層的函式,按微積分裡的鏈式法則,最後的損失對某個引數的導數,等於從輸出往回、沿途每一層“輸入變一點、輸出變多少”的連乘。反向傳播就是把這件事從輸出層往回一次做完,代價大約只是一次前向計算的兩倍,就能得到所有引數各自的導數11。引數從 1800 個變成 1800 億個,每一步的代價跟著線性增長,但每一步仍然同時告訴每個引數該往哪邊走。一步訓練裡的前向、損失、反向傳播和更新各算了哪些數,可以看《Transformer 是怎麼訓練的》裡那個 10 個引數的手算例子。

Transformer 能收斂,靠的是三樣東西湊在一起。

每個零件都可導。矩陣乘法、softmax、歸一化、GELU 之類的啟用函式,都是光滑的函式,輸入變一點,輸出就跟著變一點;ReLU 只在 0 這一個點上有折角,不影響大局。注意力也不例外:softmax 給出的權重是 0.96、0.01 這樣的連續值,而不是“選中 / 不選中”,所以“該看哪裡”本身也能被梯度慢慢調準。

坡度能傳到底。幾十層的網路,連乘一長串導數,很容易乘到接近 0(梯度消失)或者大得離譜(梯度爆炸)。Transformer 每個部件外面都有一條殘差連線,輸出等於輸入加上部件算出來的增量,梯度可以沿著這條直通的路一路傳回最前面;歸一化把每層的數值拉回固定範圍,避免越乘越大。

引數多,路就多。直覺上,幾千億維的地形應該坑坑窪窪,走到哪個小坑裡就出不來;但實踐中,引數遠多於“恰好夠用”時,能把訓練資料擬合好的配置非常多,彼此連成大片的低地,從隨機起點出發大多都能走到其中一處。這是大量訓練經驗的觀察,理論上還沒有完全說清楚。還要注意,“收斂”指的是走到一處足夠低的地方,而不是找到唯一的最優解:同一個模型換個隨機種子訓練兩次,引數完全不同,表現卻差不多。

原因:位元上沒有坡度

FPGA 的配置位只能是 0 或 1。把上面的地形換到位元上,就不再是連綿的山坡,而是一個個孤立的點:每個位元只有兩個位置,中間沒有“往右挪一點”可言。

這件事可以直接量出來。我們搭了一張由 4 輸入查詢表組成的小網路學 3 位加法(下一小節的實驗用的也是它),再給它做一個“軟”版本:每張查詢表的 16 個位元各換成一個實數 θ,經過 sigmoid 變成 0 到 1 之間的“軟位元”,θ 大於 0 就對應位元 1,小於 0 對應位元 0。軟版本用梯度訓練到第 20 步、還沒收斂的時候,挑出其中一個配置項,把它從 −6 掃到 6,分別看軟網路的損失和取回位元後的硬電路錯了多少(圖 3)。軟查詢表上,損失隨它平滑變化,當前位置的坡度清楚地指向右邊;硬查詢表上,這個配置項小於 0 時電路錯 86 個輸出位,大於 0 時錯 70 個,兩邊都是平的。

同一個配置項:軟查詢表有坡度,硬查詢表沒有 3 位加法網路訓練到第 20 步時,把其中一個配置項從負 6 掃到 6。左邊是軟查詢表的損失,從 0.562 平滑降到 0.535,當前位置 1.59 處斜率為負,往右調損失下降。右邊是硬查詢表錯了多少個輸出位:小於 0 時 86 個,大於 0 時 70 個,兩段都是平的,只在 0 處跳一下。 軟查詢表 · 損失(交叉熵) 硬查詢表 · 錯了幾個輸出位(共 256) 0.53 0.54 0.55 0.56 -6 -3 0 3 6 當前 θ = 1.59 坡往右下:θ 調大一點,損失就小一點 60 70 80 90 -6 -3 0 3 6 當前:錯 70 個 錯 86 個 兩段都是平的:往哪邊挪一點,結果都不變 左右是同一張網路裡的同一個配置項。軟的那張告訴你往哪邊調;硬的那張只能整個翻過去試試看(虛線)。
圖 3 · 把一個配置位放鬆成實數,損失就有了坡度;留在 0 和 1 上,坡度處處是 0

硬的那張圖上,坡度在每一處都是 0,只在 0 處有一個跳變,那裡導數根本不存在。梯度下降站在任何一點上,看到的都是“往哪邊走都一樣”,一步也邁不出去。剩下的辦法只有試:把這一位整個翻過去,重新評估一次,看看變好沒有。

而試的代價隨規模增長得極快。變異搜尋每做一次評估,得到的只是一個分數:這一組隨機翻轉合起來讓整體變好了還是變差了,至於是哪一位起了作用、哪一位幫了倒忙,分數里看不出來。1800 個位元有 218002^{1800} 種組合;配置越長,隨機翻轉碰巧改對、又沒碰壞別處的機會越小,越到後期越難。

這裡要分清兩件事。FPGA 晶片本身完全可以執行梯度下降,Brainwave 就是在 FPGA 上跑神經網路;收斂不了的,是 FPGA 自己的位元流。而且普通 FPGA 的位元流還不能隨便亂改,有的配置會讓兩個驅動源接到同一根線上;Thompson 特意選了 XC6216,正是因為它的任何配置都不會損壞晶片10。這不是 FPGA 的硬體缺陷,而是“配置是位元”這件事本身決定的。

實驗:同一張查詢表網路,兩種寫法

為了看看這個差別放大以後有多大,我們用同一類“FPGA 式”網路做了個小實驗12。網路由 4 輸入查詢表組成,每張表 16 個配置位;導線隨機連好以後就不再改,每張表從原始輸入和上一層的輸出裡隨機挑 4 根線,就像佈局佈線已經做完。任務是 n 位無符號加法:輸入 2n 個位元,輸出 n+1 個位元,把所有 22n2^{2n} 種輸入都算對才算成功。網路寬 16n 張表、深 n+2 層,2 位加法有 1584 個配置位,4 位加法有 5200 個。

同一張網路,我們用兩種辦法去寫它的配置。

  • 變異搜尋,相當於簡化版的 Thompson:每一輪把當前配置複製 64 份,每份隨機翻轉大約 2 個位元,挑出得分最高的一份;只要不比當前差,就替換掉當前配置。
  • 梯度下降:用圖 3 裡那種軟查詢表,輸入也允許是 0 到 1 之間的小數,查詢表的輸出就是 16 個軟位元按輸入加權的平均。這樣整張網路對配置可以求導,用 Adam 最佳化;每 10 步把實數按正負取回成位元,放回真正的硬電路上檢查是不是全對。
同一張查詢表網路,兩種寫法(各 3 個隨機種子)
任務配置位梯度下降:多少步全對變異搜尋:20 萬次評估後
2 位加法158450、30、30 步全對,分別用了 4673、10945、2945 次
3 位加法313680、80、90 步95.3%、96.9%、96.9% 的題全對
4 位加法52001270、1530 步;第三個 3000 步時 97.7%54.7%、65.6%、52.0%
5 位加法77764000 步時 94.2%、97.6%,沒有全對(2 個種子)沒有跑(4 位已經差得很遠)

梯度一步要算一次前向和一次反向,大約相當於 3 次評估。3 位加法上,我們又給變異搜尋加到 200 萬次評估,它在第 153 萬次時全對。

表 2 · 配置位從 1584 漲到 5200,變異搜尋從幾千次評估就能寫對,變成 20 萬次也只對一半多

結果(表 2)和 Thompson 的經驗一致,而且差距隨規模拉得很快。2 位加法的配置只有 1584 位,兩種辦法都能寫對,變異搜尋用幾千到一萬次評估,梯度用三五十步。到 3 位加法,梯度仍然只要 80 來步,變異搜尋 20 萬次評估後停在 95% 到 97%,我們把預算加到 200 萬次,它在第 153 萬次評估時才全對,差不多是梯度的六千倍。4 位加法上,梯度要一千多步,變異搜尋 20 萬次以後只有一半多的題全對。

4 位加法:梯度下降與變異搜尋的學習曲線 橫軸是前向計算次數(對數),縱軸是 256 道題全對的比例。梯度下降在約 3810 次前向(1270 步)時達到 100%;變異搜尋在 60 萬次評估後停在 59.8%。 4 位加法 · 5200 個配置位 · 256 道題全對的比例 0% 25% 50% 75% 100% 10 100 1000 1萬 10萬 100萬 前向計算次數(梯度一步按 3 次算) 梯度下降:1270 步全對 變異搜尋:60 萬次後 59.8%
圖 4 · 同一張查詢表網路:梯度在約 4000 次前向內寫對了 5200 個配置位,變異搜尋用了 60 萬次評估還差四成

圖 4 把 4 位加法的過程畫了出來。變異搜尋前幾千次評估漲得很快,因為隨機配置裡錯的地方很多,隨便翻幾位都可能改好;越往後,對的位越多,隨機翻轉碰到“該翻的那一位”而不碰壞別處的機會越小,曲線就趴下了。梯度下降每一步都知道 5200 個數各自該往哪邊調,不靠運氣。

這個實驗也有它的邊界。梯度這一邊並不是無敵的:5 位加法時,兩個種子跑完 4000 步分別有 94.2% 和 97.6% 的題全對,沒有完全寫對;規模再大就要換更好的網路結構和訓練方法,這正是深度學習這些年一直在做的事。我們的網路是隨機佈線、只有幾千個配置位的玩具,不能拿來推算真實 FPGA 上的情況;它要說明的只是方向:同樣是寫一串配置,離散的位元只能靠試,連續的實數可以靠算。

解決:把位元放鬆成實數

這個實驗裡的“軟查詢表”並不是我們的發明,它正是近幾年把 FPGA 和神經網路接起來的那條路。可微邏輯閘網路把每個邏輯閘放鬆成 16 種二輸入門的機率混合,用梯度訓練,訓練完再給每個門挑最可能的那一種13;它的後續工作在 CIFAR-10 影象分類上做到了 86.29% 的準確率,用了大約 6100 萬個邏輯閘14。前面提到的 LUTNet、LogicNets 也都是先在連續空間裡訓練,再落成查詢表。權重只有 ±1 的二值神經網路也是同樣的套路:訓練時在背後保留一份實數權重,前向用它的符號,反向時假裝“取符號”這一步的導數是 1,讓梯度穿過去,更新的是那份實數15。

也就是說,今天要讓 FPGA 上的配置“自己學出來”,辦法是先借用神經網路的連續引數和梯度,學完再離散化。真正寫配置的,是梯度下降,FPGA 只是最後承載結果的地方。

配置能被梯度寫出來,這只是第一步。下一個問題是:就算配置能學,FPGA 那種燒寫後就焊死的導線,是不是學習的合適形狀?

四、導線是焊死的還是現算的

現象:按內容取數,固定電路要為每個位置備一套

看一個最簡單的“理解”任務:給一張表,北京對應京,上海對應滬,廣東對應粵,四川對應川;問“上海”,答“滬”。語言裡這種事無處不在:讀到“她”時,要回頭找前文裡哪個名字是她;讀到“這個函式”,要找前面定義的是哪個函式。該從哪裡取資訊,取決於內容本身。

按內容取數:固定導線與注意力 左邊是固定電路:北京、上海、廣東、四川四個槽位,每個後面接一個“等於上海嗎”的比較器,比較結果都接到一個選擇器上,選出“滬”;每多一個槽位就要多一套比較器和一路選擇。右邊是注意力:查詢向量和四個鍵做點積,得到分數負 0.3、4.1、0.2、負 0.6,經過 softmax 變成權重 0.01、0.96、0.02、0.01,按權重把值加起來,結果約等於“滬”;同一組投影矩陣適用於任意多個槽位。 固定導線:每個槽位一套比較器 注意力:權重每一步現算 北京 → 京 上海 → 滬 廣東 → 粵 四川 → 川 = 上海? = 上海? = 上海? = 上海? 選擇器 滬 槽位數在燒寫時定死 多一個槽位,多一套比較器 和一路選擇 查詢 q = WQ · 上海 鍵 kᵢq·kᵢ權重 北京−0.30.01 上海4.10.96 廣東0.20.02 四川−0.60.01 Σ 權重 × vᵢ ≈ 滬 數值示意 左邊的“比較什麼、從哪幾個位置選”都寫在配置裡;右邊只寫了 WQ、WK、WV 三個矩陣。 槽位從 4 個變成 4000 個,右邊的引數一個不多,算的次數跟著變多。
圖 5 · 固定電路也能按內容選,但每條可能的路都要預先鋪好;注意力把“比較”做成了所有位置共用的一組引數

FPGA 當然能做這件事,圖 5 左邊就是標準做法:每個槽位後面接一個比較器,比較結果送進選擇器。選擇本身是執行時按資料決定的,這一點和注意力一樣。差別在於有哪些候選、怎麼比較,全都要在燒寫時鋪成實實在在的電路:槽位數定死了,多一個槽位就多一套比較器和一路選擇;“相等”這個比較標準也是寫死的,要換成“意思相近”,就得重新設計電路。

注意力:導線由資料當場算出來

注意力做的是同一件事,但換了一種存法。當前位置算一個查詢向量 q,每個位置算一個鍵 k 和一個值 v,q 和每個 k 做點積得到分數,softmax 變成權重,再按權重把 v 加起來3。可以把這組權重看成這一步臨時接上的導線:權重 0.96 就是一根粗線,0.01 就是幾乎斷開。

關鍵在於 WQW_Q、WKW_K、WVW_V 三個矩陣對所有位置共用。配置裡不需要列出“第 3 個位置和第 7 個位置之間要不要接線”,只需要寫下“什麼樣的查詢和什麼樣的鍵算相近”。這個“相近”本身也是學出來的:訓練會把“她”和前文的人名放到點積大的方向上去。至於序列有多長,那是執行時的事,引數一個不用多,代價是要做的乘法跟著變多。

這對“學習”很重要。如果連線方式要寫進配置,學習者就得對所有可能的連線一一試錯,配置的長度隨位置數增長;把連線變成資料的函式以後,要學的只是一個比較規則,而且它是連續的、可以求導的。

邊寫邊讀:把中間結果寫回輸入

導線現算還有一個後果。Transformer 每寫出一個詞元,都會把它接到輸入末尾,下一步可以像讀輸入一樣讀它。比如用 Transformer 做十進位制加法時,它不需要一根專門傳進位的導線,而是把上一位的兩個數字再看一遍,跟自己剛寫下的那一位比一比,就能推出有沒有進位。思維鏈讓表示能力隨步數增長,靠的也是這個:中間結果寫在序列裡,後面的步驟用注意力按需取回5。

FPGA 也有儲存,暫存器和片上儲存器一樣能儲存中間結果;但讀哪一格、寫哪一格,同樣是電路里寫死的地址邏輯。Transformer 的“草稿紙”和它讀輸入用的是同一套注意力,讀哪裡也是現算的。

到這裡,我們看到了兩個結構上的差別:配置能不能求導,導線是不是現算。可就算有了這兩樣,1990 年代也不可能一下子做出 GPT。還差的是什麼? 是規模。

五、規模:差了多少個數量級

配置有多大,是怎麼寫出來的
物件年份配置有多大配置怎麼寫出來
XC2064198564 個 4 輸入邏輯塊工程師手寫
Thompson 的進化電路19961800 bit遺傳演算法,約 25 萬次評估、2–3 周
本文的查詢表網路20261584–7776 bit梯度幾十到幾千步;變異搜尋寫對 3 位加法要 153 萬次評估
VP19022023846 萬個 6 輸入 LUT,查詢表內容約 5.4 億 bit(不含佈線)工程師寫 Verilog,工具綜合、佈局佈線
GPT-320201750 億個引數,按 16 bit 存約 2.8 萬億 bit梯度下降,約 3000 億個 token,3.14×10²³ 次浮點運算

VP1902 的 5.4 億 bit 是按 846 萬 × 64 估算的,只算查詢表本身;GPT-3 的配置比它多約 5000 倍。

表 3 · 配置的規模從幾千位元到幾萬億位元,能寫到這麼大的只有梯度下降

把幾樣東西的配置擺在一起(表 3),差距是按數量級算的。最大的 FPGA,查詢表內容大約 5.4 億位元,已經全靠工程師和工具一層層寫出來;GPT-3 的 1750 億個引數按 16 位元存是 2.8 萬億位元16,多出約 5000 倍,沒有任何人知道其中某一個數為什麼是現在這個值。

寫出這麼大的配置,需要的不只是演算法,還有兩樣東西。一是資料:GPT-3 讀了大約 3000 億個 token16,這麼多可用的文字要到網際網路普及很久以後才有。二是算力:訓練 GPT-3 用了大約 3.14×10²³ 次浮點運算17。拿 Brainwave 那塊 Stratix 10 的 39.5 TFLOPS 來算,一塊 FPGA 不停地跑也要 250 年左右;1990 年代的晶片還要再慢好幾個數量級。

而“湧現”恰好是規模的產物。Wei 等人把它定義為“小模型上沒有、大模型上出現”的能力,許多能力在訓練計算量達到 10²² 到 10²⁴ 次浮點運算這個區間時才明顯高於隨機水平17。也有人認為,所謂的“突然出現”很大程度上是評價指標造成的:用只看答案對錯的指標,曲線就像突然跳起來;換成連續的指標,能力其實是平滑增長的18。這兩種看法爭的是“湧現”是不是突變,但都同意一點:這些能力出現在規模很大的時候,小模型上看不到。

所以就算 1996 年有人用梯度和注意力去訓練 FPGA,配置規模、資料和算力也都差了好幾個數量級,看不到湧現是意料之中的。那麼回到開頭的問題,把這幾條放在一起,答案是什麼?

六、為什麼 FPGA 時代沒有出現湧現

先把時間線擺出來。FPGA 和神經網路其實是同時代的東西,並不存在“先有 FPGA 時代、後有 Transformer 時代”。

FPGA 和神經網路的兩條時間線 上面一條是 FPGA:1985 年 XC2064 有 64 個邏輯塊,1996 年 Thompson 進化出 1800 位元的電路,2018 年 Brainwave 在 FPGA 上跑神經網路,2022 年出現可微邏輯閘網路。下面一條是神經網路:1986 年反向傳播,2012 年 AlexNet,2017 年 Transformer,2020 年 GPT-3。2018 年和 2022 年兩條線之間有虛線相連:FPGA 開始承載神經網路,可微邏輯閘讓梯度來寫查詢表。 FPGA:配置由人寫 神經網路:配置由梯度寫 1985 XC2064 64 個邏輯塊 1996 進化電路 1800 bit,2–3 周 2018 Brainwave 2022 可微邏輯閘 FPGA 跑神經網路 1986 反向傳播 2012 AlexNet · GPU 2017 Transformer 2020 GPT-3 兩條線並行了三十多年;交匯時,FPGA 上的配置也改由梯度來寫(虛線)。
圖 6 · FPGA 和神經網路是同時代的;智慧出現在梯度能寫的那條線上

把前面幾節合起來,答案可以分成三層。

第一層:智慧不在電路里,在配置裡。 FPGA 是一種承載配置的硬體,和 GPU 是同一類東西。問“FPGA 上為什麼沒有湧現”,就像問“GPU 上為什麼在 2012 年之前沒有湧現”:硬體一直在那裡,缺的是一份夠好的配置。FPGA 的四十年裡,幾乎所有配置都是工程師寫的,而人寫出來的電路不會超出寫它的人對問題的理解。

第二層:唯一能自動寫配置的辦法,在 FPGA 的位元上走不遠。 進化是那個年代最自然的嘗試,Thompson 的實驗也確實長出了沒人設計過的電路;但離散的位元沒有梯度,搜尋的代價隨配置長度急劇上升,我們的小實驗在幾千位元的規模上就看到了這一點。能把配置寫到幾萬億位元的只有梯度下降,而梯度下降要求配置是連續的。反向傳播 1986 年就有了11,它天然屬於神經網路那條線,不屬於 FPGA。

第三層:就算有了連續引數,還要有合適的結構和足夠的規模。 注意力讓“連哪裡”變成資料的函式,一組引數能用在任意長度的輸入上;而湧現出現在配置、資料和算力都很大的時候。等到這幾樣湊齊,跑訓練的硬體已經是 GPU 了:它天生適合大塊的矩陣乘法,改一行程式碼幾秒鐘就能重新跑,而 FPGA 改一次設計要等幾個小時的佈局佈線。Hooker 把這種“一條研究路線能不能贏,取決於它是否碰巧適合當時的硬體”的現象叫作硬體彩票19,神經網路抽中的是 GPU。

所以更準確的說法是:FPGA 時代並不缺可配置的電路,缺的是一個能從資料裡自動寫出幾萬億個配置數的方法,以及讓這個方法有效的連續引數、可學習的連線方式、海量資料和算力。這些條件湊齊的地方是 GPU 上的神經網路。FPGA 後來也接上了這條線:Brainwave 把訓練好的網路放到 FPGA 上跑,可微邏輯閘讓梯度來寫查詢表,但寫配置的始終是梯度,不是 FPGA 自己。

七、回到開頭

回到開頭那兩個十六進位制數。0x96 和 0xE8 是人寫的:工程師先知道全加器是什麼,再把它的真值表交給工具。神經元那 9 個實數 [1, 1, 1], −1.5 和 [1, 1, 1, −2], −0.5,其實也是我們手寫的,它們和 0x96 一樣“不聰明”。

這一點可以在 Transformer 自己身上看得很清楚。AdderBoard 排行榜上有一個只有 6 個引數的 Transformer,能把十位數加法做對,它的 6 個引數全是人推出來的,本質上是一個用 Transformer 零件搭出來的加法電路,和 FPGA 上手寫的加法器沒有什麼兩樣;同一個榜上訓練出來的模型最少要 36 個引數,那是梯度下降自己找到的解(詳見《做加法最少要幾個引數》)。

所以 Transformer 和 FPGA 的差別,不在“它是不是電路”,而在這串配置數能不能由梯度從資料裡寫出來,以及寫到多大。手寫的配置,不管放在 FPGA 上還是 Transformer 上,都不會湧現;梯度寫的配置,放到 FPGA 上照樣能跑。

小結

  1. 兩者相同在哪? 都是“固定骨架 + 一串配置數”:FPGA 的配置是查詢表和導線開關的位元,Transformer 的配置是權重。都能表示任意函式,也能互相實現:FPGA 能跑神經網路,訓練好的網路能編譯成查詢表。
  2. 表示能力是不是差別? 不是。Transformer 一次前向是常數深度的閾值電路,FPGA 加上暫存器和時鐘是任意狀態機,一步之內 FPGA 甚至更強。
  3. 配置由誰來寫?為什麼 Transformer 的引數能收斂? FPGA 上是人,Transformer 上是梯度。收斂就是沿著損失的坡度一步步往下走:Transformer 的每個零件都可導,殘差和歸一化讓坡度傳得下去,引數多讓低處連成一片。FPGA 的位元只有 0 和 1,損失對它的坡度處處是 0,只能整位翻過去試;Thompson 的進化電路 1800 個位元就要 25 萬次評估,我們的實驗裡變異搜尋在幾千位元的網路上就追不上梯度下降。把位元放鬆成實數以後,梯度一樣能寫查詢表。
  4. 導線有什麼不同? FPGA 的連線在燒寫時鋪好,每條可能的路都寫在配置裡;注意力的連線每一步由資料算出,引數和序列長度無關,比較規則本身也能學。
  5. 規模差多少? 最大 FPGA 的查詢表內容約 5.4 億位元,GPT-3 約 2.8 萬億位元,還要 3000 億 token 和 3×10²³ 次浮點運算;湧現只在這樣的規模上出現。
  6. 為什麼 FPGA 時代沒有湧現? 因為智慧在配置裡而不在電路里;那個年代能自動寫配置的方法走不遠,能走遠的梯度下降屬於神經網路,等資料和算力湊齊時它已經跑在 GPU 上了。

如果想自己試一試,實驗程式碼只有一百來行,依賴 PyTorch,train_grad 和 train_evo 分別是梯度和變異兩種寫法,在筆記本上幾分鐘就能跑完 2 到 4 位加法12。

參考資料

參考資料

  1. Chip Hall of Fame: Xilinx XC2064 FPGAIEEE Spectrumspectrum.ieee.org ↗1985 年的第一塊 FPGA,64 個可配置邏輯塊,每塊是一個 4 輸入的邏輯函式。https://spectrum.ieee.org/chip-hall-of-fame-xilinx-xc2064-fpga ↩

  2. AMD Introduces World's Largest FPGA-Based Adaptive SoC for Emulation and PrototypingAMD · 2023-06-27ir.amd.com ↗Versal Premium VP1902:1850 萬個系統邏輯單元、846 萬個 LUT。“最大”是廠商自己的說法。https://ir.amd.com/news-events/press-releases/detail/1141/amd-introduces-worlds-largest-fpga-based-adaptive-soc ↩

  3. Attention Is All You NeedAshish Vaswani 等 · NeurIPS 2017arxiv.org ↗https://arxiv.org/abs/1706.03762 ↩ ↩2

  4. The Parallelism Tradeoff: Limitations of Log-Precision TransformersWilliam Merrill, Ashish Sabharwal · TACL · 2023arxiv.org ↗對數精度的 Transformer 一次前向可以用常數深度的閾值電路模擬,屬於 uniform TC⁰。https://arxiv.org/abs/2207.00729 ↩

  5. The Expressive Power of Transformers with Chain of ThoughtWilliam Merrill, Ashish Sabharwal · ICLR 2024arxiv.org ↗允許生成中間步驟後,線性步數可以識別全部正則語言,多項式步數恰好對應 P(各自帶有歸一化方式的前提條件)。https://arxiv.org/abs/2310.07923 ↩ ↩2

  6. Serving DNNs in Real Time at Datacenter Scale with Project BrainwaveEric Chung 等 · IEEE Micro · 2018microsoft.com ↗微軟在 Intel Stratix 10 FPGA 上跑神經網路推理,批大小為 1 時有效算力 39.5 TFLOPS,權重全部放在片上儲存裡。https://www.microsoft.com/en-us/research/uploads/prod/2018/03/mi0218_Chung-2018Mar25.pdf ↩

  7. LUTNet: Learning FPGA Configurations for Highly Efficient Neural Network InferenceErwei Wang, James J. Davis, Peter Y. K. Cheung, George A. Constantinides · IEEE Transactions on Computers · 2020arxiv.org ↗直接訓練 FPGA 查詢表裡的內容,把查詢表當作神經網路的運算元。https://arxiv.org/abs/1910.12625 ↩

  8. LogicNets: Co-Designed Neural Networks and Circuits for Extreme-Throughput ApplicationsYaman Umuroglu 等 · FPL 2020arxiv.org ↗先訓練稀疏、低位元的網路,再把每個神經元整個換成一張真值表,編譯成 FPGA 網表。https://arxiv.org/abs/2004.03021 ↩

  9. FPGA Design Suite Generates Global Minimum LayoutElectronic Designelectronicdesign.com ↗Virtex-7 2000T 上的一個大設計,Vivado 佈局佈線用了 5 小時、9 GB 記憶體,舊工具 ISE 要 13 小時。https://www.electronicdesign.com/technologies/embedded/digital-ics/fpga/article/21789745/fpga-design-suite-generates-global-minimum-layout ↩

  10. An Evolved Circuit, Intrinsic in Silicon, Entwined with PhysicsAdrian Thompson · ICES 1996 · 1996cse-robotics.engr.tamu.edu ↗在 XC6216 的 10×10 格上用遺傳演算法進化出音調分辨電路。文中的代數、評估時間、32 個有效格、溫度實驗都取自這篇論文的第 3–5 節。https://cse-robotics.engr.tamu.edu/dshell/cs625/Thompson96Evolved.pdf ↩ ↩2

  11. Learning representations by back-propagating errorsDavid E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams · Nature 323 · 1986doi.org ↗https://doi.org/10.1038/323533a0 ↩ ↩2

  12. 本文的實驗程式碼與調研筆記/mnt/project-files/transformer-fpga-research/:experiment/lutnet.py 是查詢表網路和兩種訓練方法,run_scale.py、run_more.py 是實驗入口,輸出在 logs/。PyTorch 2.14.1 CPU 版,4 核。 ↩ ↩2

  13. Deep Differentiable Logic Gate NetworksFelix Petersen, Christian Borgelt, Hilde Kuehne, Oliver Deussen · NeurIPS 2022arxiv.org ↗把每個邏輯閘放鬆成 16 種二輸入門的機率混合,用梯度訓練,訓練完再取最可能的那個門。https://arxiv.org/abs/2210.08277 ↩

  14. Convolutional Differentiable Logic Gate NetworksFelix Petersen 等 · NeurIPS 2024arxiv.org ↗同一思路做到 CIFAR-10 上 86.29%,用了約 6100 萬個邏輯閘。https://arxiv.org/abs/2411.04732 ↩

  15. Binarized Neural NetworksItay Hubara, Matthieu Courbariaux, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio · NeurIPS 2016arxiv.org ↗權重和啟用都是 ±1 的網路;訓練時保留實數權重,用直通估計(straight-through estimator)讓梯度穿過取符號。憑領域知識整理,發文前可再核對。https://arxiv.org/abs/1602.02830 ↩

  16. Language Models are Few-Shot LearnersTom B. Brown 等 · NeurIPS 2020arxiv.org ↗GPT-3:1750 億引數,訓練用了約 3000 億個 token。https://arxiv.org/abs/2005.14165 ↩ ↩2

  17. Emergent Abilities of Large Language ModelsJason Wei 等 · TMLR · 2022arxiv.org ↗附錄裡 GPT-3 175B 的訓練計算量記為 3.14×10²³ FLOPs;湧現能力定義為“小模型上沒有、大模型上出現”。https://arxiv.org/abs/2206.07682 ↩ ↩2

  18. Are Emergent Abilities of Large Language Models a Mirage?Rylan Schaeffer, Brando Miranda, Sanmi Koyejo · NeurIPS 2023arxiv.org ↗認為很多“突然出現”是評價指標不連續造成的,換成連續指標後曲線是平滑的。https://arxiv.org/abs/2304.15004 ↩

  19. The Hardware LotterySara Hooker · arXiv · 2020arxiv.org ↗一個研究方向能不能贏,很大程度上取決於它是否碰巧適合當時的硬體和軟體。https://arxiv.org/abs/2009.06489 ↩