硬碟能像神經元一樣記憶嗎:把 30B 引數固化到裸盤上
把一個 30B 模型的權重不經檔案系統、直接寫進一塊裸盤,盤就“記住”了這三百億個數嗎?我們從裸盤上的地址和快閃記憶體單元講起,用一個小實驗對比按地址讀取和按內容回憶兩種記憶;再算清楚盤只儲存、處理器計算時每個 token 要讀多少資料,看儲存單元能不能就地計算、能不能像突觸一樣學習;最後回答什麼樣的模型、什麼樣的盤,才適合把 30B 引數固化下來。
共 2 篇
把一個 30B 模型的權重不經檔案系統、直接寫進一塊裸盤,盤就“記住”了這三百億個數嗎?我們從裸盤上的地址和快閃記憶體單元講起,用一個小實驗對比按地址讀取和按內容回憶兩種記憶;再算清楚盤只儲存、處理器計算時每個 token 要讀多少資料,看儲存單元能不能就地計算、能不能像突觸一樣學習;最後回答什麼樣的模型、什麼樣的盤,才適合把 30B 引數固化下來。
GPT-3 被損失函式“評審”了約 9.4 萬輪,每輪都可能讓訓練變差,卻還是走到了好解。是誰在給每一步打分,單步變差又為什麼能整體變好?引數越多越不容易卡住,這或許說明好解不止一個。