標籤: 神經網路

共 3 篇

不用梯度,把一條規則寫進權重:WeightCode 的權重程式原理與局限

2026年11月22日

一個只在單獨出現時見過 jump 的 SCAN 模型,不會執行 jump twice。WeightCode 讓 LLM 寫一段 143 行的 NumPy 程式,只改 257 個權重就讓它學會。順著這個現象往下追:程式具體改了什麼;沒有梯度時程式怎麼寫、怎麼選;為什麼要保留程式而不是權重差;寫進去的計算能不能看懂;和微調比強在哪;以及它還有哪些問題和局限。

硬碟能像神經元一樣記憶嗎:把 30B 引數固化到裸盤上

2026年11月1日

把一個 30B 模型的權重不經檔案系統、直接寫進一塊裸盤,盤就“記住”了這三百億個數嗎?我們從裸盤上的地址和快閃記憶體單元講起,用一個小實驗對比按地址讀取和按內容回憶兩種記憶;再算清楚盤只儲存、處理器計算時每個 token 要讀多少資料,看儲存單元能不能就地計算、能不能像突觸一樣學習;最後回答什麼樣的模型、什麼樣的盤,才適合把 30B 引數固化下來。

訓練大模型為什麼不用來回評審:梯度下降找到的是什麼解

2026年10月29日

GPT-3 被損失函式“評審”了約 9.4 萬輪,每輪都可能讓訓練變差,卻還是走到了好解。是誰在給每一步打分,單步變差又為什麼能整體變好?引數越多越不容易卡住,這或許說明好解不止一個。