不用梯度,把一條規則寫進權重:WeightCode 的權重程式原理與局限
一個只在單獨出現時見過 jump 的 SCAN 模型,不會執行 jump twice。WeightCode 讓 LLM 寫一段 143 行的 NumPy 程式,只改 257 個權重就讓它學會。順著這個現象往下追:程式具體改了什麼;沒有梯度時程式怎麼寫、怎麼選;為什麼要保留程式而不是權重差;寫進去的計算能不能看懂;和微調比強在哪;以及它還有哪些問題和局限。
把經歷過的,連成記憶。
這是我的記憶構建平臺,你也能搭一個。
一個只在單獨出現時見過 jump 的 SCAN 模型,不會執行 jump twice。WeightCode 讓 LLM 寫一段 143 行的 NumPy 程式,只改 257 個權重就讓它學會。順著這個現象往下追:程式具體改了什麼;沒有梯度時程式怎麼寫、怎麼選;為什麼要保留程式而不是權重差;寫進去的計算能不能看懂;和微調比強在哪;以及它還有哪些問題和局限。
讓 agent 做完任務就把經驗寫成 skill,最後往往堆出一大堆沒人維護得動的 skill。Harness² 也讓 agent 自己改 harness,卻讓每個任務都從空的起點重新出發,分數照樣往上走。順著這個現象往下追:經驗為什麼會腐化;沒有標準答案時一條修改憑什麼留下;任務之間傳的是什麼;經驗怎樣泛化而不是堆積;最後是效果、代價和還沒解決的問題。
想知道自己一天裡站了多久、坐了多久、在螢幕前多久,各個時段狀態怎樣、周圍有多吵。手上有 iPhone、Apple Watch 和 MacBook,順著這個需求往下追:手錶的“站立”到底測了什麼,坐著為什麼只能推斷,Mac 能交出哪些記錄,工作狀態和環境噪聲從哪來,幾路資料怎麼對到同一條時間線上;最後看現有軟體做到了哪一步,給一段能跑的拼接指令碼。
想在指令碼里用一條命令讓 Claude Code 或 Codex 開始幹活,再用一條命令在它幹到一半時插一句話。順著這個需求往下追:為什麼插話比發起難,兩家的插話差在哪,現有方案做到了哪一步;最後給出我們設計的協議 harnessctl:四條命令、一個事件檔案,由介面卡決定投遞,只公佈確認過的歸屬,並在本機驗證 Codex 介面卡。
把一個 30B 模型的權重不經檔案系統、直接寫進一塊裸盤,盤就“記住”了這三百億個數嗎?我們從裸盤上的地址和快閃記憶體單元講起,用一個小實驗對比按地址讀取和按內容回憶兩種記憶;再算清楚盤只儲存、處理器計算時每個 token 要讀多少資料,看儲存單元能不能就地計算、能不能像突觸一樣學習;最後回答什麼樣的模型、什麼樣的盤,才適合把 30B 引數固化下來。