不用梯度,把一條規則寫進權重:WeightCode 的權重程式原理與局限
一個只在單獨出現時見過 jump 的 SCAN 模型,不會執行 jump twice。WeightCode 讓 LLM 寫一段 143 行的 NumPy 程式,只改 257 個權重就讓它學會。順著這個現象往下追:程式具體改了什麼;沒有梯度時程式怎麼寫、怎麼選;為什麼要保留程式而不是權重差;寫進去的計算能不能看懂;和微調比強在哪;以及它還有哪些問題和局限。
共 1 篇
一個只在單獨出現時見過 jump 的 SCAN 模型,不會執行 jump twice。WeightCode 讓 LLM 寫一段 143 行的 NumPy 程式,只改 257 個權重就讓它學會。順著這個現象往下追:程式具體改了什麼;沒有梯度時程式怎麼寫、怎麼選;為什麼要保留程式而不是權重差;寫進去的計算能不能看懂;和微調比強在哪;以及它還有哪些問題和局限。