標籤: 神經網路

共 2 篇

硬碟能像神經元一樣記憶嗎:把 30B 引數固化到裸盤上

2026年11月1日

把一個 30B 模型的權重不經檔案系統、直接寫進一塊裸盤,盤就“記住”了這三百億個數嗎?我們從裸盤上的地址和快閃記憶體單元講起,用一個小實驗對比按地址讀取和按內容回憶兩種記憶;再算清楚盤只儲存、處理器計算時每個 token 要讀多少資料,看儲存單元能不能就地計算、能不能像突觸一樣學習;最後回答什麼樣的模型、什麼樣的盤,才適合把 30B 引數固化下來。

訓練大模型為什麼不用來回評審:梯度下降找到的是什麼解

2026年10月29日

GPT-3 被損失函式“評審”了約 9.4 萬輪,每輪都可能讓訓練變差,卻還是走到了好解。是誰在給每一步打分,單步變差又為什麼能整體變好?引數越多越不容易卡住,這或許說明好解不止一個。