硬盘能像神经元一样记忆吗:把 30B 参数固化到裸盘上
把一个 30B 模型的权重不经文件系统、直接写进一块裸盘,盘就“记住”了这三百亿个数吗?我们从裸盘上的地址和闪存单元讲起,用一个小实验对比按地址读取和按内容回忆两种记忆;再算清楚盘只存储、处理器计算时每个 token 要读多少数据,看存储单元能不能就地计算、能不能像突触一样学习;最后回答什么样的模型、什么样的盘,才适合把 30B 参数固化下来。
共 1 篇
把一个 30B 模型的权重不经文件系统、直接写进一块裸盘,盘就“记住”了这三百亿个数吗?我们从裸盘上的地址和闪存单元讲起,用一个小实验对比按地址读取和按内容回忆两种记忆;再算清楚盘只存储、处理器计算时每个 token 要读多少数据,看存储单元能不能就地计算、能不能像突触一样学习;最后回答什么样的模型、什么样的盘,才适合把 30B 参数固化下来。