Ilya 的论文清单在讲什么:从 30u30 说起
30u30 是一个按天带读“Ilya Sutskever 推荐的 30 篇论文”的开源仓库。我们先查这份清单从哪来,发现它其实有三个版本;再看它的构成,里面除了 Transformer、ResNet,还有咖啡自动机、一本数学专著的第 14 章和一篇 200 页的博士论文。顺着这几篇往下读,清单的另一条主线是压缩:预测就是压缩,学习就是把数据拆成规律和噪声。最后用三个自己复现的小实验检验这条线,也顺带看看 30u30 的实现。
共 2 篇
30u30 是一个按天带读“Ilya Sutskever 推荐的 30 篇论文”的开源仓库。我们先查这份清单从哪来,发现它其实有三个版本;再看它的构成,里面除了 Transformer、ResNet,还有咖啡自动机、一本数学专著的第 14 章和一篇 200 页的博士论文。顺着这几篇往下读,清单的另一条主线是压缩:预测就是压缩,学习就是把数据拆成规律和噪声。最后用三个自己复现的小实验检验这条线,也顺带看看 30u30 的实现。
日常程序里 16 位浮点数足够用,科学里的精密计算却要几十上百位,还得证明每一位可信。大模型说“这个积分算出来了,和数值吻合 20 位”,我们该不该信?顺着这句话往下追:数值本身会不会悄悄算错,吻合的位数能不能被凑出来,什么样的检查才算数,检查本身坏了怎么办,以及这些纪律怎样交给一个会遗忘、会讨好的 agent,最后看它和 Claude Code 这类 agent harness 是什么关系。BootLoops 的每一层,都是为了堵住其中一个漏洞。