标签: 论文

Ilya 的论文清单在讲什么：从 30u30 说起

30u30 是一个按天带读“Ilya Sutskever 推荐的 30 篇论文”的开源仓库。我们先查这份清单从哪来，发现它其实有三个版本；再看它的构成，里面除了 Transformer、ResNet，还有咖啡自动机、一本数学专著的第 14 章和一篇 200 页的博士论文。顺着这几篇往下读，清单的另一条主线是压缩：预测就是压缩，学习就是把数据拆成规律和噪声。最后用三个自己复现的小实验检验这条线，也顺带看看 30u30 的实现。