標籤: 論文

Ilya 的論文清單在講什麼：從 30u30 說起

30u30 是一個按天帶讀“Ilya Sutskever 推薦的 30 篇論文”的開源倉庫。我們先查這份清單從哪來，發現它其實有三個版本；再看它的構成，裡面除了 Transformer、ResNet，還有咖啡自動機、一本數學專著的第 14 章和一篇 200 頁的博士論文。順著這幾篇往下讀，清單的另一條主線是壓縮：預測就是壓縮，學習就是把資料拆成規律和噪聲。最後用三個自己復現的小實驗檢驗這條線，也順帶看看 30u30 的實現。