Sublime
An inspiration engine for ideas
每天进步一小步！由于DeepSeek-R1 爆火，所以为大家带来什么是LLM蒸馏技术的笔记。
几个助记词：教师模型，学生模型，软目标，硬目标。
另外强烈推荐阅读第二个引用的论文，是辛顿教授写的（没错就是传奇人物辛顿教授，2024诺贝尔物理学奖得主）。
全部笔记：https://t.co/gJjfpfOHm6... See more
Zach Kirshner
@zachkirshner
forever flow
Roger
@jpuluj
Jack McDermott
@jackm
Sublime
@sublime
our very own think-in-bio
Oleh Kurylas
@oleh_kurylas
和貴 永瀧
@kazuki
Johnathan Ruggiero
@johnathanr
Elizabeth Bakalarz
@ebakalarz