Sublime
An inspiration engine for ideas
Andi Muhammad Fauzi EL-Shirazy
@oohochy
Kirill Mezentsev
@mezdraw
Dries De Roeck
@driesderoeck
Design and research flurries 🪅
Ankur Sharma
@askankur
Nick Francis
@nicknik
Tiny Crow
@tinycrow
Ash
@ashm
看了下DeepSeek论文，做了点笔记和思考
DeepSeek降低训练成本会不会让算力需求下降？看历史就知道了，GPT4级别token价格在一年半之内降低了100~1000倍，也没有类似的担忧(如图)
AI算力通缩是必然现象，长线旋律就是十年加速六个数量级：软件/算法加速三个数量级，硬件加速三个数量级
------------------------------
先从DeepSeek R1论文本身说起
Deepseek本身并没有像chatgpt o1那样做test time scaling获得更强推理能力，属于post-training后训练范畴，看起来和chatgpt o1不是一个路子(o1是推理的时候专门扩大“思考步骤”或“搜索过程"再挑出最优，推理时耗费比o4高几个数量级)，只... See more
Mateus Feldmann
@maydayxoxo