Sublime
An inspiration engine for ideas


很多人担心DeepSeek的低成本训练会冲击显卡市场,但我认为其实是利好
首先 一个误区是其他厂商模仿DeepSeek就不需要那么多卡了。
其实DeepSeek-R1的低成本训练方法是可以scaling的。也就是说用更多卡,理论上效果只会更好。他本质上是一种improvement of scaling law,可以参考我下面画的不太严谨的示意图。在deepseek出来之前,其他大模型用PRM (process reward model)的时候,已经观察到scaling law失效,边际效应递减了,因为需要额外的卡训练PRM模型来监督推理过程,但是deepseek的出现重新验证了scaling law,也就是多... See more

一个 Spotify 第三方客户端: Spotube。
开源没有广告,无需 Premium 订阅,音乐资源丰富,支持下载音乐到本地以及离线播放。
GitHub:https://t.co/HZobysqZF6
... See more
whoaaaaaa
Alex Dobrenko • 2 cards