Sublime
An inspiration engine for ideas

中国人为了上网也是拼了
🌈2024年7大翻墙(科学上网)主软件介绍⬇️
Shadowsocks
https://t.co/x7QZSK9f95
V2Ray
https://t.co/9SomMegPwj
Trojan
https://t.co/d9g6qLaWEd
Brook
https://t.co/0GjBicEpV2
Hysteria
https://t.co/yUfLnvSLaF... See more

Andrej Karpathy 说了一些他对 Deepseek R1 的看法,我顺手学习记录一下:
DeepSeek 的成功验证了算法创新与资源优化的潜力,但计算能力仍是长期智能发展的核心驱动力。
强化学习的突现能力是模型突破人类认知边界的关键,而合成数据与 RL 的结合将进一步释放深度学习的可能性。
计算资源是深度学习智能的上限:
深度学习对计算资源的依赖远超其他 AI 算法,计算能力直接决定了长期可实现智能的上限。
核心论点:
不仅是单次训练需要大量算力,整个算法创新的实验过程也依赖持续的计算投入。
数据生成本质上也依赖计算(如合成数据、强化学习中的试错过程),计算能力间接决定了数据质量与规模。
数据与计算的深层关联:合成数据与强化学习的等价性
合成数据生成(如模型生成数据后筛... See more