Sublime

Andrej Karpathy 说了一些他对 Deepseek R1 的看法，我顺手学习记录一下： DeepSeek 的成功验证了算法创新与资源优化的潜力，但计算能力仍是长期智能发展的核心驱动力。 强化学习的突现能力是模型突破人类认知边界的关键，而合成数据与 RL 的结合将进一步释放深度学习的可能性。 计算资源是深度学习智能的上限： 深度学习对计算资源的依赖远超其他 AI 算法，计算能力直接决定了长期可实现智能的上限。 核心论点： 不仅是单次训练需要大量算力，整个算法创新的实验过程也依赖持续的计算投入。 数据生成本质上也依赖计算（如合成数据、强化学习中的试错过程），计算能力间接决定了数据质量与规模。 数据与计算的深层关联：合成数据与强化学习的等价性 合成数据生成（如模型生成数据后筛... See more

There is something so satisfying about the tactility and certainty of buttons and their limits on a machine, they can only do one thing and they always do one thing and you know when they do it