Sublime

Just had an incredibly illuminating conversation with @pontusab about how he's building @middayai and @languine_ai on Vercel. Example: Midday has 150+ @nextjs Server Actions already. In his previous life, this would have been a soul-wrenching microservice fleet 🥴. Even a separate REST API would massively degrade his... See more

澄清一些DeepSeek里关于降本增效的概念： 首先，增加训练效率的是MOE，Mixture of Experts，也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中，仅选择1/k的参数激活进入下一个Block。 这导致对于每一个token来说，一个600B的模型仅需激活了接近37B的权重，相当于每一个token的训练可以节省约80%算力，大大提高了训练速度。 其次，增加推理速度的是MLA，Multihead Latent... See more

可以看到，在美国过去22年的物价指数中，涉及到人的部分物价飞涨；涉及到纯技术商品的部分物价停滞不前，甚至暴跌 这其实就是美国人能依然过得体面的原因 这也是正常、可持续经济体发展的必要条件 商品可以贬值，人不可以 谢谢大家 https://t.co/y9mq1V0p96

DeepSeek对美股的冲击仅仅持续了不到5天 并不是说他没有“创新”，但市场显然被骗了 1）成本问题，2.8万个GPU小时，中国的租赁成本是2美金/小时，但美国至少10美金。所以真实成本为3000万美金，而非600万。中美两国成本有差异，这种比较具有误导性。 2）数据问题。如果训练数据来自OpenAI，那么当然fp8很快就训练好，那么当然RL很快就收敛。那么，所谓弯道超车的威胁就小了很多。毕竟是从别人的精铁里炼钢。技术研发冲击没有那么大 总之，市场被骗了。所以反... See more

个人看法：说DeepSeek威胁NVDA的论调可以偃旗息鼓了，因为DeepSeek论文里面都说，希望英伟达下一代显卡（GB200）能解决它们遇到的fp8训练问题 实际上，虽然DeepSeek创造了低成本训练模型这一技术上的奇迹，但他们依然遇到了很多困难，这些困难 主要是fp8乘法累加，转置乘法等等。 都需要NVDA更新Kernel来解决。