Sublime

ポップ Pop

DeepSeek对美股的冲击仅仅持续了不到5天 并不是说他没有“创新”，但市场显然被骗了 1）成本问题，2.8万个GPU小时，中国的租赁成本是2美金/小时，但美国至少10美金。所以真实成本为3000万美金，而非600万。中美两国成本有差异，这种比较具有误导性。 2）数据问题。如果训练数据来自OpenAI，那么当然fp8很快就训练好，那么当然RL很快就收敛。那么，所谓弯道超车的威胁就小了很多。毕竟是从别人的精铁里炼钢。技术研发冲击没有那么大 总之，市场被骗了。所以反... See more

澄清一些DeepSeek里关于降本增效的概念： 首先，增加训练效率的是MOE，Mixture of Experts，也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中，仅选择1/k的参数激活进入下一个Block。 这导致对于每一个token来说，一个600B的模型仅需激活了接近37B的权重，相当于每一个token的训练可以节省约80%算力，大大提高了训练速度。 其次，增加推理速度的是MLA，Multihead Latent... See more