Sublime

散户永远打不过。 https://t.co/Ymm3Uiw5Ec

Wrote a piece on the unfortunate drama (and borderline scientific fraud) that has been unfolding for the last year in the academic community around the environmental impacts of deep-sea mining. https://t.co/95ZHOus3cp

澄清一些DeepSeek里关于降本增效的概念： 首先，增加训练效率的是MOE，Mixture of Experts，也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中，仅选择1/k的参数激活进入下一个Block。 这导致对于每一个token来说，一个600B的模型仅需激活了接近37B的权重，相当于每一个token的训练可以节省约80%算力，大大提高了训练速度。 其次，增加推理速度的是MLA，Multihead Latent Attention，多头隐空间注意力机制。名字很玄乎，本质就是通过一些矩阵把注意力机制中最关键的KQV三个矩阵投影到更低维的空间（隐空间）中，以便存在缓存中。这样每次推理的时候就不需要重新计算 大大增加了推理速度 这两... See more