Sublime

澄清一些DeepSeek里关于降本增效的概念：首先，增加训练效率的是MOE，Mixture of Experts，也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中，仅选择1/k的参数激活进入下一个Block。这导致对于每一个token来说，一个600B的模型仅需激活了接近37B的权重，相当于每一个token的训练可以节省约80%算力，大大提高了训练速度。其次，增加推理速度的是MLA，Multihead Latent Attention，多头隐空间注意力机制。名字很玄乎，本质就是通过一些矩阵把注意力机制中最关键的KQV三个矩阵投影到更低维的空间（隐空间）中，以便存在缓存中。这样每次推理的时候就不需要重新计算大大增加了推理速度这两... See more