澄清一些DeepSeek里关于降本增效的概念：
首先，增加训练效率的是MOE，Mixture of Experts，也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中，仅选择1/k的参数激活进入下一个Block。
这导致对于每一个token来说，一个600B的模型仅需激活了接近37B的权重，相当于每一个token的训练可以节省约80%算力，大大提高了训练速度。
其次，增加推理速度的是MLA，Multihead Latent Attention，多头隐空间注意力机制。名字很玄乎，... See more
