澄清一些DeepSeek里关于降本增效的概念:
首先,增加训练效率的是MOE,Mixture of Experts,也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中,仅选择1/k的参数激活进入下一个Block。
这导致对于每一个token来说,一个600B的模型仅需激活了接近37B的权重,相当于每一个token的训练可以节省约80%算力,大大提高了训练速度。
其次,增加推理速度的是MLA,Multihead Latent Attention,多头隐空间注意力机制。名字很玄乎,... See more