Sublime
An inspiration engine for ideas
léo ruas
@leoruas
澄清一些DeepSeek里关于降本增效的概念：
首先，增加训练效率的是MOE，Mixture of Experts，也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中，仅选择1/k的参数激活进入下一个Block。
这导致对于每一个token来说，一个600B的模型仅需激活了接近37B的权重，相当于每一个token的训练可以节省约80%算力，大大提高了训练速度。
其次，增加推理速度的是MLA，Multihead Latent Attention，多头隐空间注意力机制。名字很玄乎，本质就是通过一些矩阵把注意力机制中最关键的KQV三个矩阵投影到更低维的空间（隐空间）中，以便存在缓存中。这样每次推理的时候就不需要重新计算
大大增加了推理速度
这两... See more
Zoe Scaman
@zoe_scaman
Reading List
Tom • 3 cards
Websites
Frodo Schering • 2 cards
Lexi
Seth Cossio • 2 cards
good reads
Danny • 1 card
