风光二十年,还是窝囊一辈子?
2025年,我要把自己关在房间里,一年不出门,专心研究链上和项目。
工作室已经租好,三室两厅三卫,房租一年4万,设备也陆续到位。
再请一个阿姨,专门负责做饭和打扫卫生,年薪6万。
另外两个房间留给两个粉丝——有没有想来的?吃喝拉撒住,全都包了。
作息安排
08:00... See more
澄清一些DeepSeek里关于降本增效的概念:
首先,增加训练效率的是MOE,Mixture of Experts,也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中,仅选择1/k的参数激活进入下一个Block。
这导致对于每一个token来说,一个600B的模型仅需激活了接近37B的权重,相当于每一个token的训练可以节省约80%算力,大大提高了训练速度。
其次,增加推理速度的是MLA,Multihead Latent... See more