Sublime

卷积神经网络差不多看完了，知道了神经网络的框架之后感觉好失望，学之前所期待的神秘黑魔法并没有出现。用chain rule推出autodiff和backprop感觉很有趣，但是似乎也只有这些了，剩下的看起来都是玄学trick和脏脏的engineering。站在Dunning-Kruger的愚昧之峰上，恍惚间有种人类科技不过如此的错愕。

Mistivia x.com

Jaysan X

@jaysanx

Xan Doane

@xandoane

Nathan

@nate_f

Almost like socialization is the top level skill

BowTiedBrazil x.com

Thumbnail of www-x-com-khant-dev-status-1905637979781050474

Understanding GRPO which powers the DeepSeek-R1 https://t.co/pyKqzaRyDr https://t.co/X24bdetW50

Dev Khant

x.com

澄清一些DeepSeek里关于降本增效的概念：首先，增加训练效率的是MOE，Mixture of Experts，也就是所谓混合专家模型。他指的是模型每一个Transformer Block在最后那一层网络中，仅选择1/k的参数激活进入下一个Block。这导致对于每一个token来说，一个600B的模型仅需激活了接近37B的权重，相当于每一个token的训练可以节省约80%算力，大大提高了训练速度。其次，增加推理速度的是MLA，Multihead Latent... See more

勃勃OC

x.com

Try my pic with gpt-4o, ask it to paint with EVA/Cowboy Bebop and Ghibli style!🤩 Thank you for making me look like Misato!!! https://t.co/YG5KMT6ueM

AsukaRedpanda

x.com

UXR

Carrie Heffner • 14 cards