AI
人为什么要读“无用之书”？以电影《降临》中外星人语言类比 GPT模型的 transformer 机制
在电影中（改编自ted chiang 的小说《你一生的故事》），外星人七肢桶的文字语言，七文，是一种符号（故事里，外星人的口头语言和书面语言是独立的两套符号体系。书面语言七文是形意文字，类似于中文）。七肢桶的七文，没有用线性字符串来组成字词、句子（像人类做的那样），而是一次性生成一个复杂的、整体符号，包含全部的细节的信息。理解这样的文字符号，人类必须一次性整体理解。
外星人的七文 vs 人类的文字，本质上全局性整体思维与人类线性思维模式的对立和融合。外星人的文字，没个符号都像是一张复杂的语义网络，必须作为一个整体来解读。不像人类语言那样需要按照时间顺序排列解读。
transformer... See more
一个可自动化分 析 PDF 书籍的 Python 脚本：AI Reads Books。
提供一本 PDF 格式的书籍，运行脚本，即可自动化分析，逐页提取知识要点并输出 Markdown 摘要。
GitHub：https://t.co/LGTr7EFrBO... See more
🚨DOGE：用脚本自动化生成审计报告！相比于传统审计的复制粘贴数据，效力差距有如天上地下🔥
马斯克的这一波操作，让联邦政府的官僚们措手不及。那些习惯了拖延、遮掩的老手们，突然发现他们的花招在AI面前一目了然！曾经靠人脉和套路隐藏的腐败，如今在数据面前无处遁形。
这就是科技的降维打击。 https://t.co/mrnpkpA92e
最近研究Elon Musk的第一性原理，发现如果将事物的现象解构，往往能获得全然不同的认知视角。
比如，如果将人们生活中的成就解构，会发现成就是由一个个决策决定的，而将决策解构，会发现是一个计算的过程，思考的结果取决于计算的效率。
由于人脑的计算能力是有限的，要提升计算效率，就需要去寻找可以分担计算负载的高效率工具，将自己大脑的认知过程与这些工具连接起来。
而现在效率最高的工具莫过于AI。
正好不久前读了一本关于人机合体以及认知过程的书，发现这个作者的视角能够很好地解释为什么AI是提升认知水平的重要工具。
书名是《Natural-Born Cyborgs: Minds, Technologies, and the Future of Human Intelligence》，作者是英... See more
关于DeepSeek以及美国AI未来的趋势,马斯克认为最有道理的一篇分析，总结如下：
1，deepseek 600 万美元的训练成本并不包括之前的架构设计、算法实验和数据准备。这意味着如果没有数亿美元的前期投入以及强大的硬件集群（如 DeepSeek 的 数万张 A100 GPU 集群），其他团队无法简单地复现这一成果。
2，DeepSeek 的开发显然依赖了对 GPT-4o 和 o1 的蒸馏，这也说明美国对高端 GPU 出口的限制并未阻止中国获得领先模型的能力。
“为什么要买奶牛（GPU），如果可以免费获得牛奶（蒸馏模型）？”
3，未来趋势：
（1）去中心化推理：推理从云端转移到本地（边缘设备）会引发计算模式的去中心化，可能带来 PC 和智能手机的大规模升级浪潮。
（2）AI 基... See more
去年 Jim Fan 对于 Q* 的预测，现在结合刚发布的 o1 来看基本上都是准确的！
Jim 将 Q* 和 AlphaGo 做了类比，猜测 Q* 可能类似于 AlphaGo，是通过与自己之前的版本进行对弈，自我对弈不断进步，甚至于架构都是类似的。
AlphaGo 的架构核心有四个组件：
1. 策略神经网络（Policy NN，学习部分）：负责选择下一步最有可能赢的走法
2. 价值神经网络（Value NN，学习部分）：评估当前棋局
3. 蒙特卡洛树搜索（MCTS，搜索部分）：模拟从当前位置开始落子的多种可能，类似于人类在算棋步（假如我放在A位置，那么对手可能下在哪几个位置，然后我再下一步怎么应对……）
4. 输赢判定：根据围棋规则判定谁赢了。
这个架构的神奇之处在于整个训练过... See more
