山景城小路✓

LLM能不能最终推进AGI, 谷歌的 Tom Zahavy写了一篇优美的论文 这是我最近读到最喜欢的论文。 只有7页半，从爱因斯坦，广义相对论，到推理三分法， 到LLM和AGI用非常简明有逻辑的语言把他的观点讲明白了。 小路精读了这篇论文，想带着您一步一步跟随Tom的思维演绎给您。这篇文章没有利用任何AI，也希望您跟着读下来。 爱因斯坦在给终身好友Solovine的信中，提纲挈领的总结了科学发现的流程，从感官经验（E）出发，通过一次直觉的"跳跃"（Jump, J）得到公理系统（A），再从公理演绎出定理（S），最后用实验检验。 也就是 E->J->A->S->E （感官经验->跳跃->公理->演绎出定理->实验） Tom认为，LLM可以做到归纳，也就是统计模式匹配。正在攻克演绎 也就是上文的S. 也可以帮助科学家实现从 S->E。 但是从 E->J->A这个环节，跳跃还是无法实现。 然后 Tom 举了爱因斯坦广义相对论诞生的例子： 1. 经验。 十九世纪末，迈克尔逊-莫雷实验让以太假说失效。牛顿引力则极其精确，惯性质量与引力质量之比验证到 10⁻⁹ 的精度。唯一的异常是水星近日点进动，当时的主流解释是还有一颗未发现的行星"祝融星"。牛顿理论并没有出现危机。 2. 跳跃。 1907 年起，爱因斯坦想象一个自由下落的人：他感受不到引力，可以认为自己静止。这就是"最快乐的想法"，即加速与引力等效。这一步不是从数据里归纳出来的，而是靠模拟观察者的身体感受得到的，论文称之为"操作性溯因"。 3. 公理。 1912–1913 年，他与 Grossmann 合作，把物理要求整理成七条原则，包括等效原理、测地线原理、"引力也有引力"和牛顿极限。 4. 演绎。 此后是漫长的数学搜索。他们找到了黎曼曲率张量，却因误以为它不满足牛顿极限而放弃，这个错误出在对静态场的假设上，而不是几何本身。1915 年 11 月，爱因斯坦终于得到场方程，并用它算出了水星进动。 5. 检验。 星光偏折由 Eddington 在数年后测得，GPS 修正更晚。验证证据全部出现在理论之后。 Tom的观点是，演绎只是整个循环的下游环节。如果把爱因斯坦 1915 年的假设交给 LLM，它有可能推出广义相对论，包括水星进动，也可能系统地剔除那个错误的约束。AlphaProof 在 IMO 上的表现，以及 Lean 等证明助手的成熟，都支持这种判断。 但是演绎的局限性是， 1.它只能展开公理的后果。 它既不能生成公理，也不能提供外部验证。 2. 它缺少意图. 换句话说，AI 擅长的是"别人出好题，它来解"。但科学发现更像是自己决定出什么题，还要在没人告诉你对不对的情况下往前走。这是论文说的"意图"：不只是会推理，还要知道想要什么。 这个听起来简单，但是实际上，我们和AI合作的过程中也有体会。 问正确的问题，给准确的目标，其实是LLM本身最欠缺的。尤其是在前沿研究领域。没有其他文献可以查询，如何实现这个跳跃？ 另外，LLM可以在既有符号空间内更高效地重组概念。甚至可以进行视觉和世界模型预测。但是基于模型的模拟，不等于真是交互模拟。真正的跳跃也往往收到虚拟模型的限制。 简单总结一下就是，Tom认为AI Scientist 是在重组既有符号概念，AlphaEvolve 依赖梯度，在固定框架内优化。关键瓶颈是 E→A 的直觉跳跃，应走向能感知物理世界、运行反事实模拟的世界模型。

创投的四种投资哲学，以及一个常见陷阱 创投圈里，很多争论看起来是在讨论一家公司值不值得投，实际上是在争论：价值究竟从哪里来？ 一种思路是看财务指标和市场规模，一种是看技术和产品，一种是看创始人，还有一种是看价格和时机。这四种思路背后，是完全不同的投资哲学。 可以把它们概括为一条链： Financial → Productive → Frontier → Speculative 也就是从财务和市场，到技术和产品，再到创始人，最后到价格与市场预期。 投资哲学分成四类。 1. Financial：相信财务指标。 这类投资人关注增长率、客户流失率、毛利率、净收入留存率（NDR）、定价权和 TAM。他们通常等公司有了明确的市场牵引力之后再入场，尤其关注 B 轮及以后的成长阶段，也更在意估值是否合理。 对技术门槛不高的垂直 SaaS 公司来说，这套方法相当有效。它的局限在于，容易用现有市场和商业模式来衡量新技术的上限。 2. Productive：相信技术创造的价值。 这类投资人把技术看成一种生产性资产：好的技术能够创造新的产品、新的需求，甚至新的市场。判断重点是技术路线、团队能力和产品市场契合度，财务指标更多是辅助信号。 他们不只是寻找一笔价格合适的交易，而是希望尽早进入未来最有价值的技术公司，并长期持有。 3. Frontier：相信创始人。 这类投资人愿意在产品和商业模式尚未跑通时下注。他们认为，优秀的创始人和技术人员才是最稀缺的资产。与其预测一个尚不存在的市场，不如判断团队有没有能力创造它。 这种投资有点像经纪公司发掘人才：找到优秀的创始人，再为他们提供资金和支持。核心思路是，与其预测市场，不如尽可能降低对创始人判断的错误率。 4. Speculative：相信价格和时机。 这类投资者关注的重点是市场如何给一项资产定价，以及这种预期何时会发生变化。加密代币交易和部分二级市场策略比较接近这种思路。 他们重视宏观环境、市场情绪、价格走势和买卖时机，交易频率也可能更高。与前三类相比，这套方法更关心市场当前如何看待一项资产，而不是它能创造多少长期价值。 四种分类的意义，在于解释为什么投资讨论经常鸡同鸭讲。 当一个人认为技术会创造新市场，另一个人认为市场规模和财务数据决定投资价值时，双方争论的其实不是同一个问题。拿产品优势去反驳财务指标，未必能说服对方，因为他们对价值来源的基本假设不同。 更危险的是作者所说的 Grab Bag Trap，也就是“拼盘陷阱”。 最优秀的项目，可能在四套标准下都表现出色。但大多数项目并不完美。这时，投资人很容易根据自己的偏好挑选论据：看好时谈技术潜力，看空时谈市场规模；觉得创始人不够优秀时强调团队问题，发现价格便宜时又开始强调估值优势。 结果，四套方法不再是投资框架，而成了随时可以调用的辩论工具。 Financial 看指标，Productive 看技术，Frontier 看创始人，Speculative 看价格。四套方法各有适用范围，关键是先想清楚自己相信什么，并在判断和行动中保持一致。

随手一拍：这斯巴鲁有点惨

Dropbox裁员6% 。

JUST IN: Dropbox cuts 9% of its workforce & announces the departure of its Chief Technology Officer.

30以上的可能玩过那个上古时代的“北京浮生记” 现在可以在Gpt里玩了： 另外游戏开源在这里：

Mollick：给神经元上锁，模型就活在 1930 年以前 给模型单个神经元“上锁”，就能把它变成一个活在 1930 年以前的人。 最近很火的一类实验：激活开放模型里的单个神经元，把它锁定成特定人格。历史学家 Benjamin Breen 把这招用在一个只用 1930 年以前数据训练的模型上，结果非常好玩，模型真的像从那个年代穿越过来的人一样说话思考。 这件事好玩之外还有一层严肃含义：人格、风格、世界观，可能就藏在少数几个神经元里。调模型不一定要动全身，找对神经元，拨动一个开关就够了。 这也解释了为什么可解释性研究越来越重要：我们不只是想让模型更好用，还想知道它脑子里到底装了什么。 神经元级别的“人格手术”，可能是下一波模型研究的有趣方向。

OpenAI 正在借甲骨文的销售渠道，悄悄打进美国企业内部。 最新合作：甲骨文的应用和数据接入 ChatGPT，美国客户可以直接用甲骨文云市场的额度购买 API、Codex 和 ChatGPT Work，不用再单独走采购流程。 目前甲骨文云已经有13 万 ChatGPT 用户、9.5 万多 Codex 用户。 这招很狠啊。

英伟达腹背受敌，担心完了谷歌 tpu又要担心amd. Anthropic 和 OpenAI 都在加码 AMD，英伟达的护城河正在被订单改写。 据研究机构 Aletheia 的消息：Anthropic 把 2028 年的 AMD GPU 订单从原计划的 1GW 直接提到 3GW，翻了三倍；OpenAI 2026 到 2028 年的 AMD 部署总量也从 6GW 上调到 8 到 9GW。 AMD 的 MI 系列已经从备胎变成了正式的第二供应商。

小路精读了 Google Research 今天发的这篇博客，值得讲一讲。它想解决的问题：模型部署之后就不会再长新知识了，怎么办？ 整篇的主线，用一条链表示： 清醒（Wake）->睡眠（Sleep）->巩固（Consolidation）+做梦（Dreaming）->写进参数（短期记忆变成长期记忆） 现在的 LLM 靠预训练和上下文学习（ICL）。部署之后，知识停在截止日期。想更新参数，就会撞上灾难性遗忘，学了新的，旧的变差。只靠 ICL 也不行，上下文窗口一结束，学到的东西就没了。 作者（Ali Behrouz 和 Vahab Mirrokni）的思路是，借鉴人脑休息时整理记忆的方式，让模型有一个周期性的生命循环： 清醒阶段。模型正常接收和处理输入，临时信息放在快速的短期记忆里。 睡眠阶段。模型暂停接收新输入，把算力用在记忆巩固和自我提升上。 睡眠阶段分两步。 记忆巩固。对应人脑慢波睡眠里的抽象与蒸馏。这里有三个动作。第一，参数扩展：睡眠时解锁预留的 MoE 低秩专家，放进更稳定、更新频率更低的记忆块里，新知识有地方放，不去动旧参数。第二，知识播种：把高频层（比如上下文记忆）里脆弱的短期记忆，蒸馏进新扩展的长期参数，用的是 GKD 加上基于 RL 的模仿学习。第三，突触修剪：巩固完成后，高频的临时参数重置，给下一轮清醒腾出容量。 做梦。对应 REM 睡眠。模型自己生成训练样本（"梦"），生成时 MoE 路由器会随机激活非标准专家，逼模型把不相干的领域混在一起。然后用基于梯度的数据选择，挑出最能提升能力的样本，再做监督微调，并检查下游任务有没有变好。 "睡眠"、"做梦"这些词只是借用神经科学的说法，整个框架仍然跑在固定的模型架构和人类定义的训练规则之内。也就是说，这是一套自动化的后训练循环。 从理论解释： 记忆巩固被看作一个低秩压缩问题：模型不需要把短期痕迹的每个细节都抄进参数，只挑出一小组最能保住行为和语义的方向。做梦上，随机专家让梯度方向更丰富，梯度过滤再把有用的信号放大，优化起来更平衡。 结果 翻译方面，在 Manchu 和 Kalamang 这两种没见过的语言上，多阶段评测里性能几乎不差，ICL、Cartridges、SFT 都出现了严重遗忘。 长上下文。在 BABILong 上近乎完美地扩展到 10M tokens，超过 GPT-4 和 Titans，做法是把长上下文直接压进参数记忆。 事实知识。SQuAD 单任务 48.9%，持续预训练（CPT）46.2%，高于基础模型、SFT 和 SEAL。 数学推理。AIME 24/25 和 HMMT 25 分别是 79.2%、69.0%、46.1%，高于 SFT、GRPO 和 OPSD。 小路自己的看法：这个工作它把"记住"和"变强"放进同一个循环里。一般的持续学习只管记新东西，这里的做梦阶段同时在练推理。另外架构用到了 Hope，就是 Nested Learning 那篇论文里的架构，所谓"不同更新频率的记忆层"在这里有了落地的用法。 简单总结一下就是：清醒时用高频的短期记忆应付输入，睡眠时先把值得留的压缩进低频的长期参数，再用做梦生成并筛选样本来提升推理，最后清掉临时参数，开始下一轮。 博客原文： 论文：

如果科技公司只考察简历，只聊项目，只聊“架构”，不靠算法和编程。 夸夸其谈的会更如鱼得水，基本功扎实的老中工程师会更没有活路。

小路带你看大厂架构｜Netflix 几百块 GPU 一起训，死一块就全停，怎么防 大训练任务以 gang 方式跨数百块 GPU 同步推进：只跟最慢的 rank 一样快，死一个参与者整个任务就停。Netflix 的解法是把可靠性拆成四层：节点与硬件健康、调度与平台、训练循环、可观测性。节点代理基于开源 Kubernetes node-problem-detector，每 30 秒在每台 GPU 机器上跑一次检查：GPU 用 NVIDIA DCGM 查驱动报错码、不可纠正内存错误、互联完整性和温度，网卡查 Elastic Fabric Adapter 接口数量与链路状态。检查奉行 fail closed：驱动或诊断工具无响应就超时判 unhealthy；DCGM 工具坏了还有 fallback，直接读内核日志 dmesg 找 Xid/SXid；fatal-error 映射是自维护的，还按 GPU 家族区分。 修复也分级：problem condition 只挡新任务，超过容忍窗口升级为 failure condition 后撤空、drain、终止并替换；Karpenter 节点自动修复按 condition 设了容忍时长和破坏上限；替换时记录 GPU 不可变硬件 ID 并维护坏硬件黑名单，防止它换个实例悄悄回池；新机要等检查跑两遍并 settle 后才摘掉 startup taint。 长任务则靠 checkpoint 加 elastic 可重试 worker 扛住机器丢失。失败归因要分清 platform 还是 application：一次 NCCL 超时曾被误判为网络故障，实际是高 worker 数下数据加载停顿。Netflix 定了三个 SLO：availability、job-start success、job success，各按 hardware、driver、platform、user 成因拆分；优化目标是 goodput，不只看 uptime。

美国的中医馆，其实是一门执照齐全的小生意。 IBISWorld统计全美约8165家针灸企业。劳工统计局2025年口径的受雇针灸师约1.48万人，算上自雇兼职，持证民间估计近4万。 典型诊所是一两名医师加一个前台。单次针灸收费85到110美元，房租每月3千到1万美元，中药库存每月2千到8千美元。保险只补一小部分，联邦医保自2020年起只报销慢性腰痛，每年最多20次，所以收入主要靠自费。有模型测算，每周要96次就诊才能保本。 针灸只是一半，另一半是看诊开方。有机构2025年的口径显示，中草药占美国中医市场收入的44.6%，高于针灸服务。针灸卖的是医师的时间，草药卖的是产品。草药诊费一次60到150美元，药费另计，复购率高，毛利也比针灸大，但库存、检测和合规成本更高。 上游系在中国。药材、配方颗粒和针具主要从中国进口，2025年关税飙升时，进口商抱怨成本最后都传给了诊所和患者。 监管在各州。从业者先过全国认证考试，再拿州执照，无证行医在多数州违法。草药则按膳食补充剂管理，上市前不用向FDA证明安全有效，标签不能说治病，必须印"未经FDA评估"。 纠纷也分两条线。针灸多是操作事故，最常见的严重情形是针刺过深导致气胸。草药的问题出在产品上，2016年FDA就召回过一家芝加哥公司的中药片，原因是铅超标。 简单总结一下就是：针灸卖手艺，草药卖产品。草药更赚钱，也更容易踩到监管和安全的线。

在X发帖偶尔踩到个流量，有点像我小学吭哧吭哧背着沉沉的书包，走在后圆恩寺胡同儿回家，运气好 路上能捡个一毛的钢镚儿。

A\工程经理今天说他招人不问算法Lc了。他的哲学是： 饥饿感>资历和经验。 这个不和当年乔布斯说的stay hungry stay foolish 一样么。 从另一个角度来说 没有软肋的老登程序员 缺乏饥饿感 缺乏好奇心 也是被公司首选清退的原因。

暴论：硅谷250万以下的房子，未来10年会跌30-50% K型经济正在加速。 非核心地段的房子最近半年一直在跌，而且大量挂牌4-6个月反复降价才成交的。 AI的普及会导致硅谷只有精英才能存活，中低收入会渐渐离开湾区。非核心地段会非常惨烈非常惨烈。

硅谷房价如果真跌三到五成，有房的人该卖掉租房吗？ 假设硅谷250万以下的房子5年内跌30%到50%，已经有房的人怎么办？小路算了一笔账。 设定：10年前200万买入，首付15%，贷款170万，利率3%，30年。每月本息约7170美元，加税约1900、保险约300，硬性支出约9400，再预留维护约600，合计约1万。现在剩余本金约129万。 同类3到4卧独立屋，租金约5000到6200美元，约为持有成本的一半。 5年后净资产：卖掉租房、钱去投资，约97万。持有且不跌，约84万。跌30%，约28万。跌50%，约负10万。 房价每年涨约1.3%以上，持有才追平租房。

Jim Cramer才是真神， 10/12号他说"monster long $META " 然后看图。

做电子产品测评的能成为最大网红 这个世界 只能说大多数人都都愿意把有限的时间浪费在无聊的事情上

RT @famitsu: ソニーが裸眼で楽しめる空間再現ディスプレイ“ELF-MN1”を発表。5.4万円で12月11日発売 デスクに溶け込むアクリルスタンド採用の小型6インチモデル。アバターやキャラ等の3Dコンテンツを裸眼で楽しめる。

“就算在AI板块内，我们也需要选择 优质资产” “我比较抵触fab-less的资产” “我已经卖掉了我大半的英伟达资产” “CUDA的护城河已经不存在了” "市场没有充分理解AI这个技术能力本身增长曲线是什么样的“ “我把大饼都清仓了” “当智能在加速的时候，所有的周期都会缩短/加速” --Rick

索尼 6英寸小型空间再现显示器『ELF-MN1 无眼镜 虚拟现实。 看起来很不错啊！

新製品リリース📢 6インチで小型の空間再現ディスプレイ『ELF-MN1』を発売 メガネやヘッドセットなしで、アバターやキャラクターが机の上にいるかのように裸眼で楽しむことが出来ます。 スマートフォンやPCと接続することで、まるでそこに実在するかのような新しい体験を提供します。 🔗