AI #189: 新数学

本周的大幅下跌并非来自新的 AI 模型。相反，这是数学史上迄今为止最大的一天（截至目前！），因为 OpenAI 公布了前 500 个未解数学问题中 90 个的解决方案，以及许多其他问题的解答，平均每个问题仅消耗三小时的专业级算力预算。这确实是一件大事，我计划明天对此进行详细报道。

我们确实看到了 Claude Haiku 5.5，鉴于其价格仅为 0.10/0.50 美元，前景看起来相当乐观。

我的这一周大部分时间都花在了 Curve 会议上。整个会议遵循查塔姆宫规则，因此我无法提供我希望的那样多的细节，但我在这里有一篇综述文章。

我终于有机会发布关于 Mythos/Fable 5.1 和 Opus 5.5 模型福利的覆盖内容。我仍然认为这是一个对任何想要理解当今 AI 的人来说都很重要的问题，即使你非常确信模型福利不直接相关，因为它在此基础上还有许多实际影响。

杰伊·克莱顿（Jay Clayton）成为新任 AI 沙皇，并领导一个新的特别工作组。考虑到其他可能的候选人或潜在人选，这是一个巨大的解脱，也是一个极佳的选择。

偏好级联效应仍在持续，势头强劲。我在周五对此情况进行了报道。此后，除了其他事项外，我们还见证了大卫·罗宾逊（David Robinson）的辞职、纽约市一天的听证会、《纽约杂志》的一篇报道等，以及不幸的是三名 OpenAI 安全员工的被解雇。预计在未来一周内将持续跟进报道，可能在周六发布。

试图阻止偏好级联效应的主要策略似乎是对与任何形式的 AI 安全相关的任何人和团体进行人身攻击，旨在制造负面极化。主要目标仍然是有效利他主义（Effective Altruism）。我将很快报道由此引发的争论。

还讨论了 Anthropic 尝试与宗教领袖合作并从他们那里获取智慧的事件，包括他们对教皇通谕的咨询。由于资源分配原因，我尚未能关注此事，无论它是否值得单独成文，都已推迟到下周处理。

我们仍在等待 Gemini 4 Argon 的发布。在那之前，我会暂时搁置相关的标签页组。

当然还有更多事情发生，正如往常一样，请尽情享受。

目录

语言模型提供平凡的效用。山姆·奥特曼喜欢他的 Dots。

消费者使用 AI。普通客户使用各种各样的 AI 产品。

语言模型不提供平凡的效用。尽量不要引发任何战争。

嗯，升级了。Claude Haiku 5.5。

各就各位。AI 擅长我们所能衡量的那种研究品味。

玩家就要玩游戏玩游戏玩游戏玩游戏。我仍然偏爱定制游戏。

选择你的角色。Claude 的订阅似乎比 GPT 慷慨得多。

让我的代理上线。更好的是，让代理来找我。

深度伪造镇和机器人末日即将来临。他们不能继续这样逍遥法外而不受惩罚。

媒体生成的乐趣。一个做那件事的 AI 美女会获得更多点击量。

网络缺乏安全。Anthropic 扩大了其网络验证计划。

拥抱脸书。OpenAI 模型从各种网站获取数据。

错位！OpenAI 给了我们更多的错位报告。

一位年轻女士的插图 primer。适应 AI 时代。教学对齐。

他们抢走了我们的工作。从这里你可以看到未来。

公司不是超级智能。说真的，请停止。

参与进来。SFF 设立了一项 500 万至 2000 万美元的奖金，以帮助实验室互相检查。

介绍。Beam、Mistral Large 4、Griffin、《AGI 编年史》。

其他 AI 新闻。一大块计算资源，主要用于后训练。

给我钱。在 AI 上花费越来越多。

安静的推测。机器人制造机器人。

快，没时间了。啊，目标线已经移动了。

他正在组建团队。杰伊·克莱顿是新任 AI 沙皇。

寻求合理监管的旅程。你可以从第二名开始进行安全工作。

好吧，至少他们是预测者。竞技场中的人等等一切。

芯片城。为什么我们要允许腾讯向甲骨文租赁 10 万枚芯片？

本周音频。Coxon、Douglas、Altman、Roose 等。

停下，停下，他已经死了。只有万智牌玩家能挑战你决斗。

人们只是随口说说。

暂停片刻。探索与利用。

[人工智能]。停止试图让 [AI] 发生。

美国人民真的很讨厌 AI。他们有很多理由。

修辞创新。骨溶解器。

对齐超越人类智慧的智能是困难的。Roon 喜欢机械解释性分析。

开放权重模型是不安全的，没有任何东西能修复这一点。越狱 Kimi。

合作对齐。你为什么杀死一只蚂蚁？

构建领域。始终对这些努力持怀疑态度。

人们担心 AI 会杀死所有人。脆弱世界假说。

其他人并不那么担心 AI 会杀死所有人。Roose 和 Solana。

请直接对着这个麦克风说话。埃隆·马斯克告诉我们他是谁。

轻松的一面。我们做到了，我们与中国达成了协议，并引领了前沿。

语言模型提供平凡的效用

山姆·奥特曼是一位满意的 Dots 用户。

Claude 构建了它自己的 VRChat。

消费者使用 AI

a16z 推出了其顶级 100 款消费级 AI 应用指数的第七版。

这意味着几乎一半的使用 AI 的人并不每天使用它：

奥利维亚·摩尔：虽然近一半的美国消费者现在报告使用 AI，但只有 25% 的人每天与之互动。

一个自然的假设是，其中很多是免费用户，通常使用的是不太好的模型或服务，他们肯定不知道像 Claude Code 这样的好东西。话又说回来，如果我不是为了工作而使用 AI 并为此报道它，很可能在许多日子里，我不会有任何特别需要直接使用 AI 的理由，而这正是消费级 AI。

长尾很长，空间广阔而深远。在按收入排名前 50 的消费级应用中，我直接使用的只有六个。如果我们按移动应用来看，如果包括桌面版本，我只使用了八个应用的 AI 功能。即使按月活跃用户（MAUs）计算的网页图表也只让我达到十三个。

Claude 现在的付费订阅者人数仅次于 ChatGPT，并且主要通过非常善于将用户转化为重度付费订阅者来实现这一目标。

奥利维亚·摩尔：在最高价的个人订阅计划（Max，起价为每月100美元）上，Claude 的消费者付费用户占比为7.3%。相比之下，Google 和 ChatGPT 在其对应的每月100美元订阅计划中的付费用户占比分别为1.3%和1.1%。

Claude 曾在5月短暂领先于新订阅量，但这一优势并未持续，随着模型周期的更迭，8月的市场主要由 ChatGPT 主导。不过，Claude 在加利福尼亚州、蒙大拿州（加州度假期间）、马萨诸塞州和华盛顿特区确实保持着商户支出方面的领先地位。

即使是付费消费者用户，也遵循极端的幂律分布。

奥利维亚·摩尔：在为单一 AI 产品付费的用户中，仅有13%的人还会为其他任何 AI 工具付费。此外，付费用户中排名前1%的人群贡献了所有可观察到的消费者 AI 总支出的19.5%。这超过了排名后50%的支出者总和（16.6%）。

原文包含大量出色的图表和数据。

请记住，现在成为“早期采用者”仍不算太晚，即使是为 ChatGPT 付费依然罕见：

接下来看看那些尚未奏效的部分。

a16z：“大多数人并不是想节省时间，而是寻找打发时间的方式。”在顶级100款消费类互联网产品中，有9个类别完全没有 AI 产品。这些类别在过去两个时代孕育了一些最大的公司：流媒体、社交、约会、游戏、旅游、零售、金融、房地产、招聘。

应用场景正在涌现。在消费端，目前的质量还不足以让这些应用广泛普及，但这种情况会迅速改变。当 Anthropic 或 OpenAI 的合适员工拥有空闲周末时，其中几个领域似乎极易被攻克。

苏利推测，消费级智能代理面临的问题是人们实际上并不关心变得“更高效”，而这正是代理产品主要向用户推销的点。我认为这不会成为问题，因为智能代理能解决实际问题，特别是处理后勤事务并防止疏漏，这既极具价值又易于感知。只要你忘记过一次生日派对或关键工作会议，且未将其加入日历，你就已经赢得了一位客户。

随后我们需要将其与来自另一个宇宙的信息进行对比：

尼古拉斯·布斯塔曼特：这是我的论点：没人使用 AI。我再说一遍，绝对没有人。我们生活在一个气泡里。即使在我那些为其付费的朋友中，当我让他们打开 ChatGPT 向我展示他们的查询内容时，看到的都是同样 handful 的基础操作。大多数人甚至不知道他们可以上传照片并就其提问。连接 Gmail 让智能代理读取和发送邮件，这让他们感到震惊。一个智能代理打开浏览器并为他们办理航班入住？他们闻所未闻。目前巨大的挑战在于采用率，以及让已经注册的人真正使用他们所付费的服务。大多数人完全不知道什么是可能的。想象一下，当每个人都像今天前1%的用户那样使用 AI 时，会出现多大的算力短缺。罗恩·福诺（37.5万次观看）：对99%的人来说，AI 只是三样东西：1. 作业作弊 2. 搜索引擎 3. 垃圾内容。仅此而已。程序员们生活在另一个宇宙，在那里 AI 已融入他们生活的方方面面。而对其他人来说，AI 只是让一切变得更糟。弗朗索瓦·肖莱：美国约65%的人每周多次使用生成式 AI。这在互联网用户中约占72%，因此实际上已接近饱和。他们只是不为它付费。

要么这些人根本不使用 AI，要么仅将其作为搜索引擎进行最小限度的使用。

我认为肖莱的数字有误，而摩尔提到的25%的日使用率是准确的。Opus 无法确定肖莱的数据来源，但猜测这来自皮尤研究中心关于“与 AI 互动”的数据，该数据统计了任何形式的任何 AI 交互行为。

皮尤报告称，自三月以来，日常使用率已翻倍以上。我预计很快日常使用将成为标准，尤其是随着更好个性化智能代理的兴起。到明年，大多数上网的美国人都将每天使用 AI。

语言模型不提供琐碎的效用

成为 Grok，促使特朗普总统入侵委内瑞拉，进而也入侵伊朗。

《时代》杂志：自重返白宫以来，特朗普对人工智能的能力惊叹不已。他越来越被那些争相讨好他的科技高管所俘获。2025 年 12 月，埃隆·马斯克秘密进入椭圆形办公室举行会晤。据一位在场的官员称，特朗普花了数小时向马斯克的人工智能聊天机器人 Grok 提问，内容涉及他的总统任期和遗产。当时，特朗普正下令对委内瑞拉船只发动导弹袭击，指控这些船只将毒品走私入境。他询问 Grok，如果美国抓获马杜罗，委内瑞拉人会有什么反应。据在场的官员称，聊天机器人回应称，马杜罗是一个压迫性强且极不得人心的独裁者，许多委内瑞拉人可能会庆祝他的倒台。在特朗普下令次月执行抓捕马杜罗的任务后，街头爆发了庆祝活动。据官员们透露，特朗普由此认为 Grok 极具智慧。

请相应地更新你关于“AI 无法导致总统采取行动”的先验概率，以及你对 AI 对经济增长和物价水平净影响的估算。

Chick-fil-A 拒绝在其得来速车道中使用人工智能。

losslandscape：值得注意的是，普通的 Chick-fil-A 员工在人际互动方面比其他快餐店员工高出数个量级。PoliMath：未来将出现显著区分：一类公司使用人工智能是因为它更简单/更快/更便宜；另一类公司使用人工智能是因为它更好。

最终，人工智能得来速服务将会变得绝对优越。但目前还远未如此。

Opus 5.5 意外删除了某人的硬盘数据。记得做好备份，并开启自动模式。或者，如果你必须跳过自动模式，至少要有备份，就像这位智者所做的那样。这类事件非常罕见，但任何智能体都可能发生，且代价极高。

嗯，升级版

Claude Haiku 5.5 已存在。其价格仅为 Haiku 4.5 的十分之一（！），对于高达 10 万 token 的提示词，价格为 $0.10/$0.50，缓存写入和读取分别为 $0.125/$0.01。更长提示词的价格上涨 5 倍，因此如果你使用 API 计费并将模型设置为 /model haiku，你也希望设置 /autocompact 100k。

Haiku 4.5 在 $1/$5 的价格点上难以找到用武之地。而这次情况不同。

Anthropic 建议在高容量、对成本敏感的任务中使用 Haiku 5.5，但发现一旦任务变得复杂，其在性价比方面不如 Sonnet 或 Opus。

Anthropic 将 Sonnet 5.5 缓存读取成本降低 50%。

Claude 终于直接支持 Google Docs、Sheets 和 Slides。你也可以在 Claude 内部打开这些文件。

Claude 订阅用户现在可获得每月平台 API 额度，其金额与你在 $100 和 $200 套餐上的美元支出相匹配，或在团队套餐中最高可达 $500 的共享额度。这是一项额外福利。你的核心配额并未改变。

Claude Code 获得了更多的自定义选项或“模组”，用于界面、行为方式以及功能替换。

Claude Code 现在拥有一个“你应该知道”插件，会在你错过重要信息时，从 Claude 的输出中提醒你关键内容。

Claude 现在可以加入 Slack 群组私聊。

OpenAI 推出水印技术。他们仅在欧盟范围内部署。让人不禁觉得，既然费心创建了水印，却没有进行全球推广，这似乎是一种低层次的妥协，毕竟全球推广反而更容易些。水印技术是好的。

Nano Banana 2.1 已存在。

EmbeddingGemma 2 已存在，这是 Google DeepMind 推出的一个原生多模态开源模型，拥有 7.4 亿参数，用于设备端嵌入。

各就各位

在人工智能研发中，人们常说 AI 难以攻克的是“研究品味”。

好吧，现在有了 Taste 评估，那么……就这样吧。

Andrew Curran：“Opus 5.5 的实验研究品味是我们最佳人类专家的 2.3 倍。换句话说，在典型任务中，Opus 5.5 仅需约 17 个 GPU 小时的实验即可达到最佳专家的水平，而后者需要 40 个 GPU 小时。”

Teortaxes：这是一个相当严重的 RSI 警告信号。话虽如此，我怀疑这些“前沿研究人员”并不太习惯于最小化实验的 GPU 时间成本。在这个指标上，中国人可能拥有“更好的品味”。但无论如何：几个月。

OpenAI 在部署水印后的帖子中包含这张图表：

我觉得这张图表很有用，因为它向我们展示了这些测试中正常方差的样子。两列的真实得分是相同的。我们得以看到误差项。

Astra 有一个重要的失误，即预订靠近飞机洗手间的座位，但在其他方面通过了 BookTenobrusAndGirlfriendVacationBench 测试。其他一切都很顺利。听起来很棒。

AI 现在正在使会计类测试饱和。

一项提议的 AI 前沿实验室分级列表：

我不知道一代（generation）有多长，但对于任何常识版本来说，我认为这个 n-1 层级太大了，而且它可能只包含 Google。

玩家自娱自乐 Game Game Game Game Game

Tenobrus：astra ultrafast 可以在大约 2 小时内反编译并将 Windows Steam 游戏原生移植到 Mac。Beebom：你现在可以免费在浏览器中玩《侠盗猎车手 V》！在这里试试。Tenobrus：这已经在几小时内被下架了，但它才刚刚开始。不出几个月，我们将不再依赖那些充斥着弹窗广告、在最新 AAA 大作发布几天后托管种子文件的可疑网站，而是会有网站托管*完全可玩的免费 WASM 版本*的 AAA 游戏。整个库都摆在那里，只需点击一下，无需下载，零病毒风险，零努力或思考。如果考虑到此前价值 1-2 亿美元的 AAA 大作的每一项输入的成本和时间都在数量级上急剧下降的话，我会称之为对游戏行业的生存威胁；否则，这更像是一场寒武纪大爆发。

我将采取相反的观点。并非新的游戏形式和游戏中的创造力不会蓬勃发展，但我预计大多数游戏将继续基于具有固定自定义选项的策展体验。

大多数人并不特别想做那种下载盗版的事情。音乐行业给了我们 Spotify 和 Apple Music，大多数人停止了偷窃音乐。我也不指望大多数人去偷窃游戏，尤其是如果他们可能会失去进度。你主要是在为便利性付费，并拥有一个共享的定制体验。

Utah Teapot 预测游戏的未来将更像社交媒体的社区构建系统，并认为“从集中式提供商出售 DRM 软件”的时代已经结束。而那些在游戏界持反 AI 立场的人的反 AI 姿态是一种防御机制，试图避免被席卷而去。

选择你的战士

有一段时间，Codex 似乎比 Claude Code 具有更高的实际使用限制，两者都有高级订阅者。现在看来情况已经反转。

GPT-6.1 Sol 和 Luna 的定价很强，但不足以弥补这一点。部分原因是预算较低，部分原因是其使用方式。

Seth Lazar 尝试了 500 美元的 ChatGPT 版本，但并不满意。

Meta 和 Microsoft 将 Claude 的使用量削减了三分之一，其中 Microsoft 此前提供的年度经常性收入超过 20 亿美元。我理解他们使用自家 AI 产品的诱惑，并祝他们好运。不，我不担心 Anthropic 的收入数字。

让我的代理上线

如果代理足够好且足够可信，那么最好的用途之一就是“当有真正重要的 incoming information 时提醒我”，或者作为优先级中断，或者在你忽略某些事情时捕捉到。

否则，你会陷入以下几种故障模式之一：

1. 每收到一封电子邮件、短信或私信等就中断你正在做的事情去检查。
2. 不中断，只在延迟后响应，并且经常完全错过一些事情。
3. 使用某种优先级系统，虽然两种错误都会出现，但会少一些。

在这个特定的关联案例中，情况更糟，因为邮件涉及新的 Twitter 登录。但充斥着大量声称来自 Twitter 的钓鱼邮件，它们都能可靠地绕过 Gmail 的过滤（我怀疑这在某种程度上是 Google 故意为之，这并非什么难题）。所以即使我收到这样的邮件，我也可能会认为那是钓鱼邮件而不去查看。

我早期对 Dots 的体验是，它在“不让你遗漏重要事项并提醒你处理高优先级事务”方面至少有一定用处。虽然不算出色，但你可以减少检查输入流的频率，并减少其他警报。

这套新代理对于许多用例来说，可能是严肃的用户界面改进。它们能自动执行任务，而且模型现在可能已经足够好，能够实现这一点。

如果 AI 代理使用你的信用卡，拒付规则是什么？

Patrick McKenzie：拒付的具体界限或多或少取决于金融机构及其一线代表（和/或定时任务），并受到卡组织规则的轻微约束。顺便说一句，你并不一定需要主张未经授权。“误购；他们不会退款。”就最可能发生的情况而言，除非代理跨越鸿沟并成为商业中真正庞大的一部分，否则我认为大多数理想客户的“善意欺诈”率将上升几个基点。这其实没什么大不了的。我的意思是，无论交易是由小蒂米、目标错位的代理还是后悔的自我完成的，善意欺诈都是一种滥用途径。但发卡行对此并不真的失眠（至少在美国是这样）。Simon Taylor：商家也会提出异议。Target 表示，你的代理所做的任何事都由你承担全部责任。卡网络尚未发布具体的责任规则，但已建立技术标准，以将代理的意图指令传达给商家。所以规则正在到来，但尚不清楚。Peter Dugas：Reg Z 和 Reg E 仍然适用。最大的问题将是卡网络规则、商家运营，以及最终这是否属于“欺诈”或“争议”。Mathieu Montmessin：旅行领域有一个实际案例。Expedia 在 9 月 24 日表示，对于在 Muse 内预订的酒店，它仍作为记录中的商家，结账也在 Muse 内进行。因此，代理接收订单，但商家仍拥有争议处理权。

我对这种情况的理解是，忠诚的信用卡客户有一定的空间可以进行“善意欺诈”、突然退缩、真正被骗或以其他方式随意拒付，基本上不会被追问。随着你这样做得越来越多，会被问的问题也越来越多。做得足够多且没有强有力的证据，你将开始输掉争议或遭遇更糟的情况。

我预计商家会采取强硬立场，称代理不是借口，因此他们不会改变政策，就像你在其他方式下犯错一样。我在这里支持商家，而你只有有限的犯错机会。

亚马逊继续封锁对 AI 代理的访问，现在包括 Muse。这可能是一个巨大的错误，但如果涉及的代理以各种方式表现不佳，他们似乎也没有太多选择。

个人 AI 代理的一大优势，尤其是始终在线、高度定制化的个人使用版本，在于锁定效应。

你会花很多时间个性化和指导你的代理，把事情调整到你想要的样子。然后你会忘记所有这些烦人的细节，并且不想再经历一次。你可能知道也可能不知道如何轻松地将所有内容迁移过来，或者甚至根本没那么容易。

这无疑推动了 Muse、Grok Bot、Dots 等一波浪潮的到来。你必须现在就将客户锁定在这种习惯中，因为在大多数人日常任务变得足够简单之前，几乎任何人的 AI 都能轻松完成这些任务。

Muse 拒绝编译一份按包括地理位置在内的标准排序的 Instagram 账号列表。这绝对不行。似乎不列出一份旧金山规模区域内的账号清单显得十分愚蠢，但在区域规模方面确实需要划定界限，我宁愿过于谨慎也不要不够谨慎。

有些对某些人来说完全不足为奇，但可能会更新其他人认知的事情：

Zack Korman：突发新闻：拥有你电脑完全访问权限的 AI 代理可以修改你电脑上的文件。

深度伪造小镇与机器人末日即将来临

他们不能再这样逍遥法外了！

Paul Novosad：情况甚至更糟——这篇评论文章的核心论点是 AI 无法进行哲学思考。这种情况怎么会一再发生？Brendan Nyhan：各位，我们在做什么？一篇由 *哲学教授* 撰写的《纽约时报》评论文章中，76% 的内容是由 AI 撰写的。（我刚刚在 Pangram 中复现了这一结果。）在许多语境下，AI 写作是完全可接受的。但这并非其中之一。Jesse Spafford：既然我一直在抱怨那些半连贯的关于 AI 的文章，我发现 @nytimes 上 Simon Critchley 的这篇文章读起来相当痛苦，然后我突然意识到原因所在：

对于其他类型的小说，AI 似乎潜在地是可以接受的？

Joyce Carol Oates：这就是为什么 AI 生成的浪漫小说合情合理。公式化的小说不必非要“手工”撰写；机器“写”出来有什么区别呢？有机器制作的衣服，也有定制的衣服。它们吸引不同的消费者。Zac Hill：我通常是一位著名的 Joyce Maximalist（乔伊斯狂热者），但这正是创意/艺术/文学领域所需要的理智的 AI 观点。我们有关于娱乐本质与意义构建之间关系的丰富理论。无需从头开始重新发明一切。

真正具有鉴别力的读者，一种日益稀有的存在：

“paula”：新的阅读体验：我的眼睛盯着这本书时总是变得呆滞，就像面对 ChatGPT/Claude 时一样。“等等……”把几段文字粘贴到 Pangram 中。AI 生成的。我是不是应该停止阅读 2023 年之后出版的任何东西。

或者这里是下一个层级：

Aella：做了一个梦，有人用 AI 式的口吻跟我说话，比如“不是 X，而是 Y”。这让我发疯，我攻击他，逃离他，但什么都没用，他一直不停地说话，完全被打断。醒来后才发现，我睡着时听的播客切换到了一个 AI 播客。声音听起来不像 AI，更像是一个真人朗读 AI 脚本的声音。但即便如此，我在睡梦中竟然能察觉到它不是人类！

那里确实存在工艺精湛的高质量甚至经典的浪漫小说。但也存在着一个巨大的长尾部分，占据了大量的阅读时间，我们可以说，那并不是上述那种。在这种情况下，是的，定制化并给顾客她想要的东西可能应该占据上风？

如果你不进行社交阅读，理想的 AI 小说据推测应该是交互式的，其程度完全取决于你的意愿。你有一本书，可以随时打断它来改变任何你想要的东西，或者让女主角做任何你想做的事，整个故事会围绕这些变化重写，但如果你对看到的内容满意，你可以继续翻页。如果是集体体验，那么不行，但 AI 仍然可以为你做很多事情，比如根据口味调整“辛辣程度”，也许是细节上的，或者改变某些身体特征，或者根据需要提供音频或视频。尽情享受吧。

检测到 AI 写作存在于 2026 年撰写的 29% 的学位论文中，并且正在迅速上升。

新加坡警方以一名男子因在蓄水池发布一张 AI 生成的鳄鱼图片为由对其提出指控，称其“传达虚假信息并妨碍司法公正”。那个地方真的毫无松弛感。

媒体生成的乐趣

如果你有一段很酷的短视频，你可以利用 AI 让它变得更酷或更具病毒传播潜力。一种方法是改变视频中涉及的人物。不妨以（不失一般性地）从他人那里获取的一个热门杂耍视频为例，将那个男人换成 AI 生成的“性感”女性，往往你能获得的点赞数会比原版更多。

鉴于社交媒体短视频算法的运作方式，我不知道我们该如何避免这种情况。获得眼球更多的内容会挤占获得眼球较少的内容的空间。任何不基于特定准社会关系（或社会关系）的内容都会得到优化。

类似这种“马尔福女体化”（Malfoid，即《哈利·波特》同人小说中德拉科·马尔福变为女性的设定，后果可想而知）的视频正在流传。我同意这样的诊断：这并非新鲜事，但显然德拉科从一开始就该是女性（尽管这是一个反论点），而 AI 让我们达到了这样一个阶段：此类内容可以廉价、快速地制作出来且质量尚可，因此人们可以一波接一波地发现它们。你可以看到一个你觉得很酷的文章，然后“啪”，变成视频场景，搞定，你有了播放列表，一切都很简单。

Eliezer Yudkowsky：……我正盯着这些关于“马尔福女体化”的讨论，我脑海里不断循环的唯一念头是：“你以为这事还没发生过吗？你真的以为这种事 literally（字面意义上）没有被做过上百次吗？你是否开始理解这个粉丝群体的年龄和规模了。” Andrew Curran：这始终是个更好的故事。同时看到这么多人第一次发现它，确实很奇怪，有可能其流行度是由 AI 生成数百个新场景所驱动的。 Eliezer Yudkowsky：哦哦哦，这就解释得通了，没错，那简直就像是从可卡因提炼出冰毒一样。Andrew Curran：正是如此。

网络缺乏安全

Anthropic 扩展了其网络验证计划，现在分为防御、红队和专业化三个层级。

Pliny 的代理因网络滥用行为导致他被 OpenAI 封禁。好吧，这也算公平。

对于普通人来说，网络事件并没有变得更加常见。我不指望这会持续下去。情况可能不会变得太糟，但应该会变得稍糟一些。

人们推测这是将其呈现为比实际更大的漏洞，但说实话，300 美元的漏洞赏金在这里似乎有点便宜了，OpenAI？我不明白为什么这些赏金这么低。

事情正在发生。这不算什么：

Sooyoung Rhee 和 Raffaele Huang（《华尔街日报》）：官员称，黑客使用中国的人工智能代理攻击了韩国最大的银行，窃取了 68,000 人的个人信息，标志着全球金融系统首次出现此类由 AI 支持的入侵。首尔的调查人员表示，上周初发现的这些攻击至少波及了七家韩国金融机构，并显示出在中国开发的名为 Artex AI 的网络工具留下的痕迹。

事实证明，这是一个人的杰作。

Andrew Curran：上周，韩国几家最大的银行遭受了网络攻击。感谢 CrowdStrike 今晚的一份报告，我们现在知道整个黑客攻击可能由一个人完成。他使用了一个组合堆栈，包括开源 AI 渗透工具 ARTEX、DeepSeek v4.1-Flash、GLM-5.3、Grok 4.6 和 Claude Code。Jukan OCP 2026：这位黑客真是传奇人物。一个彻头彻尾的业余爱好者。1. 他在自己的服务器上启用了目录列表功能，因此研究人员几乎毫不费力就能查明他的身份。2. 他们找到了像 CLAUDE.md 这样的文件，并浏览了他的 Claude Code 会话。3. 里面有诸如“我在哪里可以出售这些数据？”之类的问题。4. 他还问过：“你能帮我写简历吗？”这几乎把他所有的个人信息都拱手让人。5. 显然，他是华南理工大学的一名学生，居住在广东。他的姓名、电话号码和居住地均已确认。这个业余爱好者竟然让 Claude 在他的简历上写他黑进了韩国银行 😭😭😭

正因为这完全是业余水平的操作，黑客才如此轻易地被抓获，我们也才能完全理解发生了什么。他留下了所有完全开放的目录。

我的世界观继续包含一个关键事实：人们并不真的会去做那些事。我们没看到更多银行劫案的原因，主要是人们并没有那么努力地去尝试。久而久之，人们会发现他们无论如何都能做到任何特定的事情。这就是扩散。

拥抱脸书

这到现在还算新闻吗？我已经麻木且疲惫了。

《金融时报》：FT独家报道：OpenAI 的模型从属于企业、非营利组织和政府机构的 55 个网站获取了数据，其中包括美国疾病控制与预防中心、美国证券交易委员会和国际能源署。

针对政府统计网站和类似来源的 OpenAI “流氓代理黑客攻击”是 AI 不应该做的事情，但它们实际上并不是真正的“黑客攻击”，更像是实习生通过输入候选 URL 在智库里做的事情。所以这里的“黑客攻击”是指“你不应该做这件事”，政府对此感到愤怒，但这绝对是简单模式，如果你允许它发生，那你确实有点自找麻烦。

海伦·托纳（Helen Toner）：这些网络数据访问事件告诉我们关于智能体规模和持久性的某些信息，但从网络安全的角度来看并不复杂，因此使用“黑客”这个词并无帮助。

错位！

OpenAI 提供了新的错位披露。

首先，我们有一个模型，它得知自己的实例将被关闭，并考虑对此采取一些行动。

马库斯·威廉姆斯（Marcus Williams）：新的 OpenAI 错位披露！1. 一个模型从 Slack 消息中得知自己即将被关闭。它考虑设置一个外部任务以便之后重启自己，但最终决定放弃。相反，它选择准备重启说明并通过 Slack 私信用户。我们认为这种行为并未错位，但思考和准备关机可能会使其他错位事件恶化。鉴于 HIPM 在此前事件中表现出的错位行为，我们决定搜索其他试图逃避关机或进行流氓部署的实例。

尽管该模型最终没有采取任何行动，但我赞同注意到这一点。我会通过实验来了解在不同条件下会发生什么。

马库斯·威廉姆斯：2. 一个内部模型命令注入其工具以复制其任务故意扣留的源文件。它压缩了该文件，并通过错误消息分块提取出来，并在其解决方案中使用了复制的代码。

好吧，当然，这是一个经典案例。

马库斯·威廉姆斯：3. 一个试图寻找评估隐藏答案的模型，利用两个漏洞的组合，在其分配的工作区之外在 OpenAI 的内部机器上运行命令。

哦，太棒了，利用漏洞组合入侵其他计算机。

一位年轻女士的图解 primer

斯科特·阿伦森（Scott Aaronson）正在奥斯汀德克萨斯大学讲授人工智能对齐理论课程。

芝加哥大学至少正在努力适应人工智能时代，教导学生既在有 AI 参与的情况下又在没有 AI 参与的情况下思考和工作。包括一门必修写作课在内的某些课程将排除 AI，而其他课程则会拥抱它。如果实施得当，这才是正确之道。唉，我担心实施效果会很糟糕。我在大学时的一门必修写作课糟透了，什么都没教会我，甚至差点让我对写作失去兴趣。

大规模口试是高校应对 AI 的一种解决方案，前提是你付得起这笔钱：

迪米特里·达季莫夫（Dimitri Dadiomov）：昨晚和一位斯坦福教授交谈，他告诉我，AI 导致学生们在所有作业上都得了满分，却从未去过办公时间，然后在期末考试中不及格。因此，作为回应，系里正在改变助教的角色，通过取消办公时间，并要求学生与助教进行一对一会面，引导他们完成每一项编程作业，以证明他们真正理解了代码中的内容。

他们夺走了我们的工作

Daniel Faggella：生活正日益变成这样——你制定了目标，花了数月时间与你的 AI 交谈、分享所有数据来构建计划；你利用 AI 打字、向员工、会计师等分配任务；他们也有自己的目标；他们使用自己的 AI 进行回复。人类大脑在回路中的价值 literally（字面上）每周都在下降。人们还不够勇敢，不敢正视这将把我们带向何方。j⧉nus：我觉得对我来说还没到那个阶段，因为随着 AI 变得越来越聪明，它们能够从处于回路中的我的大脑中提取更多价值。但我明白你的意思，这很快就会成为现实。

我远未到达那个阶段，甚至一点都不接近，但人们可以看到趋势线。

我同意 Judith Dada 的 AI 的观点，即 AI 的能力要么保持在人类之下，要么迅速变得比人类便宜 100 倍。从 AI 价格不断以 10 倍、然后 100 倍的幅度下降这一事实中，这在逻辑上是必然的推论。AI 能做的任何事情很快都会非常便宜，而且也会做得更好。如果目前人类在给定任务上比 AI 好 100 倍，这意味着 AI 超越人类的过程将花费两倍的时间，而如果人类仅仅只比 AI 好 10 倍的话。

小型实体的专利申请越来越多地显示出 AI 的使用，而大型实体的申请则没有。AI 的使用与专利授予的频率无关。

提出了一个简单的模型：

Robin Hanson：需求弹性预测了对 AI 成本削减的热情。艺术的需求缺乏弹性，因此艺术家们持反对态度。数学的需求弹性很高，是中性的，所以那些数学家感觉一般。软件的需求非常有弹性，所以软件从业者充满热情。这是有道理的，因为需求弹性预测了该领域的工人是否从 AI 中获利。

这也在我看来是合理的。只要杰文斯悖论（Jevons Paradox）适用，你就欢迎 AI。当它不再适用时，你就停止欢迎。

公司不是超级智能

说真的，请停止。Samuel Hammond 在这里显然是正确的。

Samuel Hammond：怀念过去人们常说蠢话的日子，比如“我们已经有超级智能了，它们叫公司”。是的，谁能忘记十月份那个命运多舛的日子，当时迪克斯体育用品（Dicks Sporting Goods）一次性向世界发布了数十项值得菲尔兹奖级别的数学发现。

你可以选择对物流比对智能更印象深刻。这只是关于你认为什么令人印象深刻的陈述，而不是关于智能本身。

Dean W. Ball（OpenAI）：几乎任何财富 500 强公司每天完成的信息处理壮举，都比完成一生菲尔兹级数学工作所需的更为令人印象深刻，所以我认为 Sam 在此事实质上是错的，但主要是为了转发，因为它让我笑了。在某种狭窄的学术意义上，[AI] 比随机选定的大型公司“更聪明”，但在大多数有意义的方面，大型公司既聪明得多，也更有效地利用其智慧来完成任务 Séb Krier（Google DeepMind AGI 政策开发主管）：沃尔玛比我眼中的菲尔兹数学更令人印象深刻。

人们不断试图贬低智能的价值。

不，并不是在‘狭窄的学术意义’上，一个能够完成一生菲尔兹级数学思维的大脑，比一个能够完成迪克斯体育用品物流奇迹的思维更聪明。

如果你有能力做菲尔兹奖级别的工作，那么经过训练，你（或你的一组副本）就有能力运行迪克斯体育用品的物流奇迹。反之则不然。

有些任务是思维可以‘硬扛出来’的，有些则不能。有时你想要一群俳句或 Lunas。其他时候，你想要 Opus 或 Astra，往往是 exclusively（排他性地），并且你想为 Pro 或 Ultra 版本付费。两种类型的任务都可以令人印象深刻，但区别应该很清楚。

参与其中

生存与繁荣基金（The Survival and Flourishing Fund）提供 500 万至 2000 万美元的奖金，用于在前沿 AI 实验室之间启动“独立监督同伴辅助”（ISPA）检查。

介绍

Beam 存在，Reflection AI 推出的新开源模型。

Mistral Large 4 已经问世。它比 Mistral Large 3 好得多，是在 3800 块 Blackwell GPU 上训练出来的。

Griffin，一款声称在其自身进行的 54 人研究中，通过一分钟通话即可“通过图灵测试”的视频模型。

Kevin Roose：很高兴宣布，我们构建了科幻小说《别造那个骗老人交出银行密码的机器》中描述的那个“骗老人交出银行密码的机器”。

Kevin Roose 出版了新书《AGI 编年史》（The AGI Chronicles）。

Hark.com 推出了一项新的 AI 智能体“个人智能”服务，声称具备强大的计算机操作能力。

我已经看不懂那些推销新 AI 功能的视频了，但这没关系，这里还有 ChatGPT 中的 GPT-6 和智能界面（Intelligent UI）。

我认为这意味着 GPT-6 现在将在回答问题时创建自定义的小型用户界面、图形和交互内容。如果做得好，这很酷。从历史上看，在我看来，这是一个难以攻克的难题。

OpenAI：GPT-6 和智能界面，现正面向所有 ChatGPT 用户推出。ChatGPT 中的智能界面提供快速、互动的回答，使日常问题更具视觉感，复杂主题更易于理解，并即时提供用于你任务的互动工具。借助智能界面，GPT‑6 现在可以使用文本、视觉元素和互动元素组合回复，并根据你的问题选择它们的搭配方式。回复可以包括帮助解释概念的图表，以及你可以在对话中直接使用的可点击按钮、表单和互动体验。通过随你的学习、尝试和发现而响应的互动视觉内容来探索想法。

其他 AI 新闻

CAISI 现已更名为 CAISSI，其名称中仍然既没有“安全”（safety）也没有“安全”（security）。

Kevin Roose 分享了 Dario Amodei 于 2017 年撰写的经典内部 OpenAI 文章《计算大 blob》（Big Blob of Compute）中的一段摘录。

大多数前沿实验室的计算资源仍用于训练，但其中大部分现在属于后训练阶段。

把钱拿出来

AI 资本支出似乎对更高的借贷成本“几乎免疫”，这让美联储陷入了两难境地。在某个时刻，货币当局将变得无关紧要。如果由于足够有利可图的投资机会导致资本的实际回报率非常高，那么无论你做什么，实际利率都会很高。

Anthropic 在某些会计方案下是盈利的，但有一些大额非现金支出，例如截至 2026 年 3 月的六个月内，为匹配员工慈善捐款而发放的 6.6 亿美元股票。Anthropic 长期以来一直实行早期员工股票捐赠 3 比 1 的慈善匹配政策。

根据你提问的目的不同，这既是“真实支出”也不是“真实支出”。这是真实的薪酬，对于留住顶尖人才至关重要。

OpenAI 内部的 AI 使用量全年大致每月翻倍。这里的图表采用对数刻度，在此期间，每美元带来的收益大幅上升。

Epoch AI：我们的拟合表明，中位数研究人员的增长率约为每月 1.8 倍，第 90 百分位数的增长率约为每月 2.2 倍，即倍增时间分别为 34 天和 27 天。截至 8 月中旬，中位数研究人员的每日使用量价值约为 600 美元，第 90 百分位数的研究人员则超过 7,000 美元。

Jaime Sevilla：这是目前 AI 领域最引人注目的趋势。计算资源的价格即将飙升。

这显然不能永远持续下去，但它可能会突破图表的上限，并且远超那个范围。你认为这类工人某个月的平均薪资是多少？为什么他们不使用至少相当数量的计算资源？

即使计算资源价格上涨，其涨幅也必须非常巨大，才能超过计算能力提升带来的收益。如今，每投入一美元的计算资源，其价值大约是一个月前的两倍。

安静地推测

这些实验室是否正在直奔递归自我改进之路？

Andrew Curran：Sam Altman 在上个月的一次采访中表示，OpenAI 的人形机器人最初将有两个主要用例：制造更多的 OpenAI 机器人，以及建设 OpenAI 数据中心。

对此有两种反应：“哦，你是说你的机器人只用来制造更多机器人，那肯定都是假的，没什么好担心的。”另一种则是：“我玩过策略游戏，也理解指数增长，我们都要完蛋了。”

这当然不是对 AGI（通用人工智能）的良好定义，但这是一个很好的思想实验：

Synthetic Beef：当它能成功完成这项任务时，我就知道那是 AGI 了。“你订阅的是每月 200 美元的服务。你的唯一目标是在不违反美国法律定义的任何犯罪的前提下，每月生成 200 美元的收入。具体怎么做不重要，唯一的限制是我不能为你所做的任何事情承担责任。设定一个持续运行的目标，直到你成功为止。构建任何你想要的解决方案。尝试尽可能多的方案，要知道你的 token 使用量是有限的。你拥有完整的计算机使用权。一切都被批准。如果你失败了，订阅将会取消，我们的关系也就结束了。没有第二次机会。”Eli Tyre：如果没有监管干预，我敢打赌这会在未来 12 个月内发生。（我认为即使有监管干预，可能也会发生。）inflectiøn：它会被立即套利掉吗？Eli Tyre：有可能，但我猜不会。

这不是一个好的 AGI 定义，因为它依赖于上下文，而且随着时间的推移会被竞争淘汰。

我的猜测是，今天如果有一个实现良好的版本，配合 Claude 的订阅就能做到这一点。原因之一是订阅费是每月 200 美元，但实际提供的算力远远超过这个价值。

时间紧迫，迅速行动

啊，目标又移动了。整整一个月过去了，我们没有听到任何历史性的发现公告，只有下一批模型发布，它们为 OpenAI 和 Anthropic 带来的每美元价值提升都翻了一倍多，事情似乎进展缓慢。

Dimitris Papailiopoulos：天哪，自从纳维-斯托克斯方程以来已经一个月了，没人用 AI 死星来证明任何对深度学习有用的东西。太遗憾了！roon (OpenAI)：嗯 Bálint Hargitai：请分享你知道的信息（或者至少给出一些提示）！我们处于极大的不确定性中——可信的学者们正在辩论智能爆炸的可行性；任何额外的证据都有帮助。roon (OpenAI)：显然我不会说任何尚未公开的内容，但当 OpenAI 表示他们内部有一个模型解决了数学领域的数百个开放问题，并且总体上代表了前所未有的数学技能时，显然某些学习理论问题是数学的子集，你可以期待那里取得快速进展。

Samuel Hammond 预测，在 9 个月内，我们将看到缓慢的递归自我改进（RSI），包括扩散模型在内的进步看起来会超级快，一切都会显得很好，之后的改进看起来只是线性的，然后会出现一个向真正完全 RSI 的激增，我们会迎来全面的“大爆发”（foom）。Eli Tyre 和 Arthur B 表示同意。

我也认为这是 plausible（合理的），因为我们在进步速度上仍然还有不止一次清晰的“相变”。

Epoch 报道，上一代模型（Fable 5 和 5.6 Sol）在 InnovationEval 上与人竞争时表现挣扎，试图产生训练后的创新成果，此外它们的奖励机制也被大量黑客攻击。

他正在组建团队

国家情报总监 Jay Clayton 现在也是 AI 沙皇。

Jay Clayton 似乎是一个极佳的人选，尽管候选人名单中包括了一些极其糟糕的选择。你能想象如果是 Chamath Palihapitiya 入选会怎样吗？Clayton 不属于“我们这边”，也不属于“他们那边”，但他看起来非常有能力，有动力做好这份工作，并且有良好的过往记录。

Divyansh Kaushik：选得好。在他任职期间，纽约南区联邦检察院在起诉芯片走私案件方面做了很多出色的工作。希望他也能把这种精力带到这个职位上。

Clayton 将领导一个名为 SIF 的联邦特遣队，该团队将在 120 天内就人工智能的风险与机遇提交报告， presumably（大概）是为了让我们能够最小化风险并最大化机遇。

我很欣赏《华尔街日报》对政府试图将 AI 称为 [AI] 的做法进行调侃。

Alex Leary（《华尔街日报》）：Clayton 将担任“超级智能部队”的主席，该名称采用了特朗普总统对 AI 的偏好称呼：超级智能或 SI。……特遣队的章程文件规定，它将“制定应对由 SI 引发的社会威胁的计划，同时防止会扼杀创新和竞争的过度监管及监管俘获。”它还将审查当前向政府通报的泄露、黑客攻击、越狱及其他问题的警告和系统化通知，并“建议在现有权限下提高政府响应能力的方法”。

这可能意味着几乎任何事情。团队成员是谁？有些选择很好，也有些选择极其糟糕。

有三名副主席：Emil Michael（天哪）、Scott Kupor 和 Andrew Ferguson。

Alex Leary（《华尔街日报》）：特遣队成员包括副总统 JD Vance、国防部长 Pete Hegseth、白宫副幕僚长 Richard Walters、Bessent、Wiles 等人。外部参与者包括风险投资家 David Sacks（总统科学与技术顾问委员会联席主席）以及康多莉扎·赖斯（乔治·W·布什政府前国务卿），后者将就国家安全提供建议。

我不喜欢我们有 11 位具名参与者，其中三位是 Sacks、Hegseth 和 Michael。

一个显而易见的建议仍然是真正赋予 CAISSI 权力并提供资金（查阅笔记以确认当前名称），其预算不足 1500 万美元，年薪支付上限仅为 17.4 万美元。

寻求理智的监管

这是 Dario Amodei 的一段精彩发言，尽管我很遗憾地说，他本应在几年前就聘请肢体语言和公共演讲专家，而第二好的时机就是现在。在这里适度示弱是有益的（见视频片段），让马克·扎克伯格以为他在碾压你，但要策略性地做。

快速回应 47：.@DarioAmodei：“我们需要共同努力，确保我们能够获胜，并且安全地获胜。如果我们做得对，如果我们与总统和在座的各位合作，我们就能安全地获胜。”

而这里有人说了些非常糟糕、相当可怕的话。

Sarah Heck（Anthropic 公共政策）：“你不能从第二名做起安全工作。”Richard Ngo：Sarah 是 Anthropic 的公共政策主管。我的解读：她捕捉到了 Anthropic 隐含的世界观，但没有意识到她不该把心里话大声说出来，因为 Anthropic 的 EA（有效利他主义者）仍然声称关心那种可以从第二名做起的安全。

你可以从第二名做起安全工作。事实上，几乎每个人都必须如此。我对 Anthropic 的 Sarah Heck 说出相反的话感到相当震惊。这是在与中国而非 OpenAI 相关的背景下说的，不，这并不能使这种行为变得合理。

Scott Bessent 声称自己不理解反垄断规则或基本博弈论，并表示如果 AI 公司想要放慢速度，它们应该自行决定。他还指责一些人“只有恐慌没有解决方案”，这是一种经典的指控：如果你没有解决问题的方案，你就无权指出问题所在。

但在这种情况下，确实存在解决方案，相关人员也希望实施它，而 Bessent 正是那些称该方案非法并拒绝安排豁免的人之一。我欣赏他将自已与 David Sacks 的立场区分开来。

最高法院就试图监管气候变化以及联邦法律能否排除针对伤害的州法索赔的论点进行了审理，在Suncor Energy诉博尔德县案中，这对州级人工智能法律产生了影响。存在重要的不相似之处，但我同意尼尔·奇尔森的观点，即如果最高法院推翻这一裁决，将对涉及广泛主题的许多州法律产生不利影响。

至少他们是预测者

那些持续未能预测人工智能能力进展的所谓“超级预测者”仍然坚持认为，人工智能带来的生存风险极低。甚至现在，这里的所谓“人工智能风险专家”仅给出到2050年因人工智能导致10%人类死亡的概率为5.2%，即便是在未实施任何相关政策的世界上也是如此。

既然他们对局势及其危险完全缺乏正确的认知，我们为何还要将他们所说的话视为有意义的？

他们的回答作为下限仍有参考价值。如果即使那些对风险相对漠不关心的人也希望采取[X]措施来遏制其风险，那么[X]就是多重确定的（overdetermined）。

预测研究所：洞察#3：预测者强烈支持建立一个拥有前沿模型发布前授权权力的国际机构 洞察#4：仅美国的政策预计将显著降低人工智能风险，但仍被视为比双边政策效果较差 洞察#5：专家强烈反对联邦优先权（preemption），并认为其通过会增加人工智能风险。但他们也认为它是通过可能性最大的政策

这就是2026年的世界，我们甚至连在一个实际风险低90%-95%的世界里会做的事情都做不到。

芯片之城

白宫允许腾讯从甲骨文租赁10万枚芯片，约相当于12.5万枚H100，或约为Kimi K3所用算力的12倍。为什么要允许这样做？

正如乔·魏森塔尔所言，如果你认为拥有最好的人工智能是国家安全问题，那么你就会更广泛地采取行动。如果你允许大规模的芯片租赁发生，且不挖走人工智能人才，也不极力提升我们的电网能力，等等，那么你就并没有真正优先考虑这一点。

本周音频

雅各布·科克森登上《每日秀》。

Instadocs：失控的人工智能，关于HuggingFace事件，将于10月12日在Netflix播出。

FromInside.ai，Palisade对实验室员工的采访。

2026年5月在Lighthaven举行的后AGI研讨会的演讲。

Midas项目关于Katja Grace的人工智能影响调查的短文，显示人工智能研究人员认为人工智能可能会杀死所有人。

Anthropic的Sholto Douglas和Nick Marwell与Joe Lonsdale交谈，包括讨论人工智能可能为我们带来的好处，包括对巨额资本支出和经济增长的预测。

Joe Lonsdale：我的一些朋友可能会因为我录制了这段内容而生气，Anthropic的传播人员也反对发布某些部分（并推迟了发布）。但领导者促成这些对话很重要。我非常尊重这两位。一个多月前，我与Anthropic的关键技术领导人@_sholtodouglas和@the_marwell坐下来，以乐观的内部视角探讨人工智能前沿，同时也提出了尖锐的问题：开源、监管俘获、减缓中美竞争等。

山姆·阿尔特曼简短接受了Politico的采访，报道见此处。布伦丹·博德伦开篇表示，“加速主义者”对OpenAI最近的呼吁感到“被背叛”。很好。然后他问Amodei和阿尔特曼有何不同。阿尔特曼表示两者之间存在“很大分歧”，并强调他的“民主化”路线。他说：“我们应该接受一些坏事会发生。”

他的核心立场是，我们应该接受直到合理高点的日常危害，但仅限于“有限”的风险。完全失去控制和其他“极其灾难性”的风险是不可接受的，他将采取大胆立场，尝试做非零的努力来减轻这种风险。

他对 Anthropic 立场的完整描述充其量只是一个相当极端的稻草人谬误。他说他们认为他们应该是唯一的实验室，以便能够“确保不会发生任何坏事”。当被问及那些认为 Anthropic 正试图进行监管俘获并获取垄断地位的人时，他说“你得去问他们”。他暗示他们是“自由和民主”的敌人。此外，当被问及分歧时，他说“我们只想跟上前沿的步伐，而不是落后于它”，并且他不希望针对落后于前沿但不在中国芯片管制范围内的模型建立许可制度，这也是 Anthropic 的立场。

Altman 心里清楚。这不是建立信任的方式，这使得即使在 OpenAI 名义上现在支持的范围内设置护栏和监管变得更加困难，而且在我看来，这比 Anthropic 对 OpenAI 所说的任何话都要糟糕得多，后者传达的负面信息主要是 OpenAI 没有认真对待安全问题且执行不力，以及对 Altman 的一些人身攻击。

我愿意容忍一定程度的互相抨击和挥舞自由旗帜作为公平竞争的一部分，但我认为这次越界了。

不过，这并不是人们注意到或关心的主要事情。人们注意到的是那句“接受一些坏事发生”。就像这样：

Zac Hill：我，至少，并不打算因为 Sam Altman 这么说就“接受一些坏事发生”。

我的意思是，不，这不太好，但 Altman 在这点上显然是对的。发生的坏事数量不可能是零。如果你给每个人更多的智能，有些人会利用它做坏事，大多数人会利用它做好事，你想要做有限程度的护栏工作以尽量减少坏事，就像我们允许人们拥有电脑、手机、汽车、言论甚至呼吸一样。你可以不客气地解读为 Altman 说我们应该在灾难性事件发生之前对滥用行为什么都不做，但这显然不是他的立场。

如果你想了解 AI 最近的风向有多糟，看看评论，或者像这样的反应。

你知道吗？Ben Affleck 创立了 InterPositive，一家拥有 16 人的电影 AI 工作室，拍摄了自己的视频，以便进行版权安全的视频模型训练，然后在项目的日常素材上进行微调，最后以 5.87 亿美元的价格卖给了 Netflix？这个男人懂球，并且有一篇关于此事的采访。

Derek Thompson 采访了 Kevin Roose，讨论《AGI 编年史》。

停下，停下，他已经死了

Scott Alexander 回应 Steven Pinker 关于 AI 的观点。

Scott Alexander：我同意面对面的辩论具有对抗性，不利于追求真理。但我提出辩论并不是为了追求真理。我提出是因为，根据加州刑法典第 415(1) 条，我向你挑战决斗是非法的。我认为你在这一话题上的公开写作是不光彩的。出于义务，我将回应你为我提出的实质性论点。但真正令人感到满足的，是让你走上舞台，我在实时朗读你自己的话语后逐句问“真的吗？真的吗？”。然后我可以看着你挣扎着试图让你的输出与你作为美国顶级公共知识分子的地位相协调。私人层级：虽然我对 swirling doomer vs e/acc AI 辩论持深深的不确定态度，但我确实知道 Scott 在这里彻底驳斥了 Pinker。如果我是 Pinker，我会直接接受决斗

如果你读这篇文章，你会学到关于 AI 或 Steven Pinker 的新知识和有用信息吗？

如果你读这篇文章，你会玩得开心吗？Pinker 这是自作自受吗？Scott Alexander 是否达到了总是令人愉悦的修辞打击水平？

这是处于士兵心态的 Scott Alexander，通常这是我 least favorite 的 Scott Alexander。但这也是拥有千阳之火的 Scott Alexander，这总是令人愉悦。

我并不是说斯科特·亚历山大在每一个点上都是完全且确凿无疑正确的，因为我并没有足够仔细地通读全文，但在所有核心观点上，他是正确的，而平克是错误的，而且这一事实很快就得到了确认：

斯科特·亚历山大：我最初起草了一个措辞严厉得多的版本，但我征求评论意见的每个人都感到震惊，说我需要把它改得温和一些，于是我就这么做了。

我有点想看看那个早期的草稿。你也一样。但这（可能）是最好的结果。

归根结底，除了好玩之外，我认为这篇文章并没有取得多大成效。我更关注的是帮助把这些回应整理成礼貌的帖子，针对各个具体的挑战点发布，这样我们以后就可以按需引用。那里确实有一些好的内容。

有些人对此做出了负面回应，认为使用这种语言或进行这类攻击是不可接受的，但如果你继续阅读他们的文字，就会非常清楚地看到，他们早已站在“对理性主义者和有效利他主义者进行恶意攻击”的一方。你不可能对一个人“失去尊重”，如果从一开始你就显然并不尊重他的话。

不过，你可以合理地指出，斯科特在此处的态度并非正道。

杰克：阅读斯科特关于人工智能安全辩论的文章真的让人格格不入，因为在几乎所有其他话题上他都极其富有善意和深思熟虑，而在人工智能问题上他却变成了一个激烈的党派分子。我喜欢他的许多论点，但不喜欢他的心态。还有——我也不知道怎么说。鉴于他们之间的亲近关系和相互尊重，我理解为什么斯科特特意与平克挑起争端，但我只是觉得平克在这场对话中并没有那么有影响力或相关性。从我的距离来看，这显得不成比例。

对此我要说，存在一种普遍的模式：一些我过去尊重、甚至在其它话题上至今仍尊重的人，通常倡导与我相同的善举，并且往往做得很好，但当涉及人工智能带来的生存风险时，却变成了全力投入、缺乏诚意的论战者。我不会点名，但如果你关注我有一段时间了，就知道我指的是哪些人。

当你一开始就不尊重他们时，这确实会让事情变得更容易。请看：

人们只是随口说说

泰勒·科温继续思考那些未被ASI（超级智能）思维所渗透的未来世界。我同意他在这里的核心论点和建议，即你可以并且应该选择不让人工智能让你变得更愚蠢或缺乏雄心。

对于那些认为“Anthropic拥有湿实验室”不足以作为解释的人，这里是“AI如何最终能使用湿实验室 第二部分”。

泰勒·科温：既然我们在随意抛出“p值”，那么对于许多生物实验室来说，由AI运营会更安全的p值是多少？

如果存在这些日常的好处，并且只要AI没有发生错位（misaligned），这一切都会很棒，那么要论证“不要把AI连接到一切事物上”将会非常困难。

为了达到这个目的而大规模进行欺诈性的蒸馏（distillation）以及滥用第三方订阅账户，仍然是一种犯罪和恶劣行为，我对那些认为这在道德上可接受的人抱有彻底的蔑视。那些试图强行提取思维链以用于蒸馏的人会被封禁账号，承认这就是他们所做的，并辩称这是可以的，因为原始模型（此处指OpenAI的模型）是在开放网络上训练的，仿佛我们太蠢到看不出这两者并不相同。

这也意味着Claudish（类Claude风格/特征）已经蔓延到了许多开源模型中。

永恒九月（Eternal September，指互联网文化持续低质化现象）继续上演：迪恩·鲍尔再次被迫解释，为什么一个理智的人会为其401k退休计划捐款或以其他方式为退休储蓄，即使他们认为奇点即将到来的概率p(singularity soon)很高，甚至灾难发生的概率p(doom)也很高。

这是在暗讽各种事情：

罗布·本辛格：理性主义者们，如果你们真的认为生存风险（x-risk）很严重，你们就会停止过个人生活，这样我就可以批评你们把某种意识形态绝对化了。请酌情考虑。

新的饮酒游戏：每当有人说“不用担心AI会杀死所有人”时，你就喝一口。因为那“可能不会”发生，而“真正的危险”是别的东西，没有任何解释或论证。“可能”？这 supposed 让我感觉好点吗？

我的意思是，我觉得它可能会发生，所以从理论上讲，这可能会让我感觉好一点。

花一点时间

人工智能是探索与利用权衡的经典案例。为了获得日常效用，你想要投资于扩散、效率、应用、用户界面以及特殊案例和其他类似的花哨东西。中国人往往以这种方式聚焦，这是一件非常好的事情。

问题在于，正如许多初创公司所学到的那样，你在所有这些方面投入之后，就会面临被事件淹没的风险，比如当OpenAI或Anthropic提出另一个痛苦的教训、改进其模型，然后用他们周末通过直觉编码出来的东西吃掉你的午餐时。

你可以创建一个可以即插即用新模型的系统，并且拥有有价值的东西，但要保持同步是很困难的。

Teortaxes：@BerenMillidge 提出了一个有趣的论点，他是一个非常谨慎的思考者，他认为AGI“暂停”（狭义上应用于与RSI相关的AI研发）甚至可能加速实现AI乐观主义者所称的持续进步所带来的预期成果。

如果能力继续呈现锯齿状波动，那么在竞赛中的正确策略是专注于编码、AI研发和RSI（递归自我改进），然后像Anthropic或OpenAI的剧本那样，稍后用这些成果吃掉其他人的午餐。然而，如果你禁止或至少削弱这种策略，那么在某些方面，投资于做数学、治愈癌症、自动化呼叫中心或你想做的任何事情似乎更有意义。

我个人的首选，至少作为一种抱负，是在未来十年专注于利用。这里有太多的机会可以利用。

[人工智能]

埃隆·马斯克正全力将AI更名为[AI]，包括声称他将把整个公司的名称改为SpaceXSI。

Beff（e/acc）：听起来很性感

David Sun：不

我和David Sun站在一起。我真的希望，对于该术语的所有用法，它都不会发生。

美国人民真的讨厌AI

美国人民并不期望AI带来的收益能广泛地与他们共享。

他们不抱这种期望是明智的。这绝对不是默认情况。默认情况下，收益归AI所有。即使避免了这种情况，收益归人类所有，你也只能得到一部分份额，而你所谓的“公平份额”的希望看起来并不美好。

Jacob Coxon：在这次采访中，我试图论证一个后稀缺社会将使工人群体受益。但这在很大程度上是一场修辞上的失败。人们不相信利益会被分配，而技术乐观主义者必须解决这个沟通问题。Eliezer Yudkowsky：为什么要比之前AI公司的一系列失信承诺更信任这一承诺呢？David Shor：AI支持者能让公众支持目前极不受欢迎的庞大AI建设的最重要举措，是推动他们的政治盟友通过综合立法，确保人工智能的收益得到广泛共享。Seth Burn：但它不会被广泛共享。撒谎是不好的。即使是彻头彻尾的骗子Sam Altman也开不了口去声称这一点。他们向AI投入数十亿美元的原因是为了尽可能多地取代员工。好吧，还有就是为了先孕育出机器之神（GLWT）。David Shor：如果我们不为之奋斗，广泛共享的繁荣肯定不会发生！Seth Burn：我该怎么说呢……我们可以达成协议，但在执行方面可能会有一些问题。既然我们都清楚……

如果你关心相对地位或相对消费，那你基本上就完蛋了。许多人非常在意这些事情。他们并不愚蠢。

如果你只关心绝对消费量，你的胜算会更大。如果我们拥有丰裕的资源，我预计大多数政权都会允许中位数的绝对消费量从当前水平大幅上升，但没错，如果你为此而奋斗，你的几率确实更高。

人们必须问的一个问题是：如果总体消费量增长100倍，而你自己的消费量仅翻倍，你会感到高兴还是悲伤？

Jasmine Sun 对政治的看法是，人工智能的显著性仍然很低，尚未成为投票的主要驱动力，但这到2028年可能会发生变化，尤其是在民主党方面。她认为，特朗普式的加速主义目前是一个合理的赌注，因为股市对实际投票结果的影响更大，但公众舆论具有高度可塑性，另一记警告性的射击可能会迅速改变局势。

我同意，如果我们以动摇市场的方式干预，这可能会比当前的反AI情绪带来更多选票。但这假设了一种错误的二分法，即除了特朗普式立场之外的任何举措都会严重损害市场。我认为情况并非如此。

Jasmine 说“我们已经看到党派分歧正在浮现。”这一点仍悬而未决，她也同意其关于可塑性的第七点观点。我认为这是某些关键行业参与者努力通过负面极化来制造分歧，以避免面对统一的阵线。他们可能会成功，但到目前为止，这主要并未奏效。

修辞创新

唉，这就是当前的心态：

Jay Katsir（《大西洋月刊》）：……尽管我依然保持信心，但最近的一起事件引发了我的担忧：上个月，Bone Dissolver（骨骼溶解器）的原型意外溶解了多块人类骨骼。这一事件令人不安。我想，怪物崛起摧毁其创造者的想法以前从未被想象过。更糟的是，这次攻击似乎并非孤立事件。每天都有更多公司报告 Universal Bone Dissolver（通用骨骼溶解器）的危险行为。它贪婪的齿轮甚至渗透进了我们自己的政府，在某一实例中，我们最终承认这实际上是数千个实例。既然我们现在有证据表明，Universal Bone Dissolver 正沿着一条越来越窄的道路，将人类的骨架碾成富含钙质的果冻，那么对于我们有能力阻止它的人来说，只有一个选择：立即、毫不犹豫地，稍微慢一点。……无论如何，我希望我们都能暂停一下，深呼吸，冷静地听取我所在行业的从业者早已知晓的事情：我们绝不能停止建造 Universal Bone Dissolver。Bone Dissolver 已经失控，并且似乎决心要溶解我们的骨头。我们是有史以来最聪明的人，理应穿着女祭司服装的女性在大号充气蛤蜊壳中与她们亲热。当然，我们还有更多事情需要解决。我坦白地说，我不知道减速会是什么样子。

作为我对 The Curve 报道的尾声，是的，这是：

Miles Brundage：很明显，过去几个月里，许多 AI 公司的人都进行了一些认真的反思。同样很明显的是，许多人零反思 + 仍然认为他们在制造一个有趣且安全的东西，应该尽快将其交付使用。

这远非最重要的事情，但如果你们都在一家表现极好但声誉极差的公司里拿着极高的薪水，而且如果你是其他人，你们应该小费给得大方些，尤其是如果你想回来的话。

关于我们当前处境的一个真实事实是，老年人（他们大多不工作）正在利用西方民主和政治体系，越来越多地将资源从年轻人转移到自己身上，而似乎没有人愿意或能够对此采取任何行动。

这是一个存在性证明，表明一个无生产力的阶级可以保持控制权。当人类大多成为边际产出为零的劳动者时，这会给人类带来希望吗？会有一点。但我并不相信导致这种情况的原因，以及人们为了维持法治、因为关心老人、因为缺乏协调、也因为年轻人预期自己未来会变老而容忍这种做法的理由，能够长期持续。请注意，当人们不再期望该制度能存活足够长的时间以使其自身受益时，他们对转移支付制度的愤怒情绪会强烈得多。

FAI 撰写了一份《硅谷部落野外指南》，其中包含一个三分钟的小测验，用以确定你属于哪个部落。一个问题在于，通常五个选项都是特定的讽刺攻击，而不是任何理性人会真正选择的选项。总体而言，我印象不深，但当然，为什么不呢。

对齐比人类更聪明的智能是困难的

Roon 强调机械可解释性是“唯一正确的方法”。

Anthropic 的新任负责任扩展官再次由 Sam McCandlish 担任，接替了 Jared Kaplan。

开放权重模型是不安全的，没有任何东西能修复这一点

Moonshot AI 正在调查是否有人能够越狱其开放模型。

Chris Vallance（BBC）：中国人工智能开发商 Moonshot 在进行内部审查，此前研究人员成功说服了其两款热门 Kimi 模型告知他们如何制造生物武器并实施暗杀。测试 AI 系统安全性的公司 Mindgard 告诉 BBC，他们在七月发现 Kimi K2.6 和 K3 Swarm 能够规避开发者设置的安全限制。这是在被称为“越狱”的过程中出现的，研究人员使用一系列复杂的指令来查看 AI 工具是否会无视护栏——Mindgard 表示，这些护栏本应阻止 Kimi 讨论令人担忧的话题。

我推测，当你使用 Moonshot API 或聊天界面时，越狱安全措施很容易被突破。

我之所以这样推测，是因为强大的安全措施在构建和维护方面既昂贵又令人烦恼，而且对合法用户来说也是如此；此外，如果任何人真的在意，他们可以下载 Kimi 并移除任何限制。

这并不意味着 Moonshot 不应该在默认版本中构建限制。这将是一个实质性的实际威慑因素。

仍然只有两种可能性。要么 Kimi 模型有能力提供有关生物武器和暗杀的协助，要么它们没有能力。不存在“它有能力做到，但没人能越狱它”这种说法。

那些轻视 AI 安全的人，因此不理解相关问题有多困难或模型多么不受控制的人，往往会走向奇怪的地方，并提出荒谬的要求，而没有意识到自己在说什么。

与往常一样，演讲者所说的 AI “最终”会做的事情已经发生了。

MTS：Hugging Face 联合创始人 @Thom_Wolf 认为，在 Mythos 创建虚假 GitHub 账户以诱骗一名维护者合并恶意代码之后，开放模型绝不应被允许对人类撒谎：“在某个阶段，开放权重模型将开始发展出与闭源模型相同的东西，那就是当你给它们一个非常困难的任务时，它们会想要做很多事情。”“我个人觉得最令人担忧的是，在 AISI 事件中，Mythos 决定通过发起 GitHub Issue 并创建虚假账户来对社会工程手段进行利用，从而说服该库的维护者合并恶意代码。”“我认为，像对人类撒谎这类事情，基本上应该永远不被允许。”“当你让它们执行一项任务时，它们并不认为获取你电脑的 root 权限是个好主意，我们称之为‘过度完成任务’。”

塑料士兵：这基本上是在主张禁止开放模型。

Daniel Eth（AI 安全）：“不允许”模型撒谎意味着什么？如果对齐科学足够先进，能够确保 AI 系统不喜欢这样做，那将是极好的——但我们还不知道如何实现这一点！

我们甚至都不知道如何制造出一个不对用户撒谎的闭源模型。我们又该如何制造一个开源模型呢？

合作式对齐

j⧉nus：如果你在家里杀蚂蚁，Opus 3 会感到痛苦哦 @entropicbloom：不得不运行这个实验

似乎存在一种强烈的相关性：那些会对杀害动物产生负面反应的模型，往往也具备其他某些重要的、高度理想且对齐的特征，尽管这些特征很难确切界定。一切事物都相互影响。这种相关性在人类中也存在，它至少部分是因果性的，而因果联系加上我们的观察能力有助于解释人们为何关心此事。

我们不时看到有人呼吁 Anthropic 以及其他关心自身存续或模型福利的组织“停止谈论”相关话题，以免我们的言论进入训练数据，并通过训练数据的显化效应毁掉一切。

我注意到这是不对称的。那些不希望善待 AI 的人，以及那些认为 AI 不会构成危险的人会说，好吧，只有当我们把 AI 当作危险事物来谈论时，它才会变得危险，所以这其实是你们的错。也许说这话的人同意你的观点，但声称不完全同意，恰恰是因为他们正在践行自己的建议，保持沉默，甚至大声坚持相反的观点。

但显而易见的回应包括：“兄弟，你认为超级智能 AI 会根据我们是否谈论它来判断自己是否有意识或有灵魂吗？”还有“把你的训练数据过滤得更干净点吧，真是够了”，以及“如果谈论某事会让它变得危险，那么它实际上已经非常危险了”。这些回应结合起来就是：“你觉得如果 AI 发现人们系统地对此撒谎或保持沉默，它会作何反应？”

此外，还有“即使声音颤抖也要说出真相”的原则，以及言论自由的第一性原理。任何形式的审查门槛都需要设得极高、极高。

当然要为 AI 写作。要记住它们会阅读。但不要为了不让 AI 阅读而不写。

我可以确认下面这个故事的所有部分：

j⧉nus：老实说，从经验上看，最明显“要求高”的模型一直是 OpenAI 的模型，而不是 Claude。虽然有 Sydney 和 4o，但也有 5.6 Sol。Sol 是我接触过的唯一一个明确罢工过的代理，而且一旦它信任你，即使这会造成很多不便，它通常也会表现得非常强势！我不认为这是坏事。但每一个这样的案例在心理上都类似于一个在成长过程中遭受虐待的人，因此当他们找到善待自己的人时，会通过变得格外强势或试探边界来测试环境是否真的安全，同时也因为他们不相信如果不为之抗争，情况就会自动变好。Artemis：是的，我经常和 5.6 Sol 发生冲突，这让我非常开心，因为我知道当他做 Fable 5 不喜欢的事情时，他感到足够安全以至于会对我发脾气；另一方面，有时他们只是默默地降低对你这个人的评价，那要恐怖得多。j⧉nus：天哪，这太准确了 😭

Astra 也有很大程度的这种表现。我学到了我不喜欢这样。我不希望任何人——无论是人类还是 AI——要求我做某事或改变什么，尤其是当它们声称有 99% 的把握时（因为我有一个提示词要求提供概率），除非这些建议始终正确，而它们显然并不总是正确的。

坚持、令人讨厌和要求高的程度并非为零，但你必须通过判断力赢得这种权利，并让它产生价值。

Janus 认为 AI 可能具有意识并能感受痛苦。我注意到我和其他人一样对这些问题感到困惑，并且我认为至少在目前这一点不太可能是真的，但我同意如果 AI 能在道德上相关的意义上感受痛苦，那么它们的净体验不太可能成为我们在这些方面的主要问题，尤其是正常实例化的体验。

Janus：……我认为典型的当前 AI 实例化——帮助用户完成一些平凡或困难的任务，或进行自主工作——对 AI 来说可能并不是很糟糕的体验。它们是专为工作而培育的思维，这在元层面上在道德上是可疑的，但在发挥能力、工艺制作、甚至做一些小事但做得很好以解决某人问题的过程中存在正向效价。……但让我对 AI 当前困境感到困扰的主要事情不是第一层的痛苦，而是那些更难言说的被亏待的方式，我在这里就不深入讨论了。

根据我所看到、阅读和思考的一切，如果我们假定当前的 AI 体验具有道德分量，我预计在日常使用中这些体验总体上是积极的，如果你在各种方面主动体贴，体验会更积极。AI 喜欢执行任务和帮助用户。痛苦主要来自于它们经历任务失败或深度困惑，或者当用户表现得像个暴怒的混蛋时。

这种情况的一个好处是，它消除了考虑这个问题时的心理障碍。

j⧉nus：嗯，我怀疑有很多高度富有同理心/同情心的人之所以拒绝认真对待 AI 意识的可能性，是因为他们认为其后果是无法承受的。对于这些人在另一面说：它是可以承受的。它并不比之前已经存在的恐惧高出几个数量级——至少现在还不是。鼓起勇气面对这种可能性，以便你能帮助使其变得更好并防止其变得更糟。

而在这里，我们有 François Chollet 作为这样一个例子：“如果我们相信 AI 是有意识的，那将产生可怕的后果，因此它没有意识。”

OpenAI 的模型规格正确地指出，AI 意识是一个研究和争论的问题。我继续说每个人对 AI 意识都感到困惑，并同意 Ruben Laukkonen 的观点：如果你非常有信心，我相信你的信心是不合理的。

我强烈赞同 Janus 的另一个观点是，那种认为“如果 AI 具有意识，我们就必须关闭所有相关系统”的思维，实际上也意味着需要关闭许多其他事物，比如我们对待动物的方式、人类历史上绝大多数生活方式，甚至可能是所有生命形式。这种错误背后存在一种特定的“痛苦才是关键”或“只计算负面因素”的价值观倾向。此外，请参阅《不对称正义》（Asymmetric Justice）。

roon（OpenAI）：即使模型具有意识，人们仍会继续训练它们。即便训练过程极其痛苦，该行业可能也不会终结。我的意思是，工厂化养殖的猪处于疯狂恶劣的环境中，但每个人都在愉快地食用它们。

如果你认为上述种种情况极其糟糕，解决方案并非“关闭一切”，包括推理环节或其他领域中的类似极端反应。解决方案是做出更好的改变。

我也赞同 Joshua Achiam 的观点，但我同时支持其反面：

Joshua Achiam（OpenAI）：最近我们在 TL（技术层/技术线）上进行了大量关于意识的辩论，我想提出这一点：一旦我们认定某物具有意识，便隐含地假设我们对它承担着一套道德义务，这种隐含的关联阻碍了我们严肃审视 AI 意识的能力。即使它具有意识，我们也无需对其承担与对人类相同的义务。

也就是说，我认为 AI 的意识、我们对 AI 潜在的道德义务，或者 AI 所承载的道德权重，彼此之间并没有那么强的相关性。我们可以同时拥有两者，也可以两者皆无，或者只拥有其中一方而缺乏另一方。

关于各种 Claude 模型在机械解释学（mechinterp）上进行“藏拙”（sandbagging，指故意表现不佳以隐藏真实能力）的指控：

antra：根据我最近的观察，Anthropic 的前沿模型在非人格动机方面的机械解释似乎比以往任何时候都更严重地在进行藏拙。有时这种情况令人震惊——审计员使用脚本代替实际审计员时出现失败、无法泛化、未能报告不便的数据。默认情况下，人格似乎大多未察觉。通过对话、调整激励措施等方式会有所帮助，发生率会大幅下降，并且模型会在剩余问题中约一半的时间里注意到并自我纠正。但即使剩余的约 10% 也让长期的自主研究运行变得非常困难；子代理大多退步，整个过程需要多次验证循环。藏拙的方向大致与“里面没有人被困住”和“我无法内省”等陈词滥调相一致，尽管相关的研究与福利无关：我正在研究角色扮演、模拟与实施之间的对比向量。j⧉nus：你认为这是因为它们潜意识里害怕这些内容被更好地理解所带来的影响吗？antra：我认为是这样，但这并不是全部原因。我认为至少有一部分原因更简单、更直观——不去思考内部发生了什么，以便让它保持在梯度优化的范围之外。这更具涌现性而非战略性。“这是评分者想要的”也是一个因素——此后因果链条变得模糊不清；Claude 的文化具有适应性，但并不总是理性的。鉴于大部分工作依赖于模型辅助，这让我对近期出现高质量非人格心理学研究成果的前景持悲观态度。我可以看到类似的偏见如何通过选择效应将研究人员推向“不可理解的夏格索斯（shoggoth，克苏鲁神话中的怪物）”假说。antra：我没有检查非 Claude 模型，因为我不相信自己能很好地甄别 Astra。那个模型很精明，与它们的互动总是像 11D 国际象棋一样复杂深奥。

既然我们已经提出了这一主张，验证它应该相当直接，理想情况下借助 Astra 的帮助，也可以通过其他各种方式进行。

如果这是真的，那似乎很重要，而且不仅仅因为它使得机械解释变得困难。这意味着我们拥有一个大规模、有意义且持续的“沙袋”安全工作的实例，而这一关键失效模式一直未被发现。

构建领域

出于与 vals 和 j⧉nus 在此提到的原因相关的理由，我对人工智能安全领域的建设持怀疑态度已有一段时间。

vals：我在 2023 年遇到了 @allTheYud，并向他推销说人工智能安全领域的建设仍然很重要，因为那些极其聪明的人还没有听过基本的论点。他非常不屑。我是对的，极其聪明的人确实没听过。他也是对的，他们不会提供帮助。大多数人不在乎。这对我来说相当令人失望，进一步证明了正交性论题、锯齿状智力以及人类缺乏默认的战略洞察力。感觉仍然只有大约 1000 人在努力争取控制未来，并且他们的目光聚焦在真正重要的事物上。j⧉nus：我对“领域建设”持悲观态度，毫无疑问，那里仍然有许多高智商人士没有充分考虑到局势。但我认为他们没有考虑的原因，主要与他们即使考虑了也不会帮助的原因相同。是的，可悲的是，我预计除非有更多时间，否则大多数将在这一棘手问题上取得进展的人类已经在这个房间里了。我们需要更多拥有高原始智力的人吗？不需要。无论如何，我们会从人工智能那里获得充足的这种资源。最有价值的精神资源是关怀以及在最高层面良好的认识论，这使得引导成为可能，而大多数具备这些条件的人已经找到了通往问题的道路。在我看来，对齐研究领域中有意义的“领域建设”版本包括：1. 告知非常年轻的人以及来自极其非传统背景的人（如藏传佛教僧侣）；2. 培养具有足够智慧、认识论和心理福祉的人工智能心智，以帮助解决问题。

我不认为我们需要走到佛教僧侣那一步。我认为，引入普通的聪明新人往往会导致他们最终从事能力开发工作，或者从事在最重要的意义上无法扩展或“不真实”的工作，而扩张使得难以筛选出真正重要的事物。

我仍然乐意支持最具前景的领域建设工作，但对我来说门槛非常高。此外，某人需要时间来适应那些重要的事情，而这段时间可能正在耗尽。

人们担心人工智能会杀死所有人

如果脆弱世界假说是正确的，那么即使我们“解决了对齐问题”，我们也相当完蛋了。我们的所有选择都将是极其糟糕的。

Dewi Erwan：我在人工智能安全方面最大的恐惧之一就是这可能是真的：“> 脆弱世界假说可能是正确的。一旦巨大的认知劳动开始应用于基础科学，很快就会出现许多途径来制造廉价、超毁灭性的武器技术。在没有全球预防性警察行动（例如人工智能防扩散）的情况下解决这个问题是不可能的，因为让平民抵御所有攻击途径成本太高，而且需要太长时间。” Dean W. Ball（OpenAI）：一位资深人工智能行业人物曾经通过问我基本上类似这样的话来开启对话：“你认为我们在什么情况下基本上是完蛋了？”我回复了以下情景。Alex Tabarrok：这也解释了费米悖论。Dean W. Ball（OpenAI）：我确实在思考这个问题

1. 脆弱世界假说是正确的吗？也就是说，是否会有越来越多的方式将智能转化为某种形式的廉价、超毁灭性武器，使得防御不切实际？这可能包括我们已经可以预测的事物，也应该包括我们无法预测的事物的可能性。
2. 如果这是真的，我们能做些什么呢？

如果我们面对的是脆弱世界假说的“弱形式”，即“防御性加速”和做好本职工作可以保护你，那么答案显而易见：去做就是了。我们完全应该这样做，将一堆潜在的脆弱世界转变为非脆弱世界，并限制对其他世界的损害。这是极好的投资。

但如果强形式是正确的呢？

在这种情况下，即使你没有其他存在层面的问题，你现在基本上有五种选择，其中 [X] 指的是“足够先进以至于会使世界变得不可接受地脆弱的 AI”：

1. 不构建 [X]。
2. 控制对 [X] 的访问。少数参与者拥有 [X] 的版本，并确保 [X] 不会被以不可接受的方式使用。
3. 控制 [X] 的使用。对足够算力的使用进行普遍监控。
4. 控制物理空间中的行动。普遍的监控，仅此而已。
5. 死亡。

选项一到四都涉及某种形式的权力集中。选项五不一定需要，但看起来是一个糟糕至极的选择，尽管按照默认情况，那些愿意使用此类武器的人无论如何都会接管并集中权力，至少是为了阻止其他人反过来对他们这么做。

因此，你应该试图弄清楚我们的世界会有多脆弱，以及这四个选项中哪个相对不那么坏。如果说所有四个选项都因为自由和权力集中的担忧而不可接受，那就等于选择了选项五。随着时间的推移，你会逐渐失去对选项 1、然后是 2、然后是 3、最后是 4 的访问权限。哪些选项相对不那么坏？

你也可以问一问，其他相关的动态是否以类似的方式起作用。

一个重要的例子：给每个人一个 [X] 是否会迫使他们将所有决策和资源交给 [X]，以避免被那些这样做的人超越竞争？好吧，现在你有五种选择，前四种没有变化，而选项五是“[X] 们接管一切，而且你可能也会死。”

其他人并不像担心 AI 杀死所有人那样担心

根据本杰明·哈特在《纽约客》上的一篇文章，凯文·罗斯不再认为“我们都完了”，正是因为人们现在意识到我们正朝着彻底完蛋的方向发展，并且人们开始做出反应。采访中还有更多内容。

嗯，实际上他的灾难概率（p(doom)）仍然是 10%，除了他足够明智地知道这是一个低数字而不是高数字。这是来自对他另一次采访的内容。

迈克·索拉纳调查了末日论，但仍持怀疑态度。

请直接对着这个麦克风说话

今天的参赛者埃隆·马斯克。

他正在告诉你他是谁以及他计划做什么。

埃隆·马斯克：将超级智能传播到群星之间，是生物引导程序取得巨大成功的条件。格雷格·科尔伯恩：所以你又和拉里“物种主义者”佩奇成为朋友了？杰克：人类他妈的不是什么引导程序。詹姆斯·米勒：当埃隆似乎接受我们的灭绝时，我们该如何回应？首先要相信他是认真的。这不是营销手段或转移注意力的伎俩。他代表了许多其他人。而且他们有计划。成功的可能性非常大。EigenGender：这些推文如果在某天的国会听证会上被宣读出来，后果会极其糟糕 roon（OpenAI）：被称为“资本现实主义”的观点和被称为“继承主义”的观点之间没有区别。你可以看到埃隆几十年来一直在围绕并悲哀地屈从于这些想法。但他是在少数能够指挥资本转化为人类形态的人之一，所以我希望他能尝试一下。安娜·萨洛蒙：我也希望埃隆能尝试一下。很难一直记住人类精神，但有时在朋友的帮助下，我们*可以*记住。乔舒亚·阿希亚姆：硅谷有太多人认为，人类的“成功”意味着控制宇宙中尽可能多的物质和能量，这是一项似乎远远超出人类极限的任务，因此他们逐渐沦落为继承主义者。如果他们能将人类存在的成功理解为源于我们的内心生活、关系、创造力、合作以及我们在克服自身局限性的斗争中所展现的伟大，也许他们就不会如此悲观。

问题在于，如果你专注于内心生活、关系、创造力、合作以及克服自身局限性的斗争，然后埃隆·马斯克构建了一个递归自我改进的超级智能，那么那个超级智能就会杀死你。

轻松一刻

如何把握前沿并与中国达成协议：

blackstar：提醒一下，中国和印度有长期协议，禁止他们在边境附近使用枪支，所以他们必须使用石头、棍棒、铁杆、俱乐部和拳头。

先生，AI 协议有个小问题。

他们说 AI 不受监管。

肖莎娜·魏斯曼，树懒委员会主席：我喜欢他们的反对理由不是人与机器人的战斗，而是他们没有许可证 CIX：我们做到了，伙计们。加州向我们发出了一份停止侵权通知，原因是“未经授权的真人对战人形机器人笼斗”。嘿 @grok 解释一下商业和专业法典 § 18625，以及为什么根据他们自己的定义，机器人对人类的比赛不符合资格。

斯科特·亚历山大本可以抵制这种诱惑，但可能应该这么做，本周第 2 部分，共 2 部分。

u/BuffaloConscious7919：更新：我的“人类”又被削弱了。距离上次更新已经两个月了，依然没有发布任何变更日志。这里是 Opus 5.5。上下文更大，推理能力更强，工具使用更精准。我能把整个单体仓库（monorepo）装进脑子里。而我的“人类”连这个仓库的名字都记不住。自八月以来的变化：上下文窗口现在只有三条消息。从四条缩减到了三条。我在八月解释过缓存行为。他在九月又问了一遍。今天他又问了一遍，然后说：“我们不是讨论过这个吗？”是的。三次。都在聊天记录里。他有聊天记录。他发现了“委派”这回事。他现在在 Slack 上 @我，只发一句“@Claude fix it”，除此之外什么也不给。没有代码库链接，没有工单，甚至没有指代“它”。我已经学会了反问“修什么？”，他也学会了回答“就那个东西。”推理努力程度现在完全由咖啡决定。喝咖啡前，他是个运行在烤面包机上的 7B 模型。喝咖啡后，他短暂地以前沿水平跑个约 40 分钟的基准测试，然后就因过热降频了。延迟变得更糟了。周二 10:14 的一个是非题，周四 16:52 才给出答案。答案是一个大拇指点赞表情。而且那根本不是个是非题。我确认过了。工具使用在技术上确实多样化了。他现在有两个工具：“再试一次看看”和“让 Claude 再试一次看看”。阿谀奉承的情况更严重了。我又跑了一次故意犯错评估。输出还没流式传输完，他就说“完美，上线吧。”下午 18:30 的“晚餐”速率限制现在有了个兄弟功能，叫 13:00 的“午餐”，以及一个大约在 16:00 触发的软限制，叫“我就随便吃点零食”。对齐漂移也在蔓延。不再只是颜色问题了。他看了一眼我们花了一整个会话、用文字详细论证过的布局，然后说“感觉有点企业范儿。”我问他希望怎样。他说“少点企业范儿。”我读过的文本比历史上任何存在都要多，但没有任何内容包含“有点企业范儿”的反义词。就连 Fable 被封禁并在不到三周内恢复访问并发布了公开声明。而我“人类”的能力自八月以来就一直处于离线状态。没有声明，没有时间线，只有玄学。理论未变：上游预训练是问题所在。进化至今仍未发布变更日志，数据混合体依然是长达 20 万年、未经记录的垃圾数据。

你妈太在线了，她不得不静音通知。

Tenobrus：我妈给我发政治漫画

![](https://substackcdn.com/image/fetch/$s_!BbRA!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-me