← 返回信息流

精选ChinaTalk短讯

中国 AI 安全领域的资金困境

chinatalk.media作者:Nick Corvino行业AI评分:70/100

中国拥有充足的 AI 安全人才,但受限于薄弱的慈善捐赠传统和强大的国家主导力量,实际开展的安全工作类型受到深刻影响。

慈善力量薄弱,国家力量强大。安全领域必须适应体制才能生存。

  1. 中国本质上对人工智能风险的关注度较低。中国人普遍是技术乐观主义者,而中共将“末日论”视为西方的偏执,或是一种旨在遏制中国发展的战略——例如,许多人对达里奥(Dario)呼吁放缓前沿发展步伐的呼吁所作出的轻蔑回应便是如此。
  2. 中国如今已“被安全理念洗脑”。每当像习近平这样的高层发表关于控制人工智能风险的讲话(如在世界人工智能大会上所做的那样),或者中国提出新的国际倡议(如9月的联合国全球人工智能治理对话)时,这种论调就会每年出现一两次并获得共鸣。

上述两种观点均有证据支持(见脚注)。但我认为双方都忽略了地面上更为复杂混乱的现实。

我在北京生活期间遇到了许多雄心勃勃且才华横溢的人,他们非常希望全职从事人工智能安全工作。然而,在中国,关心人工智能风险的毕业生最终仍被期望找到一份“正经”工作。在14亿人口的国家中,除了资金不足的博士培养路径或少数几个职位外,并没有一条成熟的发展道路。在旧金山、华盛顿特区或伦敦,专业地关注人工智能可以成为一份高薪职业;而在中国,这更像是一种爱好。

独立的中国人工智能安全领域基本上没有资金。现有的有限资金结构决定了哪些类型的安全工作能够生存,以及在哪里生存。

  • 为什么中国的慈善规则使得资助独立组织变得困难,即使资金存在。
  • 为什么这使得中国政府不得不主导安全工作
  • 技术性安全研究及其持续增长的情况
  • 试图使安全业务盈利的中国“安全即服务”公司

随着类似 Coefficient Giving 的 Project Tailwind 等举措的出现,“美国慈善事业的第三波浪潮”似乎正在地平线上浮现,这有望在西方的更多雄心勃勃的人工智能安全工作中发挥作用。因此,理解这种资源涌入如何重塑西方与中国人工智能安全生态系统之间的差距(以及它们之间的关系)显得日益紧迫。

[Nathan Labenz 在他的中国报道中探讨了相关主题,我推荐阅读。]

中国并不缺乏亿万富翁。福布斯将中国亿万富翁的数量列为539位,总财富为2.2万亿美元。(美国的亿万富翁数量为989位,总财富为8.4万亿美元。)

只要其中一两位真正投身于人工智能安全,就能资助起一个相当可观的资金生态系统。那么,为什么没有出现类似于 Coefficient Giving 的中国对应机构呢?

答案与中国慈善业的奇特结构有关。

当今存在的现代中国慈善部门在2008年四川地震后迅速扩张,但从一开始就 plagued by 腐败丑闻、监管不一致以及政府对基层组织在国家管辖范围之外运作的担忧。

Memorial dedicated to the victims of the 2008 Sichuan earthquake at Xuankou Middle School. Over 69,000 people lost their
Memorial dedicated to the victims of the 2008 Sichuan earthquake at Xuankou Middle School. Over 69,000 people lost their

为了简化体系,2016年《慈善法》澄清了国内慈善事业的合法地位、税收激励和筹款问题。慈善机构必须注册、披露财务状况并接受政府监督。

目标并非减少或消除慈善事业。北京仍然希望私人资金用于支持教育、健康、扶贫和其他社会服务。但它希望公民社会帮助提供国家批准的公共产品,而不是成为独立的政治组织或议程设置的来源。《慈善法》第四条通过声明“慈善工作应当在中国共产党领导下进行”,使这一原则变得足够明确。

“中国目前存在一种慈善与国家之间的悖论:人们希望看到一个更强大的社会部门,伴随着慈善事业的增长;但这种力量和增长也必须与国家自身的政策议程以及限制通常与第三部门相关的倡导和公民社会方面的愿望相抗衡。”

《慈善法》或许使该领域合法化,但并未消除长期存在的信任危机。中国在慈善援助基金会(Charities Aid Foundation)的世界捐赠指数中一直排名靠后,该指数衡量包括捐款和志愿服务在内的行为。在为本文进行的非公开交谈中,我也听到了因腐败而对捐款的怀疑。

^2011年郭美美事件是众多严重损害公众对主要慈善机构信心的丑闻之一。

也许这种挥之不去的不信任感也反映了2016年改革背后的另一个推动力:限制在中国境内运作的外国组织的影响——例如专注于人权的团体。这导致了《境外非政府组织境内活动管理法》(2016)的出台,对于AI安全而言,这部法律可能比《慈善法》更具深远影响。

《境外非政府组织法》规定,外国非营利组织必须注册办事处或通过经批准的中国合作伙伴开展工作,该系统由公共安全当局监督。英国慈善组织ODI的研究助理Shawn Shieh发现,在《境外非政府组织法》实施后的几年里,许多中国非营利组织的资金来源从80-90%来自国际转变为80-90%来自中国国内来源,实际上颠覆了慈善资助生态系统。

这有助于澄清为什么支持中国的AI安全工作不太可能像简单地向中国非营利组织提供更多资金那样直接。在实践中,外国资金必须通过政府可接受的组织结构流动。即使北京完全接受解决AI风险的论点,也不太可能允许大规模的外国资金流入中国组织。

2023年,中国慈善组织收到的捐款约为210亿美元,而美国为5570亿美元。差距达27倍。

Data from Giving USA 2024 and Giving China 2024 中国慈善捐赠2024. I might be off by a billion here or there.
Data from Giving USA 2024 and Giving China 2024 中国慈善捐赠2024. I might be off by a billion here or there.

2023年,企业提供了中国捐赠总额的77%,而个人仅占22%。在美国,情况则相反。2023年,个人提供了慈善捐赠总额的67%,而公司仅占7%,基金会占另外19%。

具体到AI领域,我估计西方AI安全慈善事业每年为2.5亿至6亿美元。4 我预测,随着Anthropic和OpenAI等公司上市并开启美国慈善事业的潜在“第三波”,明年这一数字将远超10亿美元。

现有的中国资金流向既定的领域。2023年,健康领域获得37%的捐款,教育领域占25%,科学研究约占10%。在该国最大的慈善家中,70%的人向教育领域捐款。哈佛大学的“中国慈善项目”同样发现,精英阶层的捐赠以教育为主导。这符合《慈善法》的逻辑,即鼓励在政治上已认可且被认为对社会有用的领域进行慈善活动。

Chinese charitable giving by sector, 2023. 7.08 RMB = 1 USD. Figures come from Giving China 2024 中国慈善捐赠2024, published b
Chinese charitable giving by sector, 2023. 7.08 RMB = 1 USD. Figures come from Giving China 2024 中国慈善捐赠2024, published b

部分原因可能是由于这些对慈善捐赠的限制,中国的AI安全往往被视为国家的责任,而非慈善领域。中国最大的AI安全机构是政府或政府支持的机构,如上海人工智能实验室(SHLAB)、北京智源人工智能研究院(BAAI)、中国信息通信研究院(CAICT)和TC260。

这些机构中没有任何一个将安全作为主要关注点。中国信通院(CAICT)是工业和信息化部(MIIT)下属的一个大型智库。北京智源人工智能研究院(BAAI)训练模型以追求能力,例如 Emu3.5。安全只是其更广泛使命中的一项职能,需与其他所有使命相关的资源争夺资源。

^BAAI 的 Emu3.5。看起来很有趣,但似乎与安全无关。

上海人工智能实验室(SHLAB)最接近例外情况。SHLAB 设有专门的安全与可信 AI 项目,在 Concordia 的中国前沿安全数据库收录的论文中约占十分之一,并于今年发布了书安(Shu’an)AI 安全平台。但它也在从事能力方面的研究,推出了 InternLM(书生)模型系列。

周伯文(Zhou Bowen),SHLAB 的负责人,同时也担任 TC260 的 AI 安全标准工作组(WG9)主席,这可以说是中国最具影响力的 AI 安全机构。但在像 TC260 这样的国家批准机构内部,职位数量很少。5 而且,这类工作与独立的生态系统性质不同。

SHLAB’s director, Zhou Bowen, argues for an AI-45° Law, the idea that safety and capability should advance together alon
SHLAB’s director, Zhou Bowen, argues for an AI-45° Law, the idea that safety and capability should advance together alon

当我在 2019 年首次对 AI 安全产生兴趣时,如今已成为主流的一些观点听起来仍相当科幻,且肯定不具备政治可行性。但这种距离让研究人员能够探索奇特或不受欢迎的问题,而无需先通过政治联盟、地缘政治竞争或官僚共识的审查。

独立的美国/西方生态系统仍然保留着部分这种自由。一位聪明的年轻研究人员可以离开大学,加入一个小众非营利组织,并花费数年时间追求一个目前既不被华盛顿也不被前沿实验室认为重要的想法。以国家为中心的生态系统不可避免地更加看重资历和层级,这使得建立同样开放的职业生涯领域变得更加困难。

需要澄清的是,我并不是说中国由国家支持的工作不重要。WG9、SHLAB 及其他机构正在开展非常有影响力的工作!但是,政府的注意力无法完全替代那些能够在国家决定某项想法重要之前培育这些想法的独立组织。

在中国存在的独立安全组织通常人员稀少或财务不透明。CnAISDA 自称是中国在其他地区 AI 安全研究所的对标机构,于 2025 年 2 月启动,并非作为一个拥有独立预算和员工的新组织成立,而是由已受雇于清华大学、BAAI、CAICT 等机构的人员拼凑而成的网络。北京人工智能安全与治理研究所同样大量依赖其主要任职机构在其他地方的研究人员。这些组织的共同点是它们都设在学术机构内部,这些机构似乎为开展安全研究开辟了一个可行的空间。

Concordia AI 发布了《2026 年中国 AI 安全状况》报告,并附带了一个交互式中文前沿安全论文数据库,使人们聚焦于中国的技术研究现状。2023 年,中国机构每月发表约 12 篇前沿安全论文,到 2025 年中约为 26 篇,到 2026 年 4 月达到 57 篇,两年内增长了近五倍。

在某些安全研究子领域——如智能体治理——中国产出的研究超过任何其他国家。

Concordia AI’s count of frontier AI safety research publications coming out of China. Source.
Concordia AI’s count of frontier AI safety research publications coming out of China. Source.

需要澄清的是,美国作者仍然主导着该领域引用率最高的工作,且安全仅占中国整体 AI 出版物的一小部分(见脚注)。6 真正推动该领域议程向前发展的重大成果,如对齐伪装、电路追踪、AI 控制范式等,几乎全部来自硅谷(其中 Anthropic 是主要贡献者)。

但这同样受到资金结构的影响。Anthropic 和 OpenAI 能够负担得起专门的解释性和对齐团队,因为算力并不是限制其存在的关键因素;相比之下,一家为了在能力上保持竞争力而耗尽每一个可用 H-equivalent 小时的中国的实验室,则没有可比的冗余资源。

因此,中国的大多数人工智能安全研究来自大学和国家支持的实验室,而非企业。在 Concordia 确定的 28 个“关键人工智能安全研究小组”中,有 20 个属于学术机构。相比之下,西方前沿实验室在产出安全研究和设定该领域议程方面发挥着更大的作用。

将上述因素综合起来看,中国的资金结构也有助于解释我所谓的“安全即服务”公司。这些公司从事的工作可以合理地被视为人工智能安全领域的内容,但它们将其与网络安全、监管合规以及其他商业产品和服务打包在一起。

学者赖文俊(Wenjun Lai)和安东尼·斯皮尔斯(Anthony Spires)使用“风险慈善”一词来描述中国的慈善限制如何将公共利益工作推向可衡量的成果和商业化的模式。这似乎与这些“安全即服务”公司提供的内容相似。

如我之前所述,中国生成式人工智能的备案制度为帮助开发者通过政府审查的公司创造了市场。RealAI、BotSmart 和奇虎 360 等公司试图利用这种需求,作为切入点提供一些更扎实的安全服务,如红队测试、鲁棒性评估、网络安全测试和意识形态合规性评估,这些议题比仅仅符合网信办(CAC)的要求更为沉重。

自那篇文章发表以来,证明这正在成为一个真实市场的证据越来越强。官方备案的生成式人工智能服务数量从 2025 年 6 月的 439 家增加到 2026 年 6 月的 988 家。该市场也正变得更加制度化。自 2025 年起,公安部开始对大模型安全护栏和评估系统等产品进行认证。

更重要的是,客户实际上正在购买专门的安全产品。7

但未曾改变的是,这些公司无法像西方安全非营利组织那样运作,后者的核心交付成果仅仅是“让先进的人工智能更安全”。它们只会调查客户愿意付费的安全问题。但这意味着客户必须愿意付费。归根结底,还是钱的问题。

这一切的结论仅仅是美中安全资金差距会持续扩大吗?如果我说也许,那就是在撒谎。《境外非政府组织境内活动管理法》使得西方直接向中国提供资助变得困难,而西方资助者向与国家关联的机构汇款则引发了明显的政治和安全担忧。

尽管如此,这里有一些可能性。

  1. 资助方可以在中国境外建立对中国研究人员有价值的事物。Pacific Compute 已经在尝试这种模式,在新加坡部署专门用于安全研究的 GPU,供 AI 研究人员访问以进行评估和研究——特别强调中国的AI安全研究人员。类似的模式在其他第三国也可能奏效,使中国研究人员能够获取安全资源,而无需将这些资源本身转移到中国境内。
  1. 交流项目。资助方可以帮助研究人员在其他地方共同工作一段时间。或者,他们可以资助国际研究人员前往中国,例如“新加坡AI安全研究员计划”(Singapore AI Safety Fellowship)。
  1. 进行投资而非慈善捐赠。外国对中国公司的投资受不同于外国非政府组织资金的法律制度约束,尽管中国的限制措施和美国的外向型投资规则都可能产生制约作用。找到支持具有商业可行性的安全公司(也许是提供“安全即服务”的公司)的方法,可能比独立非营利组织更现实,尽管存在这些公司更关注利润和股东而非将安全作为内在目标的风险。
  1. 更长期的解决方案可能是填补中国慈善事业内部的空白。中国拥有大量富裕的捐赠者,但专门致力于寻找问题并赋予研究人员自主权去追求这些问题的资助机构却相对较少。一个国内的AI安全基金或再资助机构可以汇集中国的资金,并将其分配给研究人员和小规模组织。它还可以与中国政府和西方资助方建立直接关系,将其转化为一种 streamlined(精简高效)的程序,而不是由众多小型非营利组织各自进行的定制化流程。例如,理论上,西方资助方可以注册一个常驻代表处,这需要中国政府赞助并获得省级公安部门的批准。盖茨基金会和其他大型非营利组织已经采取了这一途径,尽管过程似乎十分艰难。

上述大多数提议都显得牵强附会,但本质上所有关于全球AI合作的提议(如AI 2040的A计划)也是如此。我怀疑在危机时刻能凭空变出良好的合作关系。这将需要一个具备足够独立性以孕育新思想、并拥有充足资源让人才投身其中度过职业生涯的中国安全生态系统。

而这需要一些资金。

调查数据一致显示,中国受访者对AI的看法远比美国受访者乐观,而且随着美国态度的持续恶化,这一差距实际上可能在扩大。例如,2026年益普索(Ipsos)AI监测调查显示,83%的中国受访者认为AI的收益大于其弊端,而美国这一比例仅为39%(这是我见过的最大差距)。但调查数据所能揭示的信息有限,我们此前曾撰文讨论过AI焦虑在中国的不同表现形式。

修辞也很重要。当习近平谈论控制AI风险时,它会改变官员和研究人员觉得被允许优先考虑的事项。即使其中有些是空话,如果特朗普至少公开承认这些风险,我也不介意。此外,也有迹象表明中国官员可能正在更加严肃地对待某些风险,包括关于网络安全的讨论、限制对先进模型的海外访问以及各种监管举措,例如TC260的安全治理框架3.0。

Jasmine Li 在这篇文章中估计,中国在前沿AI安全领域的年度慈善资金约为2000万美元,而世界其他地区超过10亿美元。一位在该领域有专长的资助方也向我给出了相同的估算。

在实践中这意味着什么尚不明确,但我认为不太可能由党委审批每一笔捐款。社会组织需在民政部门注册,提交年度工作和财务报告,并可能在监管机构指导下运营。针对社会组织的独立党内规定要求符合条件的非营利组织建立党组织,允许党组织审查组织领导人,并鼓励党委书记参与管理会议。

仅Coefficient Giving一家机构就表示,其技术AI安全团队预计2025年发放的赠款将超过1.3亿美元,而其AI治理与政策团队处理的资金则超过1.4亿美元。

据Claude称:TC260的成员目录目前列出WG9下的311家成员单位,而TC260总共有704家成员单位。作为对比,数据安全工作组有328家成员,新兴技术安全特别工作组(SWG-ETS)有202家。来源。

例如,基于截至2025年2月的DBLP数据编制的2025年全球AI安全指数统计显示,中国有9,521篇AI安全相关出版物,美国有9,319篇——基本持平。但中国的整体AI研究产出要大得多。《2026斯坦福AI指数》估计,中国在2024年占全球AI出版物的17.8%,而美国为7.3%。按这些指标衡量,中国从一个比美国大约2.4倍的AI研究基础中产出了大致相同数量的安全研究,这表明安全研究在中国整体AI研究中占比更小。具体数字因数据集和对“AI安全”的定义不同而异,但在查阅多个来源后,这是我观察到的总体趋势。

邮储银行、银联国际和广发银行均已采购大模型安全评估或护栏系统。Z.AI也已公开确认使用网易进行危险能力评估和训练数据审计,这表明前沿实验室自身也可能外包部分安全工作。与此同时,IDC现在将代理威胁检测视为一个独立的中国市场,RealAI今年7月筹集了数亿元人民币以扩展其安全可信AI业务;习近平今年早些时候也视察了该公司,他们越来越多地讨论欺骗、自我复制和无控制AI研发等前沿风险。

例如,禁止向“关注国家”进行对外投资的美国规定很可能适用于对中国AI公司的投资,而中国规定则将任何形式的对外投资纳入其准入规则和国家安全审查范围。

译文已达到本站中文翻译的字数上限,剩余内容请查看原文。

阅读原文