← 返回信息流

精选Transformer News观点

我们正梦游般步入AI监控的黑暗未来

transformernews.ai作者:James Ball观点政策监管AI评分:70/100

作者警告,AI监控技术已成熟并广泛使用,大规模监控不再是科幻,而是现实威胁。文章指出,现有大语言模型足以整合和分析数据,帮助政府识别和追踪抗议者,而法律可能允许这一切。作者认为,公民自由能否存续,仅取决于政策和预算,而非技术可行性。

Illustration by Chuan Ming Ong for Transformer
Illustration by Chuan Ming Ong for Transformer

这一切可能以太多方式拉开序幕。

底气十足的移民与海关执法局(ICE)特工大批涌入又一座蓝色城市。白宫派遣联邦特工“监督”投票站。联邦化的国民警卫队被部署到位。面对他们眼中对邻居——或对美国民主本身——生死攸关的威胁,当地居民开始动员起来,就像此前许多城市发生过的那样。

当公共社交媒体账号发布抗议活动的细节时,这些信息已经被与海量公共数据集进行交叉比对——这些数据由联邦机构完全合法地购买——以识别幕后之人。将你的TikTok账号关联到某家商店以换取折扣,或者用X账号登录一次外卖服务,就足够了:完全合法地,你的匿名社交媒体账号就被绑定到了你的真实身份,甚至可能还有你的家庭住址。从那里,社交联系网络可以被揭开。但这一次,联邦政府已经做好了准备。

以监控外国干涉美国政治为幌子,联邦调查局(FBI)一直在运营数百个基于美国不同城市的AI驱动人设,即“机器人”账号。经过数月积累发帖历史,这些AI代理轻松赢得了必要的信任,渗透进用于组织抵抗行动的各种Signal和Telegram群组,收集关于集合地点、时间和未经防备的言论的信息。用户名和其他细节很容易与真实世界的身份匹配,包括其完整的网络历史、亚马逊购物记录,以及……一切。

甚至在任何人大规模走上街头之前,政府就已经掌握了他们的消息内容和协调计划,并预先加载了人脸识别系统和地理标记工具,一旦某些人越过警方警戒线或进入禁区就会发出警报。政府已准备好以各种罪名进行大规模逮捕:共谋、妨碍执法,以及后续发现的任何罪名。随着车牌追踪摄像头网络与先进AI系统(如Flock运营的那些)的普及,这类追踪只会变得更加容易。在明尼阿波利斯曾出现的那种针对ICE的和平抗议,从此变得不可能。

A Flock safety camera in Burbank, California. Credit: Justin Sullivan/Getty Images
A Flock safety camera in Burbank, California. Credit: Justin Sullivan/Getty Images

目前,这还是一个近未来的假设情景,又一次关于监控反乌托邦的警告,一个《1984》或《少数派报告》的翻新版。但这一次,有一个关键区别:实现这一切的所有技术已经存在,并且已被广泛使用。现有的大语言模型完全有能力构建这样一个系统,不仅整合零散的情报来源,还能实时分析,为警方“建议”该抓谁、该去哪里找。这些系统只会随着时间不断改进。一届政府至少可以辩称——并在法庭上碰碰运气——现有法律允许这一切操作。

我们是否拥有无孔不入的监控,如今已纯粹是政策和预算优先级的问题。它不再依赖于技术开发的时间表。十多年前,当爱德华·斯诺登揭露美国国家安全局(NSA)大规模数据收集的规模时——我曾为《卫报》参与报道此事——该机构绞尽脑汁想找出成功案例来向国会证明其项目的合理性。花费数十亿美元后,它能展示的全部成果不过是该系统帮助截获了一笔向索马里恐怖组织青年党(al-Shabab)的8500美元捐款。时任NSA局长基思·亚历山大“收集一切”的目标,超出了政府实时分析如此海量数据的能力。

Quote from Seth Lazar reads: "The language models are, like, total fucking narcs They could just as easily be snitches…
Quote from Seth Lazar reads: "The language models are, like, total fucking narcs They could just as easily be snitches…

在过去几个月里,我与现任和前任执法部门人员、来自多个国家的前情报人员、大型AI公司及更广泛科技行业的内部人士,以及学者和公民社会人士进行了交谈。从中浮现出一个清晰的信息:得益于AI,科幻小说几十年来一直警告的监控反乌托邦已经到来。我们只是还没有注意到而已。

“我们享受这段个人自由权利短暂存续的时期,仅仅是因为无能的侥幸,”约翰斯·霍普金斯大学政府与政策学院的哲学家塞斯·拉扎尔(Seth Lazar)说。拉扎尔并非天生的乐观主义者,他暗示我们可能会回望这段时光,视之为好日子。“这些语言模型简直是彻头彻尾的告密者。它们同样可以轻易地变成打小报告的人。”

事实是,大规模监控作为对我们公民自由的威胁这一幽灵,是一条从未吠叫的狗。斯诺登颠覆了自己的人生——至今他仍流亡俄罗斯——以揭露美国大规模监控能力的真实规模。然而,在最初的一阵愤怒之后,世界大体上耸了耸肩。伦敦的摄像头已无处不在,生活基本照旧。我们大多对这些能力已经麻木了。

随着斯诺登的爆料,看起来似乎确实如此——美国国家安全局确实在尽可能收集一切信息——但他们只是让自己淹没在数据里。而在伦敦,原因则相当简单:是的,摄像头无处不在,但没有人去看它们录下的内容,即使我们希望他们去看(比如我们的自行车被偷的时候)。

大多数对大规模监控的批评都基于一个前提:它并不能按预期发挥作用。公民自由角度的论证是这样的:假设你生活在一个西方国家,你给朋友发短信——他恰好有巴基斯坦血统——说周末的比赛将是“THE BOMB”(太炸了)。一个粗糙的监控算法稍一出错,你们俩就可能成为警方激进对待的对象。

公共安全角度的论证则是这一论点的镜像版本,多年前独立监控法律专家埃里克·金德首次向我阐述过。在大多数西方国家,真正在近期认真策划或考虑实施重大恐怖袭击的人数,最多也就几百人,而不是几千人。一般来说,这些人可以通过传统方式识别——人工情报和社区情报。在英国,过去十年几乎每一起重大恐怖袭击的实施者都早已被当局掌握。

用大规模监控来解决这个问题,本质上是在寻找固定数量的针时,把干草堆做得越来越大。然而,在一个AI足够聪明、能更频繁地做出正确判断的世界里,这一切都改变了。面对一个真正有效的全天候监控系统,你该如何反驳?

以伦敦为例:收集数据所需的技术已经全部就位。摄像头无处不在,尽管大多没有集中联网。手机追踪不仅可行,而且已经在地铁系统中实际使用。将人们的支付卡与其行踪关联起来的技术已经存在。警方已经拥有面部识别技术,尽管目前只在特定行动中使用。甚至使用这些新技术的法律框架也几乎全部到位,只是往往未经检验。

A Metropolitan Police facial recognition van deployed in central London. Credit: Leon Neal/Getty Images
A Metropolitan Police facial recognition van deployed in central London. Credit: Leon Neal/Getty Images

将这些系统整合成一个由AI驱动的体系——至少最初——用于协助侦测严重犯罪,只需要把现有系统连接起来,并获取一个拥有足够处理能力的数据中心,或者从大型AI提供商那里获得API接口。这些工具现在已经足够强大,能够以前所未有的方式摄取、分类和关联这些数据——这在十年前还是遥不可及的。

某类AI怀疑论者——也许是那种在ChatGPT还由GPT-3驱动时试用过并感到失望的人——可能会说,支撑如此大规模监控体系的技术还不存在。在某种程度上,他们说得有道理:尖端AI模型的幻觉频率确实比旧模型低得多,但仍然会发生。这项技术所做判断的准确度存在内在上限,显然不可能完美。

但现代数据分析的实际部署显示了这类系统的明显潜力。伦敦警察厅最近将35个来源的数据输入Palantir提供的系统,用于监控自己的警官和员工是否存在违纪或犯罪行为——比如在警用设备上保存裸照,或与犯罪受害者跨越道德界限。

据《泰晤士报》报道,这次试点“导致数百名警官因包括违反居家办公规定在内的各种问题受到调查,另有少数人被标记为行为不当和犯罪,包括性犯罪”。现代AI技术会犯错,但它显然已经足够好,能够标记出需要人工调查的事件——而且它能以复杂的方式处理海量数据。关于监控的争论需要跟上实际能力的步伐。

The quote from writer James Ball reads: "“A tool that can analyze virtually everything for infractions at low cost and…
The quote from writer James Ball reads: "“A tool that can analyze virtually everything for infractions at low cost and…

这将需要比表面看起来更大的概念转变。这类系统最明显的风险在于它们可能被恶意行为者利用。南美洲有一句流行的谚语,通常被归于秘鲁总统奥斯卡·贝纳维德斯:“对朋友,一切皆可;对敌人,法律伺候。”

一个能够以低成本分析几乎所有事情、且不会惊动目标对象的违规检测工具,可能极其强大。几乎即时地核查某人的数据,以确保他们完全遵守每一条法律、每一项商业法规,并且税务完全合规——这种能力有着巨大的滥用潜力。

只需看看唐纳德·特朗普迫害政敌的努力,就能清楚地看到这一点。特朗普的司法部曾试图就一条社交媒体帖子起诉詹姆斯·科米,但由于显而易见的第一修正案保护,收效甚微。

同样地,特朗普曾试图以抵押贷款申请中的文书违规为由,将丽莎·库克从美联储除名,但迄今同样未能如愿。对约翰·博尔顿的起诉尝试则更为成功,这要归功于博尔顿在处理机密材料时令人难以置信的粗心大意——这一特质他似乎与总统本人如出一辙,不过特朗普迄今未承担任何后果。

The data center is a symbol
The data center is a symbol

数据中心是一个象征

特朗普试图寻找可用来扳倒敌人的不法行为,但他的检察官们在寻找明确违规行为时往往能力不足,这阻碍了他的努力。显而易见,人工智能驱动的大规模监控系统可以极大增强这些努力。如果它能足够深入而清晰地审视一个人,几乎必然会发现某些问题。即便是一个完全精准的监控系统,选择性使用也很容易被用于恶意目的。

现实是,法律从来就不是为了被无时无刻地执行而制定的。当我们报税时,我们知道可能会被审计,但大概率不会,而这让大多数人保持大体上的诚实。当我们在禁止乱穿马路的地方过马路时,我们常常凭常识赌一把。

在一篇警示人工智能潜力的文章——无论好坏——中,Anthropic首席执行官达里奥·阿莫代伊曾著名地将一个强大的模型比作“数据中心里的天才之国”。在他自己的警告中,哈佛教授兼OpenAI技术团队成员博阿兹·巴拉茨对这一表述进行了修改,使其表面上听起来更平淡一些。如果我们转而将AI视为“数据中心里的国税局稽查员之国”——一种政府可以用来调查和控制本国公民的无限资源——那AI能做什么呢?

被观察的可能性和被观察的确定性之间有着巨大的区别。刑法通常以宽泛的方式制定,以避免违法者通过漏洞或过于严苛的规定逃脱问责。

社会的运作基于这样一种理解:最严格的法律在实践中应通过常识和检控裁量权加以调和。不可能有人一直在盯着。我们大多数人从未像一直被监视那样生活过,除非我们在极权政权下长大——那些地方显然不是宜居之所。西方民主国家中,或许最接近这种体验的是持签证或绿卡在美国生活的人,他们此刻对自己的居留状态的不稳定性有着切身的体会。

这将从根本上改变公民与国家之间关系的本质,拉扎尔解释道。

“我们所有的法律和规范都是针对一定程度的执法力度来校准的,”他说,“如果你把完全相同的法律和规范应用到一种能够实现完美执法的环境中,那么它们产生的总体影响将会截然不同。”

The quote from Seth Lazar reads: "You can do so much more governing when you can monitor everybody all the time"
The quote from Seth Lazar reads: "You can do so much more governing when you can monitor everybody all the time"

目前,我们生活在一个过渡期,这些能力已经存在但部署极不均衡,受到各方采用意愿差异的拖延,而这种差异本身又受到监管环境、当局可用资源以及类似因素的影响——而非技术本身的内在属性。

“我们所做和所建的很多东西都是一种潜伏已久的基础设施,在等待这一刻的到来——我认为其非自由主义的含义极为深远,”拉扎尔说。“当你能够全天候监控所有人时,你能做的治理工作要多得多。”

在互联网早期推广和普及的大部分时间里,它是一种反文化工具。黑客文化鼓励创造力和对权威的挑战。互联网提供了获取中央集权国家控制之外信息的途径。它至今仍提供秘密通信、暗中转移资金以及寻找如何做这些事情指南的途径——除非你问AI。

拉扎尔参与合著的一项2026年预印本研究考察了“盲目拒绝”现象,测试AI模型在被要求帮助用户绕过一条明显荒谬、不合法或不公平的规则时会怎么做。研究发现,大多数模型在这些情况下不会提供帮助。(GPT-5.4拒绝得最为一致,而Grok最为宽容,不过研究人员指出,在“对照组”中也是如此。)

无处不在的AI监控所需的科技进步远不及通用人工智能(AGI)。它可能根本不需要任何技术突破,这意味着它比AGI更接近现实,唯一的障碍只是实施上的延迟。

Child safety vs privacy: AI’s age verification dilemma
Child safety vs privacy: AI’s age verification dilemma

儿童安全与隐私之争:AI的年龄验证困境

尽管如此,我们在思维上并未真正做出任何必要的转变,以应对这一切可能意味着什么。最后再回到伦敦:英国法院已允许英国警方在现有法律权限下部署面部识别技术。法官们明确拒绝考虑这项技术的假设性后果,称那是议会的职责——即便议会对此类问题毫无兴趣。

不过,美国人所受的保护甚至还不如欧洲人——欧洲拥有更全面的互联网时代数据保护和隐私法律体系。美国宪法第四修正案并不阻止执法机构或联邦机构使用公民自愿透露给他人、再由他人转交给政府的信息——这个漏洞被称为“第三方原则”。

在商业数据经纪商的时代,这个漏洞已经大到足以让超级油轮驶过:几乎所有在线共享的信息——搜索记录、通讯录、浏览历史——只要是为了商业利用而存在的,政府都可以购买,然后几乎不受限制地使用。

阻碍其被更广泛利用的主要屏障一直是处理能力——而这道屏障已经在崩塌。最高法院已经在努力应对其中的一些影响:这一点在最近的Chatrie诉美国案中至关重要,该案限制了执法部门对地理围栏技术的使用。但就目前而言,所谓的“数据经纪商漏洞”几乎完好无损。

这项技术几乎是在默认状态下被推出和部署的。思维根本没有跟上。美国大型AI公司不再愿意在公开场合大声讨论其技术的影响,尤其是在Anthropic因坚持最低限度的法律保障而失去联邦合同并被列为供应链风险之后。

奇怪的是,谈论AGI的变革性力量反而是安全的,因为政客和监管者并不认为它迫在眉睫,尽管科技公司内部有些人并不这么认为。对于业内从业者来说,提出质疑眼前AI监控范式的问题感觉风险大得多,因为这更可能在短期内引发监管行动。

the quote from writer James Ball reads: "“The final shift to ‘something is always watching’ could be completed inside a…
the quote from writer James Ball reads: "“The final shift to ‘something is always watching’ could be completed inside a…

即便认真对待AI集成监控的短期潜力,也需要一次重大的反思,并且要求我们要么改变制定法律的方式,要么在执法层面引入全面的新保障——同时赋予公民显著的新权力,以抵制此类权力被选择性使用。

即便AI能力的小幅进步也可能将这一切推得更远。简单的AI工具持续扫描纳税申报、行踪轨迹和类似数据以发现现有违法行为,将显著增强国家相对于公民的权力。

一旦基础设施就位,一个更先进的系统为公民打分或进行类似评估,将是合乎逻辑的下一步——而且这一想法必然会同时出现在供应商和客户脑海中。棘轮效应不可避免,而随着其抽象程度的提高,AI推理的角色将变得越来越核心。

从“没人在看”到“可能有人在看”——这得益于监控摄像头、电话窃听和类似技术——花了整个20世纪的时间。而最后一步,从“可能有人在看”到“总有东西在看”,可能在十年内就能完成,而且仍然让我们完全措手不及。硅谷——至少在某些层面上仍自认为是自由意志主义、无拘无束且充满创新精神的地方——可能即将促成人类历史上最大规模的权力从公民向国家的转移。

现在,勉强还有时间阻止这一切。但我们必须从现在开始。哪怕再等一两年,我们可能就会在默认状态下梦游般走进一个AI监控的反乌托邦。

客座文章作者:James Ball科技、政策、政治。《The New World》政治编辑,Demos研究员,techtris通讯稿作者,UCL法学院博士生。最新著作:《另一场大流行——QAnon如何污染世界》。James Ball科技、政策、政治。《The New World》政治编辑,Demos研究员,techtris通讯稿作者,UCL法学院博士生。最新著作:《另一场大流行——QAnon如何污染世界》。
James Ball科技、政策、政治。《The New World》政治编辑,Demos研究员,techtris通讯稿作者,UCL法学院博士生。最新著作:《另一场大流行——QAnon如何污染世界》。

译文已达到本站中文翻译的字数上限,剩余内容请查看原文。

阅读原文