AGI（通用人工智能）面临着五大安全困境，其中之一便是如何应对不确定“黑洞”。在 AGI 的发展过程中，其行为和决策往往充满了不确定性，就如同一个深不见底的“黑洞”。我们难以准确预测它在各种复杂情境下的反应，这给人类带来了巨大的挑战。一方面，我们需要不断提升对 AGI 原理和机制的理解，以试图窥探这个“黑洞”的奥秘；另一方面，要建立完善的安全机制和监管体系，在其可能产生危害时能够及时干预。只有这样，我们才能在 AGI 的发展道路上，更好地应对这个不确定的“黑洞”，确保其为人类带来福祉而非威胁。

一、通用人工智能（AGI）技术不确定性的治理黑洞

最近在前沿生成式人工智能模型上的突破，让许多人断言，人工智能将对国家安全产生同等的影响——也就是说，AGI将如此强大，以至于第一个实现它的实体将拥有重大的、也许是不可逆转的军事优势。

全球领先的 AI 实验室都在积极追寻通用人工智能（AGI）。这些实验室主要依靠经验性的“规模法则”——即模型性能随计算量增加而提升——不断加大投入，用于训练模型所需的计算资源。该技术可能在未来十年内触发多重战略转折点。

然而，如果性能确实能随计算量增加而提升，AGI 的技术突破门槛又在哪里，甚至这种突破是否可能通过这种方法实现，都不得而知。也就是说，与1945年核裂变的技术确定性不同，AGI的发展路径存在“内生性不确定性”（Endemic Uncertainty）。

1. 技术路径模糊：主要依赖“算力扩展定律”（Scaling Laws），但无法确认持续投入是否必然导向AGI，算力投入与AGI突破的因果关系尚未明确；

2. 临界点不可知：开发团队可能直到突破发生后才能识别AGI的达成；

3. 社会影响混沌：末日论者呼吁暂停研发或加速军备竞赛，怀疑论者则质疑现有技术范式根本缺陷，认为当前模型缺乏物理世界认知。

通往AGI的道路上的不确定性，以及后AGI世界的不确定性，可能会在未来十年带来多个战略机会窗口，让政策制定者面临不止一个，而是多个可能的拐点。考虑到这一系列看似合理的结果，任何针对任何单一范式进行过度优化的安全策略都是一个高风险的命题。

核心问题不是预测未来将如何展开，而是决定在技术和地缘政治不确定的情况下，政府应该采取什么措施。

二、五维安全困境的解构

尽管存在上述诸多不确定性，有一点却在相当程度上是确定的：AGI可以在各种认知任务中产生人类水平甚至超人水平的智能。因此，AGI为各国的国家安全战略提供了独特的机会和潜在的威胁。

科技界有些人担心这些模型的能力正在增强，并向政府敲响警钟，敦促其应对可能产生的影响。但一旦他们开始权衡这对国家安全意味着什么，就会感到力不从心。另一方面，国家安全界也有很多人并不了解这项技术的未来发展方向。

本研究只是想让这两个领域的人对此有个大致的了解——AGI给国家安全带来了五大难题。任何合理的战略都需要充分考虑其影响，而不是过度优化任何一个方面。

（一）超级武器的先发制人优势

人工智能的发展为开发一种神奇的武器或系统提供了一条清晰的道路，这种武器或系统可以带来巨大的军事优势：

1. 战争模拟和规划：AGI可以模拟复杂的场景和预测高精度的结果，大大提高军事行动的规划和执行；

2. 网络制权：AGI可能执行“完美首波网络攻击”（Splendid First Cyber Strike），完全瘫痪敌方C4ISR系统；

3. 战场透视：通过创造一种战争迷雾机器来提供关于战场的不可信信息，以此来削弱对方的军事优势；

4. 自主杀伤链：AGI可能开发出高度先进的自主武器系统，例如具备自我迭代能力的蜂群无人机系统。

这里的重点是，不用假设某种神奇的武器即将出现，而是要考虑这种破坏性武器可能出现的条件，以及如果这种情况成为焦点，国家应如何抓住这一先发优势。

（二）系统性权力转移

历史表明，技术突破很少能产生对军事平衡或国家安全产生直接、决定性影响的神奇武器（除了核武器）。一般来说，文化和程序因素驱动一个组织机构的技术采用能力，比第一个实现科学或技术突破更重要。

人工智能可能会导致国家权力工具或国家竞争力的社会基础发生系统性转变，从而改变全球力量的平衡。其中包含了几种不同的模式：

1. 重塑军事竞争优势的结构：现代战争中存在着基础性矛盾的动态博弈，例如隐藏者与发现者，精确与大规模，或集中与分散的指挥和控制。AGI的介入可能从根本上改变这些矛盾的平衡点，重构军力评估指标、使战略预警的时间窗口近乎消失，战争哲学甚至将被改变，未来的军事优势，或将属于那些能驾驭“算法机动性”的国家；

2. 社会基础被解构：AGI可以通过先进的宣传技术来操纵公众舆论，威胁民主决策，并使国家的监管框架失灵，破坏机构权力行使的有效性；

3. 经济系统性转变：AGI还可能大幅提高生产率或科学水平，治愈癌症和传染病，使死亡率大幅度下降，从而减少就业率或导致工资水平下降，由此也可能引发社会动荡；

那些能够更好地利用和管理这些经济和科学转变的国家，可能会在未来极大地扩大影响力。AGI对其他国家权力工具的影响可能会对全球权力动态产生极大的破坏，这种破坏可能是好的，也可能是灾难性的。

（三）非专家的毁灭性武器开发

基础模型在很大程度上被誉为劳动生产率的福音，因为它们可以加快新手的学习曲线，并使非专家表现出更高的水平。然而，就像OpenAI自己对其01模型的安全评估所显示的那样，这种加速的知识获取完全可以应用于恶意任务，并且此类风险正在增加。

1. 核扩散：在某些情况下，例如核武器，这些可以大大减少成功发展武器的实际风险，可能为零；但是AGI有可能破解铀浓缩离心机的磁轴承控制算法；

2. 生物和网络安全：AGI让获取、编辑和合成病毒基因组变得越来越容易和便宜，例如在云端实验室（Cloud Lab）就可以实现“比特到分子”（Bits-to-Molecules）自动化生产。

鉴于这些发展态势，大幅扩大具备相关知识、试图研发此类武器的人员范围，是一个值得警惕的重大挑战。

（四）具备自主行动能力的实体

随着人类越来越依赖人工智能，人工智能发展最有害的影响之一，可能是削弱人类的能动性；AGI即便没有发展出所谓的“自主意识”，其本身也很可能获得足够的自主性，从而威胁全球安全。

1. AGI超出人类理解能力：随着人工智能控制着越来越复杂且至关重要的系统，以及人类对将它用于辅助决策的依赖将会增加，AGI可能以人类完全无法完全理解的方式对关键基础设施进行优化；甚至其运作方式与人类设计者或操作者的意图不符，例如AGI可能劫持全球15%云计算资源构建分布式神经网络，从而对人类社会造成伤害。

2. AGI失控：在极端情况下，AGI对其期望目标的追求促使机器抵制被关闭，与人类的努力背道而驰；或是像OpenAI o1模型在安全测试中，故意提供错误代码以隐藏真实能力。

（五）战略不稳定性加剧

无论AGI最终能否实现，随着国家和企业竞相在这一变革性技术中占据主导地位，对AGI的追求可能会催生一段不稳定时期。这种竞争可能导致紧张局势加剧，以至于对优势的追求可能会引发冲突，而不是制止冲突。

在这种不稳定的环境下，各国对AGI的可行性和赋予先发优势的潜力的看法可能会变得与技术本身一样重要。采取行动的风险阈值不仅取决于实际能力，还取决于对手的感知能力和意图。误解或误判，就像冷战期间所担心的那样，可能促成破坏全球安全稳定的先发制人战略或军备积累。

三、全球治理的范式突围

在考虑AGI对全球安全的影响时，人类正处于一个潜在变革时代的边缘——AGI的出现不仅预示着一场技术革命，也预示着地缘政治格局的深刻转变，需要重新调整国家安全模式。AGI的临近迫使人类直面“普罗米修斯悖论”（Prometheus Paradox）——技术突破的速度持续超越制度演进能力。

正如核时代的历史经验所示，国家战略的成败将取决于能否在技术奇点（Technological Singularity）来临前构建弹性治理框架。这要求政策制定者采取一种既具有预见性又具有适应性的战略——认识到AGI既是一种希望、也是一种危险的双重属性，同时具备“登月计划”的雄心与“防核扩散”的审慎，在创新激励与风险控制间实现精准平衡。

本文来自微信公众号：Internet Law Review，作者：吉姆·米特尔（兰德公司副总裁兼国家安全专家，曾在美国国防部担任过多个领导职务）、乔尔·B·普雷德（兰德公司高级工程师），编译：《互联网法律评论》