存在某种普世的训练方法，来让AI变“善良”吗？

文｜《中国企业家》记者李艳艳

编辑｜张晓迪

图片来源｜上海人工智能实验室

7月26日下午，在2025世界人工智能大会上，“人工智能教父”、图灵奖和诺贝尔奖得主杰弗里·辛顿（Geoffrey Hinton）与上海人工智能实验室主任、首席科学家周伯文教授展开了一场备受关注的尖峰对话。

这是辛顿此次中国行程里唯一一场面向AI和科学前沿研究者的公开对话活动。两位科学家谈及AI多模态大模型技术前沿、“主观体验”和“意识”、如何训练“善良”的超级智能、AI与科学发现，以及给年轻科学家的建议。

这个夏天，77岁的辛顿第一次飞越重洋踏上了中国的土地。但他并不为了再去复述大模型的能力有多强，而是发出警醒。他担忧的是，未来超级智能将很容易操纵人类，人类要避免“养虎为患”，建立国际社群来预防AI操纵世界，推动AI向善。

此次对话前，周伯文代表上海人工智能实验室作了《无尽的前沿：AGI与科学的交叉口》主题演讲，他认为AGI应具备专业深度与泛化广度，并在“通专融合”技术路线的基础上提出“SAGE”框架：基础模型层、融合层以及评估奖励层三层并行、闭环反哺，使模型在科学发现中由“工具”升维为“引擎”。

周伯文还发布了全球领先的科学多模态大模型Intern-S1，它具有多学科、多模态、深思考能力，多模态综合能力超越当前最优开源模型，多学科超Grok 4等前沿闭源模型。

以下为核心要点：

1.目前的多模态聊天机器人已经具备意识了。

2.像大语言模型主要是从我们输入的文档中学习。但一旦你拥有了像机器人这样存在于真实世界中的智能体，它们就能从自己的经验中学习。

3.你最终将会拥有一个既聪明又善良的AI，但如何训练它变得聪明和如何训练它变得善良是两个不同的问题。

4.AI将极大地助推科学发展，这一点非常明确。

5.如果你想做真正原创性的研究，就应该去寻找那些你认为“所有人都搞错了”的领域。

以下为对话实录（有删减）:

周伯文：感谢Jeff（杰弗里），您能亲临现场，对我们所有人来说都是一份真切的荣幸。我想从一个咱们本周早些时候探讨的问题开始。这个问题是关于多模态和前沿模型的主观体验（Subjective Experiences）。您认为今天的多模态大模型也能衍生出主观体验吗？您能否就其可能性问题，展开谈谈看法？

辛顿：这严格来说与科学无关，这是一个关于你如何理解“主观经验”、“灵魂”或“意识”等概念的问题。我相信，大多数人持有的想法是深度错误的。很多人没有意识到，即便你能正确地运用词语（word），并且拥有一套关于词语该如何运作的理论，这套理论也可能完全是错的，哪怕是对于最常用的词。我举一个最常用词的例子，对于这些词，你有一套自己的看法，它们看起来不复杂，但你的看法却是错的。

你需要接受这样一种观点：对于“工作”“健康”等常用词语真正含义的解释可能都是错误的。让我们来看看“水平（horizontal）”和“垂直（vertical）”这两个词。大多数人认为他们理解这两个词的意思，但他们的理解其实是不正确的。我会通过问一个人们很少答对的问题来印证这一点。

辛顿

假设我把许多小铝棒向空中抛散，它们在空中翻滚、碰撞。然后我突然让时间凝固，空中布满了这些朝向千差万别的铝棒。问题是：是与“垂直”方向夹角在1度以内的铝棒多，还是与“水平”方向夹角在1度以内的铝棒多，或者两者数量接近？几乎所有人都回答“差不多”，这是基于他们对这两个词的理解。

但他们大错特错，差距超过100倍。对于这些小铝棒来说，处于水平方向1度范围内的数量，大约是处于垂直方向1度范围内数量的114倍。原因在于，“垂直”的杆（rod）就是这样（指一个方向），这也是垂直，仅此一个方向。但“水平”是这样，这也是水平，凡围绕地平面的，都是水平。因此，水平的“杆状物”远比垂直的要多。（对铝棒而言）“垂直”是非常特殊的（手势）。

现在换个问题。假设我手里有一把铝制的圆盘，我还是把它们撒向空中并凝固时间。那么，是与垂直方向夹角1度以内的圆盘多，还是与水平方向1度以内的多？这次情形逆转，与垂直方向1度以内的圆盘数量，是水平方向的大约114倍。因为对于圆盘或平面（plane）来说，“水平”就是这样，只能如此。而“垂直”是这样，这也是垂直，任何垂直于地面的面，都算垂直。

所以在三维空间里，垂直的“杆”（rod）很特殊，而水平的“杆”很普遍；但水平的“面”（plane）很特殊，而垂直的“面”却很普遍。你看，当你形成关于这些词的理解时，你常常取一个平均化的概念，认为水平和垂直差不多，但这完全是错的。它取决于你讨论的是线还是面。人们不了解这一点，因此会给出错误的答案。

乍一看这似乎与意识问题无关，但并非如此。它说明了我们对于词语如何运作的见解可能是完全错误的。我的观点是，几乎每个人对于像“主观经验”这类术语如何运作的认识，都是完全错误的。他们持有一个非常根深蒂固但完全错误的理论。所以这并非一个真正的科学问题，而是从一个错误的心理状态模型出发导致的问题。基于错误模型，你必会做出错误的预测。

故此，我的观点是：目前的多模态聊天机器人已经具备意识了。

周伯文：这个观点可能会让在座的许多研究者感到讶异。但让我想想，在早些时候，另一位加拿大科学家理查德·萨顿（Richard Sutton）也进行了演讲，主题是“欢迎来到经验的时代”。我认为他的意思是，当人类数据耗尽时，模型可以从自身的经验中学习。

而您似乎从另一个角度阐明了这个问题：智能体或多模态大模型不仅能从经验中学习，还能发展出它们自己的主观经验。理查德今天似乎没怎么提及模型从主观经验中学习可能带来的风险。您能否就“智能体可以学习其主观经验”这一事实或假说，以及它可能隐藏的潜在风险，谈谈您的看法？

周伯文

辛顿：是的。目前的情况是，像大语言模型主要是从我们输入的文档中学习。但一旦你拥有了像机器人这样存在于真实世界中的智能体，它们就能从自己的经验中学习。我认为它们最终学到的会比我们格外多。

我相信它们将拥有经验，但“经验”不是一个真实的存在。经验不像一张照片，它是一种你与客体之间的关系。

周伯文：此外，关于我们可能涉及的潜在风险，还有几件事。几天前（在IDAIS）和您交流时您提到，减少未来AI风险的一个可能解决方案，是设法将AI的不同能力分别处理。比如分开训练一个“聪明”的AI，和一个“善良” 的AI。

辛顿：我其实不是那个意思。我的意思是，你最终将会拥有一个既聪明又善良的AI，但如何训练它变得聪明和如何训练它变得善良是两个不同的问题。所以你可以有让它变得善良的法子和让它变得聪明的法子——这会是同一个AI，但使用了不同的技术。因此，各个国家可以分享使AI变得善良的技术，即使他们不想分享使AI变得聪明的技术。

周伯文：我对此也有些疑虑的。这个想法的初衷很好，我也很欣赏，但我不确定这条路能走多远。您认为会存在一种普适性的、可以应用于不同智能水平的让AI变“善良”的训练方法吗？

辛顿：这是我的希望。它可能无法实现，但这是一个值得我们去深究的可能性。

周伯文：确实。但我还是想用一个类比来描述我的疑问，我提出这个问题是为了激发更多人对您提到的方向进行研究。我的类比来自物理学：当物体低速运动时，牛顿定律有效；但当物体接近光速时，牛顿定律就丧失效力，我们必须求助于爱因斯坦的理论。顺便说一句，我真不敢相信自己正在一位诺贝尔物理学奖获得者面前讲大学物理101（大学物理入门课）！

辛顿：哦不（他们给我颁奖）原本就是个错误。其实他们（组委会）就是想颁一个给AI的诺贝尔奖，只好就把物理学奖拿出来用了。

周伯文：哈哈，您绝对值得这项殊荣。不过这个类比或许说明，对于“善良”的要求，可能需要根据智能系统的不同层级进行调整和改变。我不知道这是否正确，但我希望在座或在线的聪明的年轻人们，能找到实现它的方法。

辛顿：是的，很有可能随着决策系统变得越来越智能，我们让它保持善良的技术也需要相应改变。我现在还不知道答案，这也是我们需要立刻开始研究它的原因之一。

周伯文：您作为一位成就卓著的学者，却常常说“我不知道”，这让人深感佩服。我认为这非常坦诚，并保持了开放的态度，这是我们都应该向您学习的。

其实，今天我们这里有一半的参会者来自量子物理、细胞生物学等不同前沿科学领域。我们之所以聚集于此，正是因为我们相信无论是Science还是AI与科学的交叉领域，都正迎来“无尽的前沿”的大好机遇。

所以，关于利用AI赋能科学进步，或者反过来用好科学来驱动AI技术发展，您有什么想说的吗？

辛顿：我认为AI将极大地助推科学发展，这一点非常明确。最令人瞩目的例子莫过于蛋白质折叠，Demis Hassabis和John Jumper等人通过明智地运用AI并投入巨大努力，极大地提升了蛋白质结构预测的准确性。

我认为这是一个早期的信号，预示着AI将在众多科学领域带来巨大进步。您也提到了智能预测台风登陆点和天气预报的例子，这说明AI的表现已经能比最好的传统物理系统高出一筹。

周伯文：在您卓越的学术生涯中，您不仅推动了AI技术的边界，也深刻地指引了下一代研究者，比如Yoshua Bengio和许多更年轻的后辈。在上海人工智能实验室，我们的研究人员平均年龄仅30岁左右，这清晰地表明AI的未来掌握在年轻一代手中。看着在座这些年轻的面孔，您有什么建议想与他们分享、帮助他们更快地成长吗？

辛顿：我只有一条建议：如果你想做真正原创性的研究，就应该去寻找那些你认为“所有人都搞错了”的领域。通常，当你抱着这种想法并开始研究自己的方法时，最终你可能会发现大家那样做是有原因的，而你的方法是错的。

但关键是，在你亲身领悟到它为什么错之前，绝不要放弃。

不要因为你的导师说“这个方法很蠢”就放弃它，忽略导师的建议，坚持你所笃信的，直到你自己弄懂它错在哪里。偶尔，你会发现自己坚持的东西并没有错，而这正是重大突破性创新的起点。这些突破从不属于半途而废者。

因此，你必须坚持己见，即使他人并不认同。这背后有一个简单的逻辑：你要么直觉很好，要么直觉很差。如果你直觉很好，你显然应该坚持它；如果你直觉很差，那你做什么关系都不大，所以你同样应该坚持你的直觉。

周伯文：咱们可以就此畅谈一整天，但我知道您需要休息了。最后，恳请在场所有人随我一同再次感谢Jeff付出的宝贵时间。非常感谢您！