OpenAI CEO Sam Altman：AGI或将十年内出现

6月10日全天的“AI安全与对齐”论坛，OpenAI联合创始人Sam Altman进行了开场主题演讲——也是他第一次中国演讲，虽然是线上。

演讲围绕模型的可解释性、可扩展性和可泛化性给出了见解。随后，Sam Altman和智源研究院理事长张宏江开展了尖峰问答，主要探讨在当前的AI大模型时代，如何深化国际合作，如何开展更安全的AI研究，以及如何应对AI的未来风险。

精彩摘要：

• 当下人工智能革命影响如此之大的原因，不仅在于其影响的规模，也是其进展的速度。这同时带来红利和风险。

• AI 带来的潜在红利是巨大的。但我们必须共同管理风险，才能达到用其提升生产力和生活水平的目的。

• 随着日益强大的 AI 系统的出现，全球合作的赌注从未如此之大。大国意见分歧在历史上常有，但在一些重要的大事上，必须进行合作和协调。推进 AGI 安全是我们需要找到共同利益点的最重要的领域之一。演讲中，Altman多次强调全球AI安全对齐与监管的必要性，还特别引用了《道德经》中的一句话：千里之行，始于足下。对齐仍然是一个未解决的问题。

• 想象一下，未来的 AGI 系统或许具有 10 万行二进制代码，人类监管人员不太可能发现这样的模型是否在做一些邪恶的事情。

• GPT-4 花了八个月的时间完成对齐方面的工作。但相关的研究还在升级，主要分为扩展性和可解释性两方面。一是可扩展监督，尝试用AI系统协助人类监督其他人工智能系统。二是可解释性，尝试理解大模型内部运作「黑箱」。最终，OpenAI的目标是，训练AI系统来帮助进行对齐研究。

在被张宏江问及距离通用人工智能（AGI）时代还有多远时，萨姆·奥特曼表示，“未来10年内会有超强AI系统诞生，但很难预估具体的时间点”，他也强调，“新技术彻底改变世界的速度远超想象。”

当被问及OpenAI是否会开源大模型，Altman称未来会有更多开源，但没有具体模型和时间表。另外，他还表示不会很快有GPT-5。 会后，Altman发文对这次受邀来智源大会演讲表示感谢。

图灵奖得主杨立昆：GPT模式五年就不会有人用，世界模型才是AGI未来

深度学习三巨头之一、图灵奖得主杨立昆带来了题为《朝向能学习、思考和计划的机器进发》（ Towards Machines that can Learn, Reason, and Plan）的主题演讲，他一如既往地质疑目前LLM的路线，提出了另一种会学习、推理、计划的机器的思路：世界模型。

演讲核心观点：

• AI 的能力距离人类与动物的能力，还有差距——差距主要体现在逻辑推理和规划，大模型目前只能「本能反应」。什么是自监督学习？自监督学习是捕捉输入中的依赖关系。

• 训练系统会捕捉我们看到的部分和我们尚未看到的部分之间的依赖关系。目前的大模型如果训练在一万亿个 token 或两万亿个 token 的数据上，它们的性能是惊人的。

• 我们很容易被它的流畅性所迷惑。但最终，它们会犯很愚蠢的错误。它们会犯事实错误、逻辑错误、不一致性，它们的推理能力有限，会产生有害内容。由此大模型需要被重新训练。

• 如何让 AI 能够像人类一样能真正规划？可以参考人类和动物是如何快速学习的——通过观察和体验世界。

• 杨立昆认为，未来 AI 的发展面临三大挑战：学习世界的表征、预测世界模型、利用自监督学习。

首先是学习世界的表征和预测模型，当然可以采用自监督的方式进行学习。

其次是学习推理。这对应着心理学家丹尼尔·卡尼曼的系统1和系统2的概念。系统1是与潜意识计算相对应的人类行为或行动，是那些无需思考即可完成的事情；而系统2则是你有意识地、有目的地运用你的全部思维力去完成的任务。目前，人工智能基本上只能实现系统1中的功能，而且并不完全；

最后一个挑战则是如何通过将复杂任务分解成简单任务，以分层的方式运行来规划复杂的行动序列。

• 由此，杨立昆提出「世界模型（World Model）」，由六个独立模块组成，具体包括：配置器模块、感知模块、世界模型、cost模块、actor模块、短期记忆模块。他认为，为世界模型设计架构以及训练范式，才是未来几十年阻碍人工智能发展的真正障碍。

对于AI毁灭人类的看法，LeCun一直表示不屑，认为如今的AI还不如一条狗的智能高，这种担心实属多余。被问到AI系统是否会对人类构成生存风险时，LeCun表示，我们还没有超级AI，何谈如何让超级AI系统安全呢？

「今天问人们，我们是否能保证超级智能系统对人类而言是安全，这是个无法回答的问题。因为我们没有对超级智能系统的设计。因此，在你有基本的设计之前，你不能使一件东西安全。这就像你在1930年问航空工程师，你能使涡轮喷气机安全和可靠吗？而工程师会说，"什么是涡轮喷气机？" 因为涡轮喷气机在1930年还没有被发明出来。所以我们有点处于同样的情况。声称我们不能使这些系统安全，因为我们还没有发明它们，这有点为时过早。一旦我们发明了它们——也许它们会与我提出的蓝图相似，那么就值得讨论。」