李飞飞对于世界模型的深入浅出讲解WonderLearner

世界模型目前被视为是智能体走向自主感知、推理、规划与生成的重要基础。作为一个未来趋势的重要概念，世界模型正被频繁提及。关于如何理解世界模型的概念和内涵，李飞飞本人在社媒上发布了文章《A Functional Taxonomy of World Models》，深入浅出地讲解了世界模型的内涵和功能。

世界并不由词语构成。

在此前的一篇文章中，我们提出过一个判断：空间智能将成为人工智能的下一个前沿，而世界模型是通向空间智能的关键路径。本文中，我和 World Labs 团队希望进一步展开这个问题：当前有许多系统都被称为“世界模型”，但真正构成这一能力的功能部件究竟有哪些？它们各自承担什么作用？

语言模型已经让机器在概念、词汇和推理方面具备了卓越能力。然而，无论是现实世界还是虚拟世界，物理世界都运行在另一种基础之上。语言模型学习的是文本的统计结构，世界模型学习的则是空间与时间的统计结构：光线如何落在物体表面，一座花园从未被相机拍摄过的角度看起来是什么样，物体如何受到外力影响，并遵循物理规律运动。

因此，“世界模型”已经成为当今人工智能领域最重要、也最容易被泛化使用的概念之一。计算机视觉、机器人学、强化学习和生成式人工智能都在声称自己正在构建世界模型，但它们所指的对象并不相同。一个能够生成华丽却不符合物理规律火焰的视频模型，一个能够临时生成可玩游戏的语言模型，一个能够精确模拟燃烧过程的物理引擎，都可能被称为世界模型。

古希腊人始终无法就“世界由什么构成”达成一致：它究竟由火构成，由水构成，还是由不可再分的原子构成？根本原因在于，“世界”从来不是一个单一对象。它更像是一种总称，用来指代某个思想者在推理时所需要把握的整体。人工智能如今继承了同样的问题，而且恰好发生在这个领域最需要概念精确性的时刻。

分类背后的基本循环

要澄清这种混乱，需要先回到一张比今天这些技术更早出现的图。包括 Sutton 和 Barto 的经典教材在内，强化学习教科书几十年来一直使用类似的图式，来描述智能体如何与世界互动。这个图式的正式名称，是部分可观测马尔可夫决策过程，也就是 POMDP。“世界模型”这一术语最早的技术含义，也正出自这一传统。

一个智能体，可以是人、机器人，也可以是软件系统。智能体会采取行动，行动会影响世界的状态。但智能体从来不能直接看到世界的状态。它能够接收到的，是观测：落在视网膜上的光子，传感器返回的读数，视频帧中的像素。新的观测会进一步影响新的行动，这一循环由此持续运转。

这里有必要解释“状态”一词。不同学科对“状态”的使用并不相同。本文所说的状态，并不是化学中固体、液体、气体意义上的状态，而是物理学和机器人学意义上的状态：在某一时刻，对世界中正在发生的一切进行完整描述，包括每一个物体、每一个位置、每一个速度、每一种属性。状态是世界的底层现实。原则上，它是完整的；但对任何置身其中的智能体而言，它又无法被直接看见。观测，是智能体对这一现实的局部视图。行动，则是智能体基于观测作出的响应。

“智能体—行动—状态—观测—智能体”这一循环，构成了现代意义上“世界模型”的技术基础。这个词组本身出现得更早，可追溯至 Kenneth Craik 在 1943 年提出的观点：心智能够通过运行现实的“小尺度模型”来进行推理。到了 20 世纪 80 年代末和 90 年代初，这一思想被引入神经网络研究。这个循环也解释了今天人们为何会以不同方式使用“世界模型”一词：今天被称为世界模型的各种系统，其实都是这一循环的不同投影。它们各自输出的是循环中的不同部分。

世界模型的三种功能

第一类世界模型是渲染器（renderer）。渲染器输出的是观测，通常表现为供人眼观看的像素图像。对渲染器而言，最重要的指标是视觉保真度。一个能够把文本提示词变成电影级无人机航拍画面的视频模型，就是渲染器。Google 的 Genie 3 这类交互式系统也是渲染器；World Labs 自身的 RTFM 也是如此，它能够根据用户输入实时生成画面帧。此类模型并不一定拥有明确的三维结构理解。它生成的是“观看者会看到什么”，而不是“世界真实是什么”。从空中俯瞰，画面中的建筑也许完美无瑕；但一旦试图驾驶车辆进入画面中的城市，结构就可能马上崩塌。

第二类世界模型是模拟器（simulator）。模拟器输出的是状态，也就是在几何、物理或动态层面上可信的世界表征。人可以理解它，计算机程序也可以在其中计算和交互。渲染器的核心承诺是视觉效果，模拟器的核心承诺则是结构准确。它要求几何结构能够经得起检查，物理过程符合牛顿定律，动态行为按照世界应有的方式演化。模拟器同时服务两类对象。一类是建筑师、设计师、电影制作人、游戏开发者等人类专业人员，他们需要的不只是“看起来合理”，而是更高层次的准确性。另一类是强化学习智能体、机器人控制器、自动驾驶系统等计算机程序，它们把模拟器作为训练场，在其中大规模地与世界互动，测试那些在现实中危险、昂贵或难以执行的场景。

第三类世界模型是规划器（planner）。规划器输出的是行动。在给定观测和目标之后，规划器要回答的问题是：智能体下一步应当做什么？从某种意义上说，规划器与渲染器正好相反。渲染器以行动为输入，输出观测；规划器则以观测为输入，输出行动，从而闭合感知与行动之间的循环。视觉—语言—行动模型、基于模型的系统，以及新一代世界行动模型，本质上都是规划器的尝试：它们试图让系统能够判断机器人在非结构化世界中应当采取什么行动。

这三类模型基本覆盖了当前已经进入实际交付阶段的大部分能力。在实践中，将它们区分开来非常有价值。不过，这三类并不存在根本性的割裂。关于世界如何运行的底层知识——几何、物理、动态规律——同时支撑着三者。原则上，一个能够从任意角度渲染杯子的模型，也应当能够模拟杯子被推动之后会发生什么，并进一步规划一只手如何把杯子拿起来。越来越多前沿研究，正在主动模糊这三类模型之间的边界。

为什么模拟是关键环节

在这三类模型中，模拟器受到的公众关注最少，却最具决定性意义。本文正是想讨论这种不对称。

渲染器是目前商业化程度最高的一类。一批图像生成或文本生成视频产品正在消费级市场和企业级市场快速扩张。Google 的 Nano Banana 模型已经把接近渲染器水准的图像生成能力带给了潜在数亿用户。这项技术是真实的，市场也是真实的。但渲染器优化的是视觉可信度，而不是物理准确性。这个上限非常关键。它们的输出可以很美，却不能被用来严肃地设计建筑，也不能被信任地用于训练机器人。

规划器最令人兴奋，也最处在早期阶段。它与快速发展的机器人学习领域紧密相关。过去两年，机器人领域出现了不少在视频中看起来很惊艳的演示。但我们也必须坦率地指出，这些演示真正证明的内容非常有限。几乎所有演示都发生在高度受控的实验室环境中，物体集合很窄，任务周期很短。它们尚未在真实部署所要求的复杂度、变化性和持续时间上得到验证。一个吸引人的演示视频，距离一个能够在厨房、仓库或手术室中可靠工作的机器人，仍然相距甚远。尽管如此，商业投入已经非常庞大。一批资金充足的新进入者正在竞相推出通用规划系统，大型基础设施公司也在更广泛的模拟技术栈之上布局规划能力。能够规划的机器人，才是真正能够工作的机器人。整个行业都在争夺率先实现这一目标的位置。