世界模型的理解
强化学习 POMDP 闭环：智能体→动作→状态→观测→智能体
当前三种“世界模型”的定义是以上闭环过程的三种投影
- 第一种“世界模型”可看作渲染器，以像素形式输出供人眼使用的观察数据，重视视觉的真实度。其典型代表包括谷歌的 Genie3 或 World Labs 的 RTFM；此类模型能根据用户输入实时生成图像帧，但不能理解三维结构，只是人类视觉层面的“世界”展示
- 第二种“世界模型”可看作模拟器，其输出的一种包含几何结构和物理定律的世界状态表示，而人类和程序都能在此基础上进行计算或交互。模拟器目前的主要应用场景是作为训练场，实现与世界的模拟交互，测试现实中危险、昂贵或无法运行的场景（智能驾驶或机器人控制）
- 第三种“世界模型”可看作规划器，在给定一个观察和目标后，规划者会输出下一步该做什么的动作。规划器也被称为 World Action Models，其典型应用是机器人在非结构化世界中的动作决策
以上三种分类的底层逻辑，是看“世界模型”的输出处于 POMDP 闭环的哪个环节；渲染器将动作作为输入并产生观测，而规划器则将观测作为输入并产生动作，模拟器将根据观测和动作，更新状态
当前三种类型的“世界模型”的现状（2026-06）
- 渲染器在商业上是最成熟的，图像/文本转视频的市场正处于蓬勃发展的状态，深刻影响到了影视、游戏和艺术创作等领域的制作方式和业态。渲染器重视视觉的可信度，但对物理的准确性有所忽略
- 规划器仍处于发展的早期，与机器人学习/具身智能领域关系密切，所以其前景和潜力也值得看好；但规划期在当前阶段的研究仍被限制在高度受限的实验室理想环境下，距离落地和商业化还有一段距离
- 模拟器受到的关注度较少，但其影响却是最大的；模拟器作为渲染器和规划器直接的桥梁，需要实现对世界本身更完整的信息表示；模拟器应作为结构骨干，可以用于视觉上的渲染推理，也能评估动作的影响
模拟器的领域难点
- 缺少标注足够丰富（几何结构/材料属性/物理注释等）的三维数据用于训练
- 模拟器的输出与现实情况依然存在差异，并可能导致物理现象的荒谬
建立统一的世界模型
- 需要更丰富新颖的输入输出和训练结构，来打破渲染器、模拟器和规划器间的界限
- 建立一个功能全面的基础世界模型，能够渲染画面，服从物理和几何规律，进行动作规划和决策，并根据下游的消费者需求，在不同输出模式（动作/状态/观测）之间切换
- 三个方向都独立推动并塑造数十亿美元的产业，并在未来产生合力从而塑造更伟大的事物；大语言模型只是机器参与谈论世界的方式，而世界模型才是机器最终理解、想象、推理并与之互动的方式
本小节内容主要参考自 《A Functional Taxonomy of World Models》
世界模型的启示
三种类型的“世界模型”虽然输入和输出的形式差异较大，但其本质都在于尝试理解世界的运作方式，包括几何、动物、动力学等信息，因此也可以看作是三位一体的。
画虎画皮难画骨
- 古代艺术家擅长捕捉外在形态、光影和纹理，却因为对内在骨骼结构、肌肉张力存在认知局限，最终的画作也往往流于表面，因而许多画虎大师的作品常被人诟病“形似而神不似”。近现代艺术绘画者则吸取教训，在学徒截断就对生物的肌肉和骨骼进行系统学习和临摹，并得以绘制出很多“神形兼备”的优秀作品
- 从大语言模型的角度来看，这个逻辑可能是不成立的；大语言模型的训练过程是对海量文本和多模态数据的统计建模，其通过对“皮”的海量模仿、调试和反思，从而在参数空间中形成了对“骨”的结构感知。不可否认，当人类也进行如此多的重复练习后，也是可能实现“由皮到骨”的彻悟，但其中的时间成本和精力投入太大
- 而对于世界模型来说，到底是应该先进行海量的画皮练习，还是先研究和理解肌肉骨架，依然是悬而未定的。但是不妨碍人类在当下阶段双管齐下，渲染器是在画皮，重视视觉上的真实还原；模拟器则是在画骨，通过分析结构上支撑；最后以三位一体的思路来打通揉碎，建立一个更为完整统一的世界模型
知人知面不知心
- 心智隐私是社会合作的必要机制，同时也带来永恒的不确定性；以史为鉴，有太多背叛、欺骗和谎言穿插在人类历史的长河中，或许这暗喻着人类社会中长期存在的信任困境是无法消除的。而“言行一致”不仅是一种宝贵的人格品质，也说明仅靠语言建立的信赖关系可能是有些脆弱的
- 从大语言模型的角度来说，这个逻辑可能是不成立的；大语言模型在训练和学习中积累了大量心理语言模式，因此能通过上下文推断用户意图、情感状态甚至潜藏动机；但大语言模型所能读懂的“人心”依据是有局限的，并不能代表真实的主观体验，还可能掺杂着“幻觉式共情”或数据偏差导致的误判
- 而对于世界模型来说，做到这一点可能反而比大语言模型简单，毕竟“读懂世界的心”可能会比“读懂人心”容易一些，当前阶段的世界模型的难点还是在于高质量的训练数据或者更新颖的训练方法，未来的世界模型在整合足够多的世界信号，或许能实现一定程度的反事实推理和未来预测
“读懂世界的心”的难点
- 对于世界的表征和理解来说，有很多复杂而确定的规律（物理/几何/动力学）可学习。不过受限于当前的模型架构和训练机制，AI 学习和理解这类高确定性复杂规则的难度其实是高于人类的
- 此外，一个完整的世界除了核心的万物规律之外，也会有很多复杂而混沌的细节（气象/涡旋/生态循环/生化反应），这都会是影响未来世界模型持续进化的阻塞点
人类与 AI 的进化之道
- 由皮到骨可能对人类来说是笨方法，但对于不怕重复和低效的 AI 来说则不一定，只要每次努力都获取一定的成长或回报，AI 就能通过大量的重复实践和总结反思，从而达到人类未曾设想到的高度
- 对于脑力和时间有限的人类来说，其学习的目标是如何在有限的练习过程中，尽可能多地掌握更多的知识，而抽象、反思和传承就是其中的精髓；（1）抽象能让人类拨开事物的表象，通过更本质的规律以点带面，构建出无形但有结构的知识图，来捕捉到更多事物的共性（2）反思则是对知识图局部的持续维护与修补，哪怕这份局部知识只是世界的冰山一角，哪怕这种探索与求知最后走向了死胡同，那依然会点亮了原本暗淡地图的一角（3）传承让人类得以站在巨人的肩膀上看世界，个体的知识火炬只能照亮一小片黑暗，但连成片的火炬将照亮更多的大地和天空，人类也会看到更远处的风景
- 积硅步，至千里，这是属于 AI 的成功之路。AI 的成长过程是一个不断从量变到质变的连续过程，或许其最终也将在反复的质变和涌现过程中掌握更深层的学习能力，从而实现自我递归改进，促进技术的指数级增长，并带动人类社会往更高层的跃迁和进化
- 格物致，传道远，这是属于人类的智慧火光。人类社会的发展过程，时而克制且持续，时而剧烈且短暂， 而 AI 既有的技术影响力已经达到了非常高的量级，其终将渗透落实到社会的各个方面；人类当下需要做好的应该是，进行更快的社会结构和生产关系的转型来拥抱 AI；建立新的社会保障和监管机制，来降低这次技术大爆炸对当前社会和时代的负面影响，阵痛之后，即是未来
千万次画皮，终得皮中骨；亿万次识人，自辩人世心。
论文扩展阅读：