这项由加州大学圣地亚哥分校（UCSD）主导的加州决方研究成果已于2026年6月25日以预印本形式发布，论文编号为 arXiv:2606.27326v1，大学答案归属于计算机学习领域（cs.LG）。圣地世界读者可通过该编号在arXiv平台获取完整论文详情。亚哥

AI“幻觉”的分校深层危机

想象一位自称能预测未来的“聪明朋友”。当你告知他棋局现状并询问某步走法后果时，模型他给出了逻辑严密却完全虚构的为何答案，且对此毫无察觉。说谎的和解这正是加州决方当前人工智能中世界模型（World Models）面临的核心困境。

世界模型旨在理解环境并预测未来状态，大学答案广泛应用于游戏AI、圣地世界机器人控制及自动驾驶等领域。亚哥通过输入当前画面与操作指令，分校模型能“想象”下一秒的模型情景，从而在无需真实试错的为何情况下模拟无数可能，优化决策。

然而，这类系统存在隐蔽缺陷：幻觉（Hallucination）。生成的画面看似流畅合理，实则违背物理规律。例如，球出界后模型可能“幻觉”其神奇回场，或将陌生迷宫替换为记忆中的旧布局。最危险的是，这些错误以“自信且流畅”的方式呈现，难以被察觉，却可能导致系统做出灾难性决策。

UCSD研究团队旨在系统性解答：幻觉根源何在？能否提前预测？如何根治？

一、构建基准：MMBench2数据集

研究幻觉需大规模、多样化且真实的数据环境。现有数据集往往规模小、缺乏真值或场景单一。为此，团队创建了全新数据集 MMBench2。

数据规模与维度

• 体量：65,600条轨迹，折合427小时视频，共2300万帧（224×224像素彩色图像）。
• 覆盖范围：涵盖210个控制任务，包括机器人抓取、迷宫导航、跷跷板平衡、双足行走等。
• 领域跨度：横跨DMControl、Meta-World、ManiSkill3、MuJoCo、Box2D、RoboDesk、OGBench、MiniArcade及Atari等10大领域。
• 控制复杂度：控制维度从1维至16维不等，涵盖简单方向控制至多关节协同。

行为多样性

区别于仅包含“专家策略”的传统数据集，MMBench2引入了多元行为模式：
1. 专家策略：高质量示范数据。
2. 随机策略：完全随机操作。
3. 无操作数据：全程零输入。
4. 噪声混合数据：专家策略叠加噪声。
5. 好奇心驱动数据：基于探索机制生成。
6. 人类游玩数据：1400条真实人类键盘操作记录。

训练与测试划分

• 训练集：200个任务。
• 测试集：10个完全封存的“未见任务”，用于评估模型在陌生场景下的泛化能力。

二、模型架构：Dreamer 4 视觉世界模型

团队基于先进的 Dreamer 4架构，训练了一个拥有 3.5亿参数的视觉世界模型。该模型采用“压缩—预测—还原”流水线，包含两大核心模块：

1. 视频分词器（Tokenizer）

• 功能将224×224图像压缩为64×64维紧凑编码（数值范围-1至1）。
• 机制：图像被切分为256个14×14像素方块，结合64个查询向量进行编码。
• 训练策略：采用掩码重建技术，随机遮蔽0%-90%的方块，迫使模型学习图像深层结构而非像素记忆。

2. 动力学模型（Dynamics Model）

• 功能：作为推理引擎，根据当前视觉编码与动作指令，预测下一时刻的视觉编码。
• 架构：参数量2.5亿，采用块因果Transformer结构。
• 训练技术：使用快捷流匹配（Shortcut Flow Matching），推理仅需4步即可生成下一帧，显著提升速度。
• 附加模块：包含奖励预测头（估计动作回报）与行为克隆头（模仿策略）。

三、幻觉的三种形态

研究团队将世界模型的幻觉归纳为三种类型，分别对应流水线中的不同环节：

1. 感知幻觉（Perceptual Hallucination）

• 环节：压缩环节（分词器）。
• 表现：遇到陌生场景时，模型强行将其映射为记忆中最相似的已知场景，导致细节错误（如将新迷宫替换为旧迷宫）。
• 后果：错误在流水线起点产生，后续预测基于错误基础累积，导致严重偏差。

2. 动作边缘化幻觉（Action Marginalization）

• 环节：动力学预测环节。
• 表现：模型忽视动作指令，无论输入何种操作，均预测“最平均、最可能”的未来状态。
• 后果：模型退化为普通视频生成器，丧失“可控性”这一核心能力。
• 检测：随机打乱动作标签，若模型预测无显著变化，即证实存在此幻觉。

3. 场景发散幻觉（Scenario Divergence）

• 环节：长序列预测环节。
• 表现：多步预测中误差叠加，导致物理上不可能的事件（如球出界后瞬移回场）。
• 成因：训练数据在特定状态区域覆盖不足，模型在“偏僻”状态空间缺乏可信度。

四、根源分析：数据覆盖不足

研究提出统一解释框架：所有幻觉本质源于训练数据在特定区域的覆盖不足。

• 类比：如同厨师若缺乏某道菜（如新疆大盘鸡）的训练案例，遇到时会错误地将其做成“融合版辣子鸡”。
• 实证：通过绘制“状态密度图”与“幻觉程度分布图”，发现两者呈互补镜像关系：数据稀疏区幻觉严重，数据密集区预测准确。这一规律在所有测试任务中高度一致。

五、实时检测：三种幻觉预测信号

团队开发了三种无需额外训练或标注的运行时幻觉检测信号，构建“自我诊断系统”：

1. 分词器往返残差（$u_r$）

• 原理：预测下一帧编码 -> 解码为图像 -> 重新编码。
• 指标：若预测画面偏离分词器“舒适区”，重新编码后的残差将显著增大。
• 针对：感知幻觉。

2. 流不稳定性（$u_f$）

• 原理：监测流匹配生成过程中的中间步骤稳定性。
• 指标：若条件信息不足，模型预测会在步骤间摇摆不定。
• 针对：动作边缘化幻觉。

3. 跨种子方差（$u_s$）

• 原理：使用不同随机种子多次运行同一场景/动作。
• 指标：若结果差异巨大，说明模型认知极不确定。
• 针对：场景发散幻觉。

信号优化与验证

• 归一化处理：引入“运动归一化”，消除剧烈运动对信号的虚假干扰，使信号反映“相对于场景复杂度的不确定性”。
• 验证结果：
• 与预测误差（PSNR）的斯皮尔曼相关系数约为 -0.80（强负相关）。
• 在二元幻觉分类任务中，AUROC均超过 0.87，显著优于基线指标。

六、治理方案：两条干预路径

路径一：覆盖感知训练（训练阶段）

• 问题：原有按帧均匀采样导致长任务（如Atari）主导训练，短任务（如ManiSkill3）被忽视。
• 改进：改为按任务均匀采样，确保每个任务获得同等训练机会。
• 效果：
• 重建图像PSNR提升 0.44 dB。
• 动作敏感度提升 0.29。
• 多步预测质量提升 0.88 dB。
• 三种幻觉信号显著下降。

路径二：针对性数据收集（运行阶段）

• 场景：面对完全未见的新任务，重新采样无效。
• 策略：利用幻觉信号作为“好奇心奖励”，引导AI主动探索高不确定性区域。
• 流程：
• AI在脑海中模拟多条轨迹。
• 选择幻觉风险（$u_r$）最高的轨迹进行真实执行。
• 收集稀缺数据用于微调。
• 对比结果（10个未见任务归一化得分）：
• 好奇心驱动：0.325（约专家策略的90%，无需人类示范）。
• 专家策略：0.362。
• 组合策略：0.390（超越单一专家策略，证明数据多样性价值）。
• 随机/零输入：0.228 / 0.163。

七、工程实践：专用 vs. 通用分词器

研究对比了专用分词器与通用视频分词器（如Stable Diffusion SD-VAE-MSE、NVIDIA Cosmos、阿里Wan 2.1、DC-AE）的性能：

结论：
* 通用分词器：泛化能力强，适合作为无新数据时的“保底方案”。
* 专用分词器：在目标领域微调后，性能全面超越通用方案。
* 建议：若有少量目标领域数据，务必对专用分词器进行微调。

八、局限与展望

局限性

1. 规模限制：结论基于3.5亿参数模型，更大规模模型（数十亿参数）规律尚待验证。
2. 环境差异：实验均在仿真环境中进行，真实世界的传感器噪声、部分可观测性及物理摩擦等挑战需进一步研究。
3. 计算成本：预训练需8块NVIDIA H100 GPU运行约38天。

核心启示

研究重新定性了“幻觉问题”：根源不在于模型架构或参数规模，而在于数据覆盖范围。
* 范式转变：从“堆叠参数”转向“扩大数据覆盖”。
* 价值主张：通过智能采样与针对性数据收集，以低成本实现高性能提升。
* 自主探索意义：AI通过“知道自己不知道什么”并主动填补空白，可达到接近人类专家的水平（50条轨迹达专家90%性能）。

资源获取

• 论文：arXiv:2606.27326v1
• 项目主页：nicklashansen.com/mmbench2
• 开源内容：数据集、代码、模型权重及交互式世界模型浏览器界面。

Q&A

Q1：世界模型的幻觉与大语言模型（LLM）的幻觉有何区别？
A：LLM幻觉表现为生成事实错误的文字（如编造历史事件）；世界模型幻觉则表现为生成违背物理规律的视频画面（如球出界后瞬移）。世界模型幻觉危害更大，因其直接指导机器人或游戏AI的行动，错误预测会导致真实的物理错误行为。

Q2：MMBench2数据集中的“未见任务”有何用途？
A：210个任务中，200个用于训练，10个完全封存用于测试。这10个任务旨在评估模型在完全陌生环境中的泛化能力，而非记忆能力，是评估好奇心驱动探索效果的关键基准。

Q3：好奇心驱动的数据收集为何无需人类示范即可接近专家水平？
A：该策略核心在于让AI主动探索“最不确定”的区域（即幻觉风险最高处）。通过模拟轨迹并选择最困惑的路径进行真实执行，AI能精准收集高价值新数据。这种“哪里弱补哪里”的策略无需知晓具体任务目标，仅需识别“陌生感”，因此无需人类示范即可达到专家水平的90%。