作者团队背景
本文第一作者为北京大学王选计算机研究所博士生高嘉怿，图像提出通讯作者为博士生导师刘洋。编辑北该团队在 TPAMI、进入交互t基纠错CVPR、理解ICCV、时代ICML 等顶级学术会议及期刊上屡获殊荣，准SE自多次夺得多模态感知与生成竞赛冠军，框架并与国内外顶尖高校及科研机构保持紧密合作。图像提出

核心成果
本文重点介绍团队最新研究成果：《Taming I2V models for Image HOI Editing: A Cognitive Benchmark and 编辑北Agentic Self-Correcting Framework》。

针对复杂的进入交互t基纠错人-物交互（Human-Object Interaction, HOI）图像编辑任务，本研究提出两大核心贡献：
1. HOI-Edit 基准：首个层级化认知评测基准，理解系统评估模型在基础交互编辑、时代上下文空间理解、准SE自因果与物理推理三大维度的框架能力。
2. SCPE 框架：一种基于智能体的图像提出自纠错框架，解决传统全局指标难以验证“具体人与物体是否真正正确交互”的痛点。

创新亮点
* HOI-Eval 自动评测协议：基于成对区域 Grounding，通过目标区域关联、身份一致性验证及交互/合理性问答，实现更可靠的自动化评估。
* I2V 模型赋能：发现图生视频（I2V）模型天然适合重构动态交互过程。SCPE 框架利用视频生成过程暴露失败原因，通过“分析-反思-工具书更新”的迭代机制，显著增强 I2V 模型在复杂 HOI 编辑中的准确性与推理能力。

该研究已被 ICML 2026正式接收，相关数据集与代码已开源。

论文信息
* 标题：Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework
* 论文链接：https://arxiv.org/abs/2606.19073
* 代码链接：https://github.com/oceanflowlab/HOI-Edit
* 项目主页：https://andyplus1.github.io/HOIEdit_page/

从“改像素”到“改交互”：图像编辑的新挑战

传统指令式图像编辑在修改颜色、风格或物体属性等静态内容上已相当成熟。然而，当指令升级为 “拿起桌上的苹果”、“把碗放下”或 “清理扶手箱内部”时，任务性质发生了根本变化。模型不再仅进行局部重绘，而是需要深入理解人与物体之间的动态交互关系。

核心难点

此类任务要求模型同时满足多重约束：
1. 身份保持：确保人物和物体的身份不被篡改。
2. 空间指代：准确理解场景中的空间关系。
3. 过程推理：推理动作发生的过程及物理后果。

例如，面对多个相似工具时，模型需精准选择目标；执行“清理扶手箱”指令时，需先完成“打开扶手箱”的前置动作。这些能力远超普通静态属性编辑范畴。

现有局限

现有基准常将 HOI 与普通属性修改混淆，且依赖 CLIPScore 等全局相似度指标，无法回答两个关键问题：
* 目标人物和物体是否被准确保留？
* 二者之间的交互是否真实发生且符合上下文逻辑？

为解决这一空白，本文构建了从评测到优化的完整链路（如图 1 所示），核心特性如下：

1. HOI-Edit 层级化认知基准：覆盖基础交互、空间理解、因果推理三类能力，系统刻画模型认知层级。
2. HOI-Eval 自动评测指标：引入成对区域 Grounding，通过关联、验证和问答，解决交互真实性判断难题。
3. SCPE 自纠错框架：利用 I2V 模型的过程可诊断性，将错误定位至轨迹偏移、步骤缺失或物理不合理，并通过反思与工具书更新形成闭环，迭代提升编辑能力。

图 1 核心贡献概览
* (A) HOI-Edit：首个覆盖 3 个认知层级的 HOI 编辑基准。
* (B) HOI-Eval：验证 HOI 正确性的全新自动评测指标。
* (C) SCPE：优化 I2V 模型 HOI 编辑能力的代理式自纠错框架。

层次化人物交互编辑评测：HOI-Edit 数据集

图 2 HOI-Edit 层级化认知评测示例
基准从基础交互编辑、上下文空间理解、因果与物理推理三个层次系统评估 HOI 图像编辑能力。

HOI-Edit 突破了传统评测仅关注“视觉相似度”的局限，转而考察模型对目标对象、交互动作、空间关系及因果物理过程的深层理解。

1. 三层认知评测体系

如图 2 所示，HOI-Edit 将任务拆解为由易到难的三个层级：

• L1 基础交互编辑：关注交互关系的创建、移除与修改。要求模型在改变动作的同时，严格保留原图中人物和物体的身份。
• L2 上下文空间理解：考察对场景空间关系的理解。例如，在多个相似物体中精准选择目标，或将动作结果放置于正确位置。
• L3 因果与物理推理：要求模型推理事件因果链及物理后果。例如，必须先完成“打开扶手箱”等前置动作，才能生成符合物理规律的结果。

2. 细粒度数据构建

如图 3 所示，HOI-Edit 通过上下文感知指令设计、系统化区域标注及多维问答构造，构建了包含 357 个 L1、202 个 L2、146 个 L3样本的评测集合（见图 4）。该设计将具体人-物对、动作状态、空间约束和过程合理性纳入统一评测，避免了粗粒度的“像不像”判断。

图 3 HOI-Edit 数据构建与 HOI-Eval 评测流程
涵盖从上下文感知指令设计、区域标注、多维问答构建，到基于成对区域的身份验证、交互判断与合理性评估。

图 4 HOI-Edit 数据分布与交互类别统计
左图展示 L1/L2/L3 样本在任务子类中的分布；右图展示评测集合覆盖的主要交互动词类别。

3. HOI-Eval 评测逻辑

HOI-Eval 的核心在于让评测模型 “带着目标区域思考”，流程包括：
1. 目标区域关联：基于原图人物、物体及辅助区域，在编辑后图像中建立对应关系，定位评测目标。
2. 身份一致性验证：分别检查人物和物体身份是否一致，防止目标被误改或丢失。
3. 交互与合理性问答：针对交互发生情况、动作到位程度、空间位置、步骤完整性及物理合理性设计针对性问答。

相比全局相似度指标，该方法有效避免指代歧义，更贴近人类对 HOI 编辑成功与否的判断标准。

基于过程的自纠错：代理式闭环优化用于交互编辑

图 5 SCPE 框架流程图
Generator、Analyzer、Reflector 与 Curator 四类代理围绕工具书形成闭环，将失败视频中的过程线索转化为可复用的提示优化经验。

SCPE（Self-Correcting Process Editing）是一种面向复杂 HOI 编辑的代理式自纠错框架。其核心洞察在于：I2V 模型生成的连续视频不仅包含最终帧，还记录了从接近目标、执行动作到形成结果的完整过程。

这意味着，失败不再是最终图像的“黑盒”，而是可以通过视频轨迹被观察、分析和修正。SCPE 并非简单地进行一次性 Prompt 增强，而是利用 I2V 的动态交互线索定位失败原因。例如，若模型本应拿起最右侧凿子却抓向中间凿子，视频轨迹直接暴露了“优先选择最近物体”的失败模式，为后续优化提供依据。

SCPE 四大智能体组件

1. Generator（生成器）：根据输入图像、原始指令和工具书，生成细化的视频提示。
2. Analyzer（分析器）：采样视频帧，诊断生成失败的具体原因。
3. Reflector（反思器）：将单个失败案例提炼为一般性经验。
4. Curator（策展人）：将提炼的经验增量写入“工具书”。

在下一轮生成中，Generator 调用更新后的工具书，显式强调目标对象、动作轨迹、前置条件和物理后果，从而减少同类错误。这种机制将个例经验沉淀为跨样本策略，不仅优化当前样本，更提升了后续复杂交互编辑的稳定性。

性能与泛化双提升：SCPE 的实验验证

本文在 HOI-Edit 基准上，对开源图像编辑模型、闭源商业模型及 I2V 视频生成模型进行了系统评测。重点关注指标包括：
* 交互准确性 (I)
* 人物身份保持 (H)
* 物体身份保持 (O)
* 考虑合理性问题的交互成功率 (I+Q&A)

1. 主量化结果

如 表 1所示，SCPE 带来了稳定且显著的性能提升。相比原始 Wan 2.2 I2V 模型：
* L1 交互分数提升约 22%
* L2 约束成功指标提升约 26%
* L3 约束成功指标提升约 22%

SCPE 在多个关键指标上超越了闭源强基线，证明其不仅能让动作“发生”，更能确保动作发生在正确的对象、位置和合理过程中。

表 1 HOI-Edit 主量化结果
对比不同模型在 L1/L2/L3 任务上的交互准确性 (I)、身份保持 (H/O) 及合理性成功率 (I+Q&A)。

2. 可视化对比

如图 6 所示，SCPE 在复杂场景中表现出更强的稳定性和可控性：
* L1 场景：克服静态模型的编辑惯性和幻觉伪影。
* L2 场景：更准确地理解目标对象和空间位置。
* L3 场景：保持过程一致性与物理合理性，生成符合常识的中间步骤。

图 6 不同方法在 HOI-Edit 上的可视化对比
SCPE 能更准确地执行交互动作、理解目标对象和位置，并在复杂场景中保持过程与物理一致性。

3. 评测指标可靠性验证

如 表 2所示，HOI-Eval 与人工判断的相关性显著高于 DINOv2 和 CLIP 等全局相似度指标，验证了其作为细粒度评测工具的有效性。

表 2 HOI-Eval 与人工判断的一致性分析
验证 HOI-Eval 基于成对区域的问答式评测更贴近人类判断。

4. 消融实验与泛化能力

表 3展示了 SCPE 核心组件的贡献：
* 官方 Prompt Enhancer (OPE)：虽小幅提升交互分数，但导致身份分数下降（从 0.8494 降至 0.7385），表明盲目补充提示可能引入身份漂移。
* 去除工具书版本：I 提升至 0.7625，IDS 提升至 0.8786。
* 完整 SCPE：进一步达到 I=0.8199, IDS=0.8954，证明工具书的跨样本经验沉淀是性能提升的关键。

此外，SCPE 展现出良好的泛化能力：
* 接入 TurboDiffusion 后，在短推理时间内仍显著提升交互表现。
* 使用独立评测器或替换为 Qwen 工具书时，性能趋势保持一致。

这表明 SCPE 的优势不依赖单一主干模型或 VLM，而是源于“过程诊断 + 经验积累”的机制本身。

表 3 SCPE 消融实验结果
验证视频过程反馈与 Playbook 经验复用的作用。

总结：面向世界模型的交互编辑新基准

本文针对复杂人-物交互图像编辑任务，提出了涵盖评测、指标与优化框架的完整解决方案：

1. HOI-Edit 基准：构建了面向三层认知能力（基础交互、空间理解、因果推理）的层级化评测体系。
2. HOI-Eval 指标：引入基于成对区域的自动评测机制，推动模型评估从“全局相似度”向“细粒度交互正确性”转变。
3. SCPE 框架：实验证明，SCPE 能显著提升 I2V 模型在复杂 HOI 编辑中的表现，具备鲁棒性与泛化能力。

研究表明，视频生成结果提供的过程反馈与工具书中积累的交互经验，是推动模型从“结果修正”走向“过程自纠错”的关键。这一新范式为未来构建具备更强空间理解、因果推理和物理一致性的视觉生成模型奠定了重要基础。