CONTENTS · 目录（6）
现在的模型已经能画出很漂亮的一帧。但让它连续改一张图，常常越改越坏；让它搭一个房间，东西越摆越乱；让它生成一段视频，镜头转回原来的地方，之前的状态已经不见了。这类问题也提醒我们留意两次生成之间的决策：下一步该看什么，从哪里接着做，什么时候停下，出了错怎么处理。
这篇导读借用我最近整理的一份报告的框架，按生成基础、二维、三维、视频与状态四段，读六篇工作。目的不是逐篇复述，而是把它们放到同一个问题下看：生成变成多步过程以后，由谁做决定，依据又是什么。
先把几个词分开
Agent 是做决策的主体。Harness 是组织状态、工具、预算、反馈和执行的那一层。Skill 是可以复用的操作知识。MCP 是连接工具的协议。一段写死的脚本也可以算作 Harness 的一部分。这四者都不是生成网络。
生成网络内部也有分工：VAE 负责压缩表示，DiT 是计算主干，Flow Matching 提供学习生成动态的一种训练方法。由此有一个容易被忽略的推论：把历史存下来，不等于模型会把它当作条件来用。存和用之间，还隔着一个需要专门设计的接口。
图：多步生成的一个概念闭环，仅用于说明思路，不代表任何实测流程或结果。
二维：从哪一张接着改
GenRevisit 把多轮编辑留下的历史图当作可以重新出发的起点，而不只是一份供查阅的记录。规划器要同时决定两件事：从哪一张图继续，以及怎么改。直觉上最新的或者分数最高的那张最适合接着改，但它们不一定最好修。另外要注意，作者的方案用到了 SFT 和 RL 训练，效果提升不能简单归功于"加了 memory"。
原文：Look Back to Move Forward: Learning to Revisit for Agentic Compositional Image Generation
三维：拿到了什么，会不会用
3DHarnessBench 设了四档信息条件：单视图、多视图、主动观察、完整几何查询。它的价值在于把"拿到了什么信息"和"会不会用这些信息"分开衡量。读的时候要留意，不同档位之间，权限、停止条件和调用预算是一起变的，所以不宜把它当作预算严格对齐的权限消融实验。
原文：3DHarnessBench: Probing Agentic 3D-to-Code Capabilities of Frontier Vision-Language Models
Code-as-Room 从一张顶视图出发，先得到结构化的场景和布局，再补几何细节，最后输出可以执行的 Blender 代码，各阶段之间保留记忆。VLM 的渲染反馈主要用在布局阶段，并不是每个阶段都在反复自我批评。它的产出是能渲染出来的静态场景，不等于在动态物理意义上已经"完成"。
原文：Code-as-Room: Generating 3D Rooms from Top-Down View Images via Agentic Code Synthesis
两篇合起来看，可以得到一个朴素的结论：三维表示应该按任务需要来选，从二维证据到轻量几何，再到显式的世界模型，按需增加复杂度，而不是默认越重越好。
视频与状态：记住的东西还对不对
NEWTON 把调用视频生成器当成规划器工具箱里的一个动作，和关键帧、计算、提示词、验证反馈并列。生成器本身不改，训练的是规划器。这也说明，物理上的一致性不是只改提示词就能换来的。
原文：NEWTON: Agentic Planning for Physically Grounded Video Generation
Lyra2 读取历史的办法是按几何覆盖做检索、按空间位置做对应，再配合自增强训练。它不是在外面挂一个 LLM 了事。它针对的是静态场景的探索，不能由此推断动态状态的问题已经解决。
原文：Lyra 2.0: Explorable Generative 3D Worlds
StateAgent 把对象的"是否存在""是否可见""与其他对象的关系"分开记录、分别更新，先构造出未来的结束帧，再生成接下来的片段。它已经带有判定旧证据过期（stale）的机制，可见"旧证据会失效"并不是一个新问题。
举个例子：杯子被人挪走了，颜色没变。历史帧能告诉你"这是哪只杯子"，却不一定能告诉你"它现在在哪"。身份和当前状态，可能要靠不同的证据来源。
留给自己的三个问题
- 存得多，还是选得对？ 历史越积越长时，真正起作用的可能是选择机制，而不是容量。
- 是真的变好了，还是只是多试了几次？ 如果不在相同预算、相同可用信息的条件下比较，就很难分清这两种情况。
- 换一个生成后端，要重训什么、适配什么？ Harness 和某个特定模型绑得越紧，就越难迁移。
以上提到的结果都是各论文作者自己报告的，本文未做复现。
延伸阅读
完整版 PPT（约 85MB）放在云盘：Agent Harness 报告。建议先看四段框架页，再按兴趣跳到对应论文。读原文时，先看实验设定里的预算和信息条件，再看结果。