从「片段生成」到「长视频漫游」：OmniRoam探索轨迹可控的长视频生成新范式

在生成式视频快速发展的今天，模型已经能够生成高质量的短视频片段，但一个更具挑战性的问题正逐渐成为研究焦点：

如何生成长时间、可连续演化的视频序列？当生成从 “几秒” 走向 “长时序” 时，问题开始显现：视角变化带来的结构漂移、时间推进中的内容不一致，使得视频在空间与时间维度上难以保持稳定，往往 “走着走着就乱了”。

与此同时，如何让视频生成具备可控性，能够沿指定路径连续移动，也成为实际应用中的关键需求。

近日，来自 University of California, Irvine、University of California, San Diego、City University of Hong Kong、University of Pennsylvania 以及 Adobe Research 的研究者共同提出了 OmniRoam，一种面向轨迹可控长视频生成的新方法。

论文标题：OmniRoam: World Wandering via Long-Horizon Panoramic Video Generation

项目主页：https://yuheng.ink/project-page/omniroam/

文章链接：https://arxiv.org/pdf/2603.30045

代码链接：https://github.com/yuhengliu02/OmniRoam

该工作通过引入全景视频作为统一表示，并结合 coarse-to-fine 的分阶段生成框架，在长时序条件下显著提升了视频的空间一致性与时间连贯性，使模型能够生成沿指定路径连续演化的视频序列，迈出了从 “片段生成” 走向 “连续过程生成” 的关键一步。

一、轨迹控制的视频预览，先生成 “可控路径”

OmniRoam 首先生成一个中等分辨率的全景视频预览，用于确定整体路径与场景结构。

核心在于将相机轨迹拆解为 flow（方向）和 scale（步长）两个控制量：前者刻画运动方向，后者控制移动幅度，从而实现更清晰的轨迹建模。在实现上，模型将输入与目标视频在时间维拼接，并通过 flow 与 scale 进行条件调制，使生成过程既保持内容连续，又具备明确的路径约束。

二、长时序视频细化，从预览到高质量生成

在 preview 基础上，OmniRoam 进一步进行长时序细化生成。由于 preview 通常采用较大 scale（类似 “快进”），refinement 阶段会通过 scale 对齐，将视频扩展为更长、更接近真实速度的序列。

关键设计是 visibility mask：每个时间段只选取少量 preview 帧作为条件输入，在保留结构锚点的同时避免冗余。随后模型对各个 segment 进行高分辨率生成，并拼接得到最终长视频。

这种从 “全局预览” 到 “局部细化” 的过程，有效缓解了长序列中的误差累积问题。

三、新数据集与评测基准，支撑长视频生成

为支持该任务，OmniRoam 构建了专门的数据与评测体系。在表示上，文章定义了一个 canonical panoramic coordinate system，去除相机自旋转，仅保留平移，从而简化轨迹建模。数据方面结合真实与合成两部分：真实全景视频提供多样场景，合成数据提供精确轨迹监督，并通过路径规划保证运动合理性。在评测上，提出 loop consistency 指标，要求视频沿闭环路径生成后既能回到起点，又保持中间过程的合理变化，更好衡量长时序一致性。

四、实验结果一致性与可控性的显著提升

实验结果表明，OmniRoam 在画质、轨迹控制和长时序一致性上均优于现有方法。

在定性结果中，模型能够稳定沿指定路径生成连续视频，显著减少结构漂移与内容崩塌；而在定量指标上（如 FAED、SSIM、LPIPS 及 loop consistency），均取得更优表现。

进一步分析显示，全景表示与两阶段生成设计是性能提升的关键，使模型在长视频场景下依然保持稳定与可控。文章重点分析了在长视频（641 帧）条件下不同方法的表现，包括自回归生成与基于透视表示的方法。为了进一步分析长时序一致性，作者设计了闭环轨迹实验，并用 CLIP 相似度衡量模型是否能够 “走回原点”。理想情况下，随着相机逐渐远离起点，相似度应逐步下降；而在轨迹闭环时，相似度应重新上升。相似度在中段下降，在末尾重新回升，说明模型具备较强的长期空间记忆能力。

五、扩展与应用，从实时预览到 3D 场景生成

除了长视频生成能力，OmniRoam 还展示了在效率与 3D 任务上的潜在应用。

在效率方面，作者基于 self-forcing 机制，将完整模型蒸馏为一个轻量级自回归预览模型，实现实时视频生成。该模型在保持整体场景结构的同时，可在约 7 秒内生成 81 帧全景视频，相比原始模型显著加速，为交互式应用提供了可能。同时，还支持先生成低分辨率视频，再通过 refinement 模块提升至更高分辨率（如 720p）。

在 3D 应用方面，OmniRoam 生成的长视频可直接用于 3D 场景重建。作者从生成视频中均匀采样关键帧，并提取多个透视视角输入到 3D Gaussian Splatting（3DGS）中进行重建。实验结果表明，生成视频在不同视角间保持良好的一致性，能够恢复出结构连贯的 3D 场景。

这些结果表明，OmniRoam 不仅可以生成长时序视频，还能够作为上游模块，为实时交互与 3D 内容构建提供支持。

六、总结，长视频生成迈向 “可持续演化”

OmniRoam 的核心贡献，并不只是生成更长的视频，而是在长时序条件下，实现了更稳定、更可控的生成过程。通过全景表示提供全局空间约束，并结合 trajectory-controlled preview 与 long-horizon refinement 的两阶段设计，模型能够在长时间范围内有效抑制漂移，维持结构与语义的一致性。

这也反映出一个更重要的趋势：

视频生成的挑战，正在从 “生成更清晰的内容”，转向 “如何在更长时间内保持一致性与连贯性”。在这一背景下，OmniRoam 提供了一种可行路径，使生成模型能够沿指定轨迹持续演化，为长视频生成、虚拟漫游等场景奠定了基础。

如果说短视频生成解决的是 “生成一段内容”，那么长时序生成更关心的是 —— 模型能否在时间推移中持续 “记住并延续” 这个场景。

本文来自微信公众号 “机器之心”（ID：almosthuman2014），作者：机器之心，36氪经授权发布。