AstraNav-World: World Model for Foresight Control and Consistency
Published:
个人小结
也是工作量极大的一篇工作，我其实比较惊喜的是在训练的时候仅用Lora就可以很快的学习来自VLA的planning特征，并且能够实现视觉预测和动作预测的高效统一。并且在结构上SkyReels-v4也有使用我们类似的MMFCA的方法，个人感觉在结构上，我们的模型还是比较超前的，并且里面也有非常多的小细节，后面可以细细描述一下。
另一个惊喜是泛化性能是真的挺好，绝对超过VLA！可以看论文里的proj页面。
摘要
针对开放动态环境下具身导航对世界演化和动作展开精准前瞻的需求，本文提出端到端世界模型 AstraNav-World，将未来视觉状态与动作序列推理融入统一概率框架。该模型融合扩散视频生成器与视觉语言策略，通过双向约束实现视觉预测的可执行性和决策的物理一致性，有效缓解解耦式流程的累积误差。实验表明，模型在各类具身导航基准中提升了轨迹精度和任务成功率，且在真实世界测试中展现出优异的零样本适配能力。
方法 / 内容主体
1. 问题定义
聚焦开放动态环境下的具身导航问题，目标是让具身智能体精准预测未来多步视觉状态，并生成与预测视觉匹配、物理可行的动作轨迹，实现前瞻控制与环境演化的一致性，解决传统解耦方法累积误差、泛化能力弱等问题。
2. 解决思路 / 理论推导
提出 AstraNav-World 端到端世界模型，核心思路：
- 多模块融合架构：整合扩散基视频生成器与视觉语言策略，支持预测场景和规划动作同步滚动更新；
- 双互补训练目标：
- 动作条件下的多步视觉预测
- 基于预测视觉推导可行动作轨迹
- 双向约束机制：使视觉预测具备可执行性，动作决策锚定在物理一致、与任务相关的未来场景，从根源缓解累积误差。
3. 实验设置
- 在多样化具身导航基准数据集上验证轨迹精度、任务成功率；
- 设计消融实验验证各核心模块必要性；
- 采用零样本设置：仅在仿真数据训练，不微调直接迁移到真实导航场景，测试泛化能力。
4. 结果与分析
- 基准实验：AstraNav-World 在各类具身导航基准中显著提升轨迹精度与任务成功率；
- 消融实验：移除视觉-动作耦合或统一训练框架后，视觉预测质量与策略可靠性明显下降；
- 真实世界零样本：模型无需真实世界微调即可适配未见场景，证明学到可迁移的空间理解与导航动态。
总结与展望
主要收获
- 提出 AstraNav-World 统一框架，实现前瞻视觉与动作控制深度耦合与同步推演；
- 设计双互补训练与双向约束，提升预测可执行性与决策物理一致性；
- 在仿真与真实世界零样本场景均取得优异性能，突破传统模型泛化瓶颈。