meta fair 的 yann lecun 团队近期发布了导航世界模型（navigation world models，nwm），该模型能够基于单张图像生成连续一致的视频4 U G，并在已知和未知环境中执行导航和路径规划任务。 这R : M – 9 m ^ \ `与谷歌 deepmind 的 genie-2 模型类似，但更侧重于导航能力。 nwm 使用一种高效的条件扩散 tranz t KsfR 9 b $ xormer (cdit) 架构，即使参数量达到1x F j Q C V R {0亿，计算需求也相对较小p X y y g / & R Q。
NWM 的主要. F ( E ! [能力体现在以下几个方面：
-
已知环境轨迹追踪: 基于单张图像和给定的动作序列，NWM 能生成准确的连续视频，展现出良好的场景理解能力。（示例GIF见原文）
-
未知环境导航: 即使是在训练中从未见过的环境，NWM 也能根据输入动作预测后续图像帧，实现自主导航。（示例GIF见原文）
-
路径规划: NWM 可以与外部导航策略（如NoMaD）结合，对生成的轨^ ) d迹进行评估和排序，选择Q D U u 6最佳路径。（示例GIF见原文）
与其他模型相比，NWM 在视频一致性、稳定性和动作执行效果方面表现更出色。（示例GIF见原文）
NWM 的核心是其条件扩散 Transformer (CDiT)C B ? f f r = . 架构，通^ K e ) Z E T v过限制注意力机制并整合交叉注意力层，实现了; H D : 9 [高效的时间自回归建模。 研究团队在多个机器人导航数据集（如TartanDrive、RECON、HuRoN）上进行了实验，结果表明 NWM 在轨迹预测和导航规划方面达到O y z I = T了先] L G进水平，尤其是在结合外部策略进行轨迹排序时，性能更为突出。 此外，在未标注数据上的训练也提升了 NWM 在未知环境中的泛化能力，尽管仍存在一些局限性，例如在长时R k A R M ) z间预测中可能出现幻觉。 (具体实验结果和图表请参考原文)
论文链接：https://wwwX 2 % | W ^ A.php.cn/link/07193c44ba3be8df1f67e96110c2006e
项目链接：https://www.php.cj ` sn/link/ee0f35 s : t 4 \4b734215fee701a993776c2fae4
以上就Y . 1 | ( N n w (是LeCun团队新作：在世界模型中导航的详细内容！
原创文章，作者:【好易之】如转载请注明出处：https://www.zhengjiaxi.com/zxwd/itzx/120697.html
如有侵权，请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途，否则后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。
微信扫一扫 
