李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

不百分百还原出虚拟场景，效果反而更好。

我们很多人都听说过数字孪生（digital twin），在英伟达等公司的大力推动下，这种高效运营工作流程的方法已经在很多工业场景中得到应用。

但你听说过数字表亲（digital cousin）吗？

近日，斯坦福大学李飞飞团队就做n t . ^ @ 6 S x出了一个这样b $ r ] ? c的研究，其可有效地将真实数据变成适用于机器人学习的模拟数据 —— 在降低真实转模w N w * g } z 0拟成本的同时还能提升学习的泛化性能。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

简单来说，你只需拍一张照片，就能将照片中的物体变成虚拟版本，并且这个数字虚拟版本还不是照片中物体的一比一复刻，而是存在一定的变化。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

我们知道，在真实世界中q 6 9训练机器人并不安全，而且成本很高，难以大规模扩展。这就是模拟的用4 ` z . # P $ d武之, 1 , \地，其成本低，并且可以源源不断地获取训练数据。但是，模拟的问题也很明显，模拟环境和真实环境总归不一样，存在含义和物理机制上的差异。

为了解决a 7 0 `这种差异，数字孪生的概念诞生了J ! !。简单来说，数字孪生就是为真实场景构建一个虚拟副本，但其K 3 T $ w k t成本很高，并且难以实现跨域泛化。

为了解决这些局限，李飞飞团队提出了数I v # G I s字表亲（digital cousin）的概念。不同于数字孪生，数字表亲并不是真实物体的虚拟对应，而只是具有相似的几何和语义特质和属t 8 5 8 b 3 J @性。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

论文标题：ACDC: Automated Creation of Digital Cousins for Robust Policy Learning
论文链接：http= N P 3 8s://arxiv.org/{ } X ~ 0 ; nabs/242 3 _ l % 8 ( 610.07408
项目地址：https://digital-cousins.github.io/

如此一来，数字表亲既能降低生成相似的虚拟环境的成本，还能通过提供相似训练场景T K 4 b 0 !的分布而实现更好的跨域泛化。基于数字表亲，该团队提出了一种用于自动创建数字表亲的全新方法，该方法就叫做自动数字表亲创建（AutomaticCreation ofDigitalCousins），简称 ACDC。

他们还提出了一种全自动的「真实→虚拟→真实」流程，可用于生成完全可交互的场景以及训练可以零样本方式部署在原始场景中的机器人策略。

结果表明! : – – w ,，ACDC 得到的数字表亲可以成功保留几何与语义特质和属性，同时训练得到的机器人策略也优于使用数字孪生得到的策略：在零样本虚拟→真实迁移条件下，能以 9H = 5 , ` j 60% 的成功率胜过数字孪生的 25%。

方法概M M w U V B N X M述

ACDC 由三个连续步骤构成：

首先，从输入的 RGB 图像中提取出每个物体的相关信息。
接下来，基于一个资产数据集，使用该信息M J \来为每| ^ a $ ! l个检测到的输入物体匹配数字表亲。
最后，对选取的数字表亲进行后处理，生成一个完全可交互的模拟场景。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

实验

该团队进行一系列实验，试图解答以下研究问题：

问题 1：ACDC 能否得到高质量的数字表亲场景？给定一张 RGB 图像，ACDC 能否捕获原始场景中固有的高层级语义和空间细节？

问题 2：当在原始设置上进行评估时，基于数字表亲训练得到的策略能否与基于数字孪生得到的策略相媲美？

问题 3：相比于基于数字孪7 + [ 6 C \ 5 ) T生训练得到的策略，基于数字表亲训练得到的策略是U = P Z Q A e q否更加稳健

问题 4：基于数字表亲训练得到的策略能否实现零样本「虚拟→真实」策略迁移

通过 ACDC 进行场景重建

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

^{在模拟 – 模拟场景中，ACDC 对场景重建进行定量和定性评估。}

其中，「Scale」是输入场景中两个d M J + %物体的边界框之间的最大距离。「Cat.」表示正确分类的物体与场景中物体总数的比例。「Mod.」显示正确建模的F E L ) K # j Y物体与场景中物体总数的比例。「L2 Dist.」提供输入和重建场景中边界框中心之间的欧几里得距离的平P 5 2 q B 2均值和标准差。「Ori.( ) # T p Q ] Diff.」表示每个中心对称物体的方向幅度差异的平均值和标准差。「Bbox IoU」表示资产 3D 边界框的交并比 (IoU)。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

^{定性 ACDC 真实 – 模拟场景重建结果。针对给定场景显示多个表亲。}

基于这些结果，我们可以放心地回答问题 1：ACDC 确实可以保留输入场景的语义和空间细节，K B I i Z P从单个 RGB 图像生成现实世界对象的表亲，3 O , L (这些表亲可以准确定位和扩展，以匹配原始场景。

使用数字表亲进行模拟 – 模拟策略学习

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

^{模拟-模拟策略结果。}

在精确孪生、不同数量的表亲和三个最近类别的所有资产上训练的策略的汇总成功率。策略在四种设置上进行测试：精确数字孪生和三种越来越不相似的设置（以 DINT R N f @ ` t n =Ov2 嵌入距离为衡量标准）以探测零样本泛化。请注意，对于任务 3，使任务可行的橱柜模型要少得多，因此这里仅比较+ [ B 4 a 6 2 } 3数字孪生和 8 个表亲的策略。

使用数字表+ . 2 X l a V G亲进行模拟-真实策略学习

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

^{数字孪生与数字表亲策略的零样本真实世界$ | ; ( _ p p评估。任务是打开宜家橱柜的门，衡量标准是成功率：模拟 / 真实结果在 50/20 次试验中取平均值。}

真实-模拟-真实的场景生成和策略学习

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

^{全自动数字表亲生成。ACDC 的无剪切视频完全自动执行，为真实厨房场景生成了多个数字表亲。ACDC 步骤 1 末尾的轴对] f 5 r *齐边界框无需加速即可做到可视化。}

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

^{零样本模拟到真实世界策略迁移。专门从上面生成的四个数字表亲训练的模拟策略，我们可以零样本迁移到相应的真实厨房场景。}

基于这些结果，我X | \ _ Y t们可以放心z F 6 % l 0 – 1 I地回答问题 2、3、4：与在数字孪生上训练的策略相比，使用数字表亲训练的策略表现出相当的分布内性能和更稳健的分布外性能H C Z =，并且可以实现零样本模拟到N \ L真实策略迁移。

李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

^{一些失败的案例。}

结论Y j M o \

作为一种全自动管道y ; J Z，A` + +CDC 用于快速生成与单个F 9 /现实世界 RGB 图像相对应的完全交互式数字表亲场景。我们可以发现，利用这些数字表亲训练的策略比在数字孪生上训练的策略更稳健，具有M . ) X T F 9可媲美的域内性能和卓越的域外泛化x 1 G h H D 6 K能力，同时也支持零样本模拟到现实的策略转移。

以上就是李飞飞：不要数字孪生，要数字表兄弟，一* | D 2张照片生成机器人训练场景的详细内容！

百度未收录

本文由【好易之】整理自网络！
原创文章，作者:【好易之】如转载请注明出处：https://www.zhengjiaxi.com/zxwd/itzx/118013.html
如有侵权，请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途，否则后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。