本文的主要作者来自上海交通大学智能机器人与机器视觉（irmv）实验室。本文第一作者是实验室硕士生刘久铭，主要研究方向为点云配准，雷达里程计，多模态融合，nerf/3dgs 渲染，3d生成等。曾在cvpr，iccv，eccv，aaai等会议发表论文多篇。1 J d % X 6 {
-
论文链接：https://arxivJ \ y 4 F Y 0 I v.a o | K to, F Y _rg/pdf/2403.18274
-
代码仓库：https://github.com/IRMVLk t n t 3 y w M sab/DVLO
，+ y J及其对应的来自一对连续帧的单目相机图像
，里程计目标是估计两个帧之间的相对位姿，包括旋转四元数和平移向量。 
，利用 [17] 中基于卷积的特征金字塔提取图像特征。其中，、是特征图的高度和宽度。C 是图像特征的通道数。
后，N j 2 B C ;首先将其重塑为伪点集合
，其中为伪点个R ^ V Y { F G #数。在这种情况下，图像具有与激光雷达点相同的数据结构，这有利于建立局部像素与点的对应关系，并进一步进行基于聚类的特征聚合。
进行双线性插值，e L U m F 0 D计算出中心特。
和伪点特征 的成对余弦相似度，将所有伪点划分为若干个聚类。在此，将每个伪点分配到最相似的聚类中心，从而得到 NE U * C / v T 个聚类。为了提高效率，按照 Swin Transformer，在计算相似0 6 0度时使用区域分割。
的计算公* 4 $ %式为：
和点（伪图像* B 8 V & j S N v）特征
之间引入了全局自适应融合机制。
的大小为。这一过程将原本稀疏的非结构化点重组为密集的结6 f & 4 d = , ! N构化伪图像，从而实现了下面的密集特征图与图像特征的融合。
和点特征，按以下方式进行自适6 ( R t / f J 1应全局融合：
和是点（伪图像）特征和局部融合特征的自适应权重，由 sigmoid 函数和 MLP 层获得。⊙表示元{ e q u # ) @ + D素与元素之间的3 7 8 I `乘积。然后，将全局融合特征
重塑为 N D 的大小，作为迭代姿态估计的输入。
和联系起来，利用+ i e [代价A & \ W w ? q Y卷生成粗嵌入特征
。嵌入特征包含两个连续帧之间的相关信息。
是可学习的掩码。是源5 X r R n P % t $帧中的全局融合特征。然后，通过对嵌入特征% ^ ]和 FC 层加权，生成四元数
和平移向量：
和平移矢量的计算公式为：
和可根据论文中的公式在最粗糙层中通过类似过程获得。
和将用于计算监督损失。第 l 层的训练损失函数为：
和4 w ] * z v
是可学习的标量，用于缩放损失。和 分别是 L1 和 L2 准则。那么，总训练损失为
是代表第 l 层权2 v h重的超参数。
表 3：T C 7 B T { J = I在 KITTI 09-10 序列上与基于学习的多! W M z _ { J Y模态里程计的比较。
以上就是ECC? \ =V 2024 oral | 首次基于深度聚类的多模态融8 h $ A 2合，上交、伯克利提= i 6 % ! * | i出双向结构对齐的融合网络s s R新SOT; ) + 0 B 6A！的详\ * P R 7 _ 2 y细内容！
本文由【好易之】整理自网络！
原创文章，作者:【好易之】如转载请注明出处：https://www.zhengjiaxi.com/zxwd/itzx/117482.html
如有侵权，请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途，否则后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。
原创文章，作者:【好易之】如转载请注明出处：https://www.zhengjiaxi.com/zxwd/itzx/117482.html
如有侵权，请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途，否则后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。
微信扫一扫 
