本C k , 0 U ~文第一作者为上海科技大` 9 :学信息学院硕士生徐京伟和忆生科技的王晨宇，指导老师为香港大学的马毅教授和高盛华教授。王晨宇毕业于上海科技大学并获得工学硕士学位。其所在的忆生科技由马毅教@ L ( R ` c授于 23 年底创立，致力于t B @ v \ 4 . {打造完整、自主、自洽的机器智能系统。
计算机辅助设计（Computer-Aided Design，简称 CAD）软件是工业软件的重要分支，也是工业设计流程中的核心工` . s $具。然而，目前的 CAD 软件普遍缺乏简易的交互工具，这在一定程度上限制了未曾接触过 CAD 的用户尝试和探索的可能性。对于 CAD 建模从业者而言，多模态大模型技术的快速发展尚未j T y p P 9 H y充分转化为 CAD 领域实际应用的便利性和效率提升。如果能够通过多模态交互工具有效优化建模流程，提升效率、节约时间与精力，不仅可以进一步释放专业用户的创造潜能，还将为相关产U d c e d ^ X业的发展注入新的活力。
为应对这一挑战，项目团队构建了首个覆盖文本、图像和点云输入的多模态 CAD 数据集 Omni-CAD。该数据集致力于赋能多模态大语言模型，使其能够基于条件输入生成高质量的 CAD 模型。与此同时，针对 CAD 模型的拓扑质量、空间封闭性等核心属性，团队还设计了一系列创新的评估指标，为模B ) k型性能提供更全面的衡量标准。借助这一技术，用户只需输$ x V ` 9入简单的文本指令，或上传目标形状的图像，即可快速生成符合要求的 CAD 模型。这一突破不仅降低了非专业用户的使用门槛，激发了更多人参与 CAD 设计的兴趣，还为 CAD 建模从业者提供了高效可靠的工具支持。
论3 | 7 t K ( f文标题：CAD-MLLM: Unifying Multimo{ Z Y m k ] *dality-Conditionei O m + O rd CAD Generation With MLLM
论文地址：https://arxiv.org/pdf/[ E $ E 5 5 * *2411.04954
研究背景计算机辅助设计（CAD）S g J Q d ` ?技术通过数字化工具，帮助设计师创建、修改` L ?和优化复杂对象，广泛应用于工业设计与制造。但传统的流程较为复杂，对专业知识有较高要求，导致非专业用户难以参与设计。如何降低使用门槛，让非3 B X专业人士通过简单指令完成设计构想，已成为该领域亟待解决的挑战之一。尽管之前一些工作已经在探索 CAD 的生成任务，但这些方法抑或难以满足w , & t ~用户对交互设计的需求，抑或只能针对特定的输入进行生成，因此我们希望提供一个统一的框架能够处理不同或多种输入条\ 5 M件的 CAD 生成任务。而另一方面，尽管多模态大模型（M4 c d Z :LLMs）展现了跨模态生成的潜力，但在 CAD 领域依然面临挑战。尤其是在如何高效表征各种模态和 CAD 模型上，同时，数据集匮乏问题也一直是一大瓶颈。因此，我们提出了 CAD-MLLM，首个支持文本、图像和点云三种模态及其组合模态输入的以命令序列来表征的参数化 CAD 大模型，并搭配构建了K i x C H一个超过 45 万条数据的多模态 CAD 数据集 Omni-CADM _ & * S，推进该领域的研究。技术创N ; 7 : %新1. 首个支持多模态输入的参数化 CAD 生成多模态大模型我们提出了一个能够同时处理Z 8 %文本、图像和点云，最多三种模态输入数据的模型。图像和点云输入首先通过一个冻结的编码器提取特征，经投影层对齐到大语言模型（LLM）的特征空间。随后，将各种模态的特征进行整合，并利用低秩适应（LoRA）对 LLM 进行微调，实现基于多模态输入数据的精确 CAD 模型生成。2. 首个多模态 CAD 数据集为了支持模型训练，我们设计了一套全面的数据构造和– . I / s # 7 1 Y标注管道，构建了包含 45 万条的多模态 CAD 模型数据集 Omni-CAD。每条数据包– J N . a含9 j / G l L对应的 CAD 模型构造命令序列，以及@ E h D y文本描述、8 个不同视角的图像（下图随机挑其中 4 个视角展示）以及点云数据，极大地填补了 CAO ? E = ` H U oD 多模态数据资源的空白，也有助于推动 CAD 生成领域的进一步发展。3. 评估指标在评估指标上，之前的工作更多聚焦在模型的重建质量和结构保真度上，而我们针对 CAD 模型的特性，基于最终生成的 CAD 模型的拓扑质量和空间封闭性，创新性地提出了四种量化指标。其中，Seg0 a ` Q ament Error（SegE）检测 CAD 模型节点连接分段的准确性，DangN w 4 & _ Pling Edge Length (DangEL) 评估悬边的比例来衡量生成模型流形的保真度，Self-Inte) C v Q t Prsection Ratio (SIR) 检测生成模型中的自相交面问题。而 FS . 6 A 4 / P Blut = ix Enclosure Error (FluxEE) 则通过高斯散度原理，计算常矢量场穿过生成表面的通量，评估模型的空间封闭性。性能评估1. 基于点云的 CAD 模型生成性能我们与多个点云重建或者基于点云生成的基准工作进行比较，评测结果展示出我们的方法在重建精度上表现出色。而在拓扑完整性的评估上，我们模型生成的 CAD 模型大多数生成结果都能保持严格的( ~ @ w Y `流形结构，没有出现悬边，具有较高的拓扑完整性。相比之下，基准模型在重建结果中# u # E T 8 ! ] X往往存在许多悬空边缘（如图中蓝线C : w p | , 2所示）。2. 鲁棒性测评在基于点云生成 CAD 模型的比较实验中，我们针对两种受干扰的输入数据的情况进行了测评：添加噪声U i U s的点云数据及部分点缺失的点云数据。在从测试集中随机挑选的 1000 个样本上，使用 Chamfer Distance 来衡量生成结果，在两n F $ ` , $ M种情况下，CAD-MLLM 的性能均优于基线工作，特别是在一些极端条件下，依然展现出了良好的性能。3.` \ S o 8 ) 多模态数据训练必要性测评 我们通过三个实际场景来展示多模态数据训练对于模型生成能力的辅助提升，1）裁剪的点云数据；2）带有噪声的点云数据；3）双g C a _ * ? C视角图像输入。以上三E V ;种情况，单一& I 8 h z ` 6 p f模态数据的训练，会由于细节丢失或者视角限制使得输入信息的不准确，进而导致生成结果的不完整或者不精准，而加入完整的模型的文本描述，可有效弥补未观测到的部} Q % w = 7 A _ O分，生成更为完整、精确的 CAD 模型。
微信扫一扫 
