LoRA、完全微调到底有何不同？MIT 21页论文讲明白了

本文旨在了解两种微调大型语言模型方法之间的差异：完全微调和低秩自适应 (lora)。这两种方法都用于将预训练模型适应特定的下游任务，但它们却有所不同。

微调（Fine-tuning）是将经过预训练的大语言模型应用于下游任务的关键范例。最近，低秩自适应 (LoRA)r * l 等方法已被证明可以在各种任& d V务上达到完全微调模型的性能，同时可训练参数的数量却大大减少。

这就提U c : # q _ E C x出一个问题，即它们学到的解决方案真的等效吗？

带着这一疑问，来自 MIT 的研究者在论文《 LORk 7 C % _A VS FULL FINE-TUNING: AN ILLUSION OF EQUIVALENCE 》中进行了深入探讨。

论文地址：https://arxiv.org/pdf/2410.21228v1

作者通过分析预训练模P $ \ = S / ; 9型权重矩阵的光谱特性来研究不同的微调方法如何改变模型。

研究发现，完全微调与 LoRA 产生的权重矩阵奇异值分解结构有显著不同，并且经过微调后的模型在面对超出适应任务分布的测试时也显示出不同的泛化行为。

特别是，LoRA 训练的权重矩阵中出现了称为「侵入维度（intruder dimensions）」的新的高秩奇异向量，而在完全微调中则不会出现这种情况。

这些结果表明，即使在微调分布上表现相同，但使用 LoRA 和完全微调更新的模型访问参数空间的不同部分。

作者通过研究 LoRA 微^ – n 2 2 j + #调模型中出现侵入维度的原因、它们为什么不受欢迎，以及如何最小化这些效果来\ | C展开研究。

最后，作者给出了以下几点观察：

首先，LU – 8 hoRA 和完全微调在结构上产生不同的参数更新，这种差异由侵入维度的存在产生的。这些侵入维度t v U是& 6 9奇异向量，具有较大的奇异值，并且与预训练权重矩阵中的奇异向量近似正交。相比之( S % q q下，完全微调模型在光谱上与预训练模型保持相似，不包含侵入维度。

其次，从行为上看，与完全微调相比，具有侵入维度的 LoRA 微调模型会忘记更多的预训练分布，并且+ 4 W W 1 * q P p表现出较差的稳6 y r健连续j q P c ` o _ O学习能力：具有侵入维度的 LoRA 微调模型在适应任务分布之外不如完全微调模型，尽管分布准确度相当。

最后，即使在目标任务上低秩 LoRA 表现良好，但更高秩的参数化可能仍然是可取的。低秩 LoRA（r ≤ 8）适合下游任务分布，完全微调和高秩 LoRA（r = 64）让模型泛化能力更强、自适应能力更加鲁棒。然而，为了利用更高的秩，LoRA 更新模型必须是秩稳定的。

沃顿商学院副教授 Ethan Mollick 对此评论道：事实证明，使用 LoRA 定制A y E y通用 LLM（Apple 调优其设备内置h L 4 \ B k模型的方式），对 LLM 的限制远大于微调，因为它们失去I = / p了一些泛化能力。原因是 LoRA 增a 9 9 8加了不祥的侵入维度。

LORA 和完全微调模型的差异

本文采用神经网络参数的奇异值分解 SVD 来理解微调对预训练权值的变化。

特X 6 | % ; U A ( G别是，本文测量了用 LoRA 微调过的权重矩阵中的奇异向r M J p i / ! I量或完全微调过的权重矩阵Z 2 U 5 W ~中奇异向量映射到预训练权重中的奇异向量的程度，使用它们的余弦相似性。这些关系如图 1 和图 3 所示，颜色表示预训练和微调奇异向量之间的余弦相似度。

图 2 (b) 中观察u 3 b 6到，LoRA 和完全微调的奇异向量与预训练奇异向量的相似度非常不同：与完全微调相比，使用 LoRA 微调的模型的奇异向量与预训练f W V I – g q v奇异向量的平均余弦相似度似乎要低得多。

图 2 (b) 中左下角有i + k I ~ / h一– { \ L d \ d个唯一的红点，作者将这些新维度命名为侵入维度，其正式定义如下：

LoRA 微调模型包含高秩侵入维度，而完全微J q l 6 u _ ) } $调的模型则不包含。为了量化特定权重矩阵的侵入维度集的大小，作者使用图 4 所示的算法。

即使在 LoRA 微调模型学习效果不如完全微6 \ g M b W M | @调的任务中，侵入维度也存在。

观察图 5b、5c 和 5d，我们可以清楚地看到，即使 LoRA 的 r& y 2 o 1=256$ ^ ( H 8 C，高秩奇异向量集中仍出现侵入维度。重要的是，当 r=2048 时没有侵入维度，而是展示了与完全微调非常相似的曲线? q ! b ! f ? ? ?。这支持了早先的发现：随着秩增加超过一个阈值，侵入维度会消失，LoRA 开始趋向于与完全微调相似。

即使使用满秩矩阵执行 Lop 0 _ p O Y fRA，完全微调更新也比 LoRA 更新具有= g | e _更高的有效秩。如图 6 所示，可以观察到完全微调解决方案的有效秩明显高于通过 LoRA 学习到的解决方案的有效秩，即使 LoRA 具有更高的秩。

LORA 和完全微调之间的行为差异

在较低秩P , [ ] p /，LoRA 在持续学习过程中的适应能力较差，会忘记更多之前的任务。该研究在多个} e b ? l # ` h i任务上按顺序训练 RoBERT? B 6a，并测量学习新任务时性能_ D K S的变化程度。

该研究使用与之前x # | 3 C相同的训练方案、数据集，+ G 1 S 1 W ~ %但在持续学习环境中使用以下数据集（按顺序）进行微调：MNLI、QQP、SST-2、SIQA、Winogrande、FEVER。在序列中某个数据集M T Y 0 q *上进行训2 Z t ^ / t练后M V 6 . J，将 LoRA 权重合并到模型中，并在下一个任务训练之前重新初始化，以便不受之前任务的影响。

在对特定任务进行训练后，该研究对所有任务进行测试J ; O w h $ V，对于每个任务，在测试测试集之前分别重新训练分类头。这能够检查模型在这些任务上表现如何，s ! y M c I而无需实际更改模型本身。

结果如图 8 所示。虽然 LoRA 最初与完全微调的性能相当，但较小的 LoRW a s yA 秩在持续学习过程中始终表现出更大] # g 1 * Q 5 | #的性能下降。特别是，对于前三个训练数据集，当 r = 1 时 LoRA 的性能下降到预训练基线以下。随着 LoRA 秩的提高，我们可以D + \看到这种遗忘行为减少，并且更接近3 e r W o于完全微调，甚至在完成持续学习后在 MNLI 上Q – J K z的遗忘也更少。

整体情况是微妙k n 9 L i W Y H的：虽然在某些情况下，LoRA 似乎忘记得较少，但对于某些任务（g ~ H 7 o C以及某些秩）事实i t R ] @ ] u上，LoRA 可能会忘记更多。

对于微调g y ) ! F w W ` #到等效测试精度的 LoRA 模型，可以看到一条 U 形曲线，该曲线标识了适合下游任务的最佳等级，同时最小程度的忘记了预训练分布。

图 9 报告了测量的伪损失分数。可以看到完全微调和 r = 768 时的 LoRA 之间呈现 U 形趋势。

相对于完全微调，低秩（r = 1）和高秩（r = 768）都会导致预训练分布的遗忘更大，而对于 r = 64，遗忘较少。也Z \ g l _ O G +就是说：当 r = 1 时，D l 3 T / C R使用 LoRA 微调的模型受到侵入维度的n | K 4 z 3 s N影响，并且似乎比没有侵入维度的 r = 64 有更多的遗忘。然而，当 r = 768 时，使用 LoRA 微调的模型也表现出更糟糕的遗忘，这表明由于过度参数D 5 J }化，它们对适应任务过度拟合。当 r = 8 和 r = 64 时，遗忘量少于完Y y w \ [ 8 E全微调\ 0 x w u + (。

了解更多内容，请参考原论文。

以上就是L. t $ X 1 RoRA、完b q y } E }全微调到底有何不同？MIT 21页论文讲明白了的详细内容！

百度未收录

本文由【好易之】整理自网络！
原创文章，作者:【好易之】如转载请注明出处：https://www.zhengjiaxi.com/zxwd/itzx/118507.html
如有侵权，请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途，否则后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。