LoRA

🧠 LoRA 是什么

LoRA(Low-Rank Adaptation,低秩适配)由微软研究院在 2021 年论文《LoRA: Low-Rank Adaptation of Large Language Models》中提出。它冻结原模型权重,仅训练两个低秩矩阵来近似权重更新,原理是利用权重更新的低秩性质。

相比全参数微调,LoRA 可训练的参数量通常只有原始模型的百分之几甚至更低,显存占用和训练成本大幅下降;生成的 LoRA 权重文件很小,便于分发、切换和叠加多个适配器。

LoRA 在开源社区极为流行:Stable Diffusion 生态有大量风格 LoRA,DeepSeek、Llama、Qwen 等模型的开源微调方案也广泛使用。其变体 QLoRA 把模型量化到 4-bit 再做 LoRA,单张消费级显卡即可微调 70B 级模型。

🔥 为什么现在火

开源模型微调热潮让 LoRA 成为个人开发者也能玩转大模型的关键技术,QLoRA 等变体进一步把微调门槛降到消费级显卡。

📄 证据链(交叉验证)

• ▸arxiv 原始论文《LoRA: Low-Rank Adaptation of Large Language Models》(Hu et al., 2021)
• ▸维基百科 LoRA (machine learning) 词条

🔍 搜索形态

what is LoRA LoRA fine-tuning LoRA vs full fine-tuning LoRA paper