LoRA
Low-Rank Adaptation
也称低秩适配 / 参数高效微调
一种较省训练资源的微调方法,只集中训练较小的一部分附加设置
怎么理解
给一个很大的模型做调整,如果每个内部数值都重新训练,会比较费资源。LoRA 保留基础模型的大部分设置,主要训练额外加上的一小部分,让模型适应某类任务或风格。
举个例子
一款生图模型原本会画很多东西。创作者想让它更熟悉自己设计的角色,就用一批角色图片训练一个 LoRA,使用时配合对应的基础模型,帮助画出更一致的形象。
补充说明
LoRA 通常不是能单独运行的完整模型,要匹配基础模型。它节省的是部分训练开销,图片或文字准备得不好,效果仍然可能不好。