1.1 核心思想#

LoRA（Low-Rank Adaptation）由微软研究院于 2021 年提出，其核心思想源于一个关键假设：预训练模型权重矩阵具有低内在秩（low intrinsic rank）。

论文《LoRA: Low-Rank Adaptation of Large Language Models》提出：对于预训练权重矩阵 $W_0 \in \mathbb{R}^{d \times k}$，LoRA 不直接更新 $W_0$，而是学习一个低秩分解：

$W = W_0 + \Delta W = W_0 + BA$

其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$。

1.2 为什么低秩有效#

LoRA 的有效性基于以下洞察：

1. 内在维度假设：Aghajanyan 等人（2020）的研究表明，预训练语言模型的权重矩阵具有很低的内在秩，实际更新发生在低维子空间中。

2. 参数效率：对于 GPT-3 175B，使用 rank=8 的 LoRA 仅需训练约 0.02% 的参数。

3. 模块化：不同任务可以共享预训练权重，仅替换 LoRA 参数，实现权重复用。

1.3 LoRA 的数学推导#

训练目标是最小化以下损失函数：

$\mathcal{L} = \mathbb{E}_{(x, y) \sim \mathcal{D}} \| y - (W_0 + \frac{\alpha}{r}BA)x \|^2$

其中 $\alpha$ 是缩放因子，通常设为 rank 值。

训练时：

• 冻结 $W_0$，只更新 $A$ 和 $B$
• $A$ 初始化为随机高斯分布（$\mathcal{N}(0, \sigma^2)$），$B$ 初始化为零矩阵
• 这确保 $\Delta W = BA$ 在训练初期为零，模型输出与预训练一致

缩放因子 $\alpha$ 的作用：$\alpha/r$ 的比值控制 LoRA 更新的”步幅”。当 $\alpha = 2r$ 时，缩放系数为 2，相当于在标准 LoRA 更新的基础上放大 2 倍。实践中 $\alpha / r$ 通常设为 1 或 2，调大该比值可以在不改变 rank 的前提下增强 LoRA 的影响力。

1.4 LoRA 代码实现#

1
import torch
2
import torch.nn as nn
3

4
class LoRALinear(nn.Module):
5
    def __init__(self, in_features, out_features, rank=8, alpha=16):
6
        super().__init__()
7
        self.rank = rank
8
        self.alpha = alpha
9

10
        # 冻结原始权重
11
        self.weight = nn.Parameter(
12
            torch.randn(out_features, in_features),
13
            requires_grad=False
14
        )
15

16
        # LoRA 可训练参数
17
        self.lora_A = nn.Parameter(torch.randn(rank, in_features) / 0.01)
18
        self.lora_B = nn.Parameter(torch.zeros(out_features, rank))
19

20
    def forward(self, x):
21
        # 原始输出 + LoRA 适配
22
        return (self.weight + self.alpha / self.rank * self.lora_B @ self.lora_A) @ x

1.5 LoRA 秩（Rank）选择指南#

选择合适的 rank 是 LoRA 调优的关键。以下是基于 LoRA 论文及后续实验的消融研究结果：

关键发现：

1. rank 8~16 是多数任务的甜蜜点。LoRA 原论文在 GPT-3 175B 上测试发现 rank 4 和 rank 8 的效果接近，进一步提升到 rank 64 的增益不足 1%。
2. 并非所有层都需要高 rank。注意力层（q_proj, v_proj）通常 rank 8 即可，而 FFN 层可能需要更高 rank。
3. target modules 数量比 rank 更重要。与其提高 rank，不如在更多模块上应用低 rank LoRA（如同时适配 q/k/v/o_proj + gate/up/down_proj）。

2.1 背景#

QLoRA（Quantized LoRA）由华盛顿大学于 2023 年提出，实现了在单卡 48GB 显存上微调 65B 模型。

核心创新：

• NF4（4-bit NormalFloat）量化：专为神经网络权重设计的最优量化方案
• 双重量化（Double Quantization）：量化常数也进行量化，进一步节省内存
• 分页优化器（Paged Optimizers）：处理梯度检查点导致的内存峰值

2.2 NF4 量化原理#

NF4 量化基于分位数量化（Quantile Quantization），核心思想是让量化后的值在信息论意义上最优：

数学推导：

1. 假设权重 $w$ 服从正态分布 $\mathcal{N}((\mu, \sigma^2))$，首先将权重标准化：$\hat{w} = w / \sigma$
2. 将 $[-1, 1]$ 区间划分为 $2^4 = 16$ 个等概率区间（不是等距区间）
3. 每个区间的代表值由正态分布的分位数函数 $\Phi^{-1}$ 确定：

$q_i = \Phi^{-1}\left(\frac{i}{16}\right), \quad i = 0, 1, \ldots, 15$

4. 量化时找最近的 $q_i$ 存储索引（4 bit），解量化时查表恢复

为什么 NF4 优于均匀量化？ 因为神经网络权重通常服从近似正态分布，等概率量化使每个量化级别出现的频率相同，最大化了信息熵。相比均匀量化，NF4 在相同 bit-width 下减少了约 0.5~1.0 bit 的信息损失。

2.3 双重量化#

QLoRA 的第二个创新是对量化常数本身进行二次量化：

• 每个分块（block size=64）需要一个 FP32 的缩放因子 $c$ 和一个 FP32 的零点 $z$
• 对于 65B 模型，这些常数本身占用约 127MB 显存
• 双重量化将这些 FP32 常数进一步量化为 FP8（block size=256），节省约 63.5MB（每参数节省 0.37 bit）

虽然节省的绝对值不大，但对于显存极其紧张的 QLoRA 场景，每 MB 都至关重要。

2.4 分页优化器#

QLoRA 的第三个创新利用了 NVIDIA 统一内存（Unified Memory）特性：

• 当 GPU 显存不足时，优化器状态自动”溢出”到 CPU 内存
• 通过 nio_enabled=True 实现页表管理，GPU 和 CPU 之间按需交换数据
• 避免了传统梯度检查点（gradient checkpointing）在峰值显存时的 OOM 问题

1
from bitsandbytes.optim import AdamW
2

3
# 分页优化器配置
4
optimizer = AdamW(
5
    model.parameters(),
6
    lr=2e-5,
7
    paged=True,           # 启用分页
8
    optim_bits=32,        # 优化器精度
9
    nio_enabled=True      # 启用统一内存
10
)

2.5 QLoRA 训练流程#

1
# QLoRA 核心步骤
2
def qlora_forward(x, lora_layer, quant_state):
3
    # 1. 解量化权重
4
    weight = dequantize(quant_state)  # NF4 -> BF16
5

6
    # 2. 计算 LoRA 适配
7
    lora_out = lora_layer.lora_B @ lora_layer.lora_A @ x
8

9
    # 3. 合并输出
10
    return (weight + lora_layer.alpha / lora_layer.rank * lora_out)

QLoRA 显存对比：

3.1 Adapter 瓶颈架构#

Adapter（由 Google 提出）采用与 LoRA 不同的思路：在 Transformer 层中插入小型适配模块，形成经典的瓶颈（Bottleneck）结构。

Adapter 结构的数学表达：

• 下投影层：$W_{down} \in \mathbb{R}^{d \times r}$（降维到瓶颈维度 $r$）
• 非线性激活：通常为 ReLU 或 GELU
• 上投影层：$W_{up} \in \mathbb{R}^{r \times d}$（恢复到原始维度）
• 残差连接：$h \leftarrow h + f(h W_{down}) W_{up}$

瓶颈维度 $r$ 通常设为模型维度的 1/32 到 1/8（如 $d=768$ 时 $r=24\sim96$），参数增量约为 0.5%~3%。

3.2 Adapter Fusion#

Adapter Fusion（Pfeiffer et al., 2020）解决了多 Adapter 的组合问题：

1. 阶段一：为每个独立任务训练专用 Adapter
2. 阶段二：冻结所有 Adapter，训练一个 Fusion 层，学习如何组合多个 Adapter 的输出

Fusion 层本质上是一个注意力机制：

$\text{Fusion}(h) = \sum_{i=1}^{N} \alpha_i \cdot \text{Adapter}_i(h)$

其中 $\alpha_i$ 由可学习的注意力权重决定，使模型能够根据输入动态选择最相关的 Adapter。

3.3 多任务 Adapter#

AdapterFusion 和 MAD-X 提出了多任务 Adapter 的两种范式：

• MAD-X（Stacking）：按照语言→任务的顺序堆叠 Adapter，先适配目标语言，再适配具体任务
• AdapterFusion（Composition）：并行训练多个 Adapter，推理时通过 Fusion 层组合

多任务 Adapter 的优势在于知识共享：多个相关任务的 Adapter 可以互相增强，尤其在低资源场景下效果显著。

3.4 Adapter 与 LoRA 对比#

4.1 Prefix Tuning#

Prefix Tuning（Li & Liang, 2021）在每层注意力输入前添加可训练的前缀向量（Prefix Vectors），这些向量是连续的、可微的”虚拟 Token”：

1
# Prefix Tuning 示意
2
prefix_ids = trainable_prefix_embedding  # [num_layers, prefix_len, hidden_dim]
3

4
# 在注意力计算中混入 prefix
5
key = concat(prefix_ids, input_ids) @ W_k
6
value = concat(prefix_ids, input_ids) @ W_v

关键设计细节：

• Prefix 长度：通常为 5200 个虚拟 Token，论文推荐 1020
• 参数化方式：直接优化 prefix 参数容易不稳定，论文使用 MLP 重参数化（reparameterization），训练完成后只保留 MLP 输出的 prefix 向量
• 位置范围：Prefix 只参与 Key 和 Value 的计算，不参与 Query（因为 prefix 是”被 attend 到”的内容）

4.2 Prompt Tuning#

Prompt Tuning（Lester et al., 2021）是 Prefix Tuning 的简化版：仅在输入嵌入层添加可学习的 soft prompt：

1
# Prompt Tuning
2
prompt_embedding = learnable_prompt  # [batch, prompt_len, hidden_dim]
3
input_embedding = token_embedding(input_ids)
4
combined = concat([prompt_embedding, input_embedding], dim=1)

Prompt Tuning 的核心发现：

• 模型规模越大，效果越好：在 T5-11B 上，Prompt Tuning 可以追平全量微调；但在 T5-Small 上效果明显落后
• Prompt 长度：通常 20~100 个 soft token 即可
• 初始化策略：用真实词嵌入初始化比随机初始化收敛更快

4.3 P-Tuning 与 P-Tuning v2#

P-Tuning（Liu et al., 2021）引入了模板编码器（Template Encoder），用双向 LSTM 或 MLP 对 soft prompt 进行编码，解决了离散 prompt 搜索的问题。

P-Tuning v2（Liu et al., 2023）是重大升级，主要改进：

P-Tuning v2 的核心洞察：深层 prefix 对于小模型（<10B）至关重要。仅在输入层添加 prompt 等价于浅层调整，无法影响模型深层表示。v2 在每层添加 prefix，本质上将 prompt tuning 的效果提升到了与 Adapter 相当的水平。

4.4 方法对比#

5.1 LoRA 切换机制#

LoRA 的模块化特性使其天然支持多任务服务：共享基座模型权重，按需加载不同的 LoRA 适配器。

基础方案：热切换。推理时根据请求动态加载 LoRA 权重：

1
from peft import PeftModel
2

3
# 加载基座模型（只加载一次）
4
base_model = AutoModelForCausalLM.from_pretrained("meta-llama/LLaMA-7B")
5

6
# 按需切换 LoRA
7
model_a = PeftModel.from_pretrained(base_model, "lora-customer-service")
8
model_b = PeftModel.from_pretrained(base_model, "lora-code-gen")
9

10
# 推理时合并
11
model_a.merge_and_unload()  # 将 LoRA 权重合并到基座

5.2 S-LoRA：千级 LoRA 服务#

S-LoRA（Sheng et al., 2023）解决了同时服务数千个 LoRA 适配器的挑战：

• 统一分页（Unified Paging）：将所有 LoRA 权重存储在 GPU 显存和 CPU 内存的统一页表中，按需换入换出
• 张量并行兼容：支持将 LoRA 计算分布到多个 GPU 上
• 批处理优化：将不同 LoRA 的请求分组批处理，减少 kernel launch 开销

性能数据：S-LoRA 可在单卡 A100 上同时服务 2000+ 个 LoRA 适配器，吞吐量比朴素的逐个切换方案高 30 倍。

5.3 Punica：多租户 LoRA 推理#

Punica（Chen et al., 2023）提出了分段累积矩阵乘法（Segmented Cumulative Matrix Multiplication, SCMM）：

传统方案对每个 LoRA 独立计算 $y_i = W_0 x + B_i A_i x$，批处理时需要逐个计算。

Punica 的 SCMM 将不同 LoRA 的计算融合为一个 CUDA kernel：

$Y = \text{SCMM}([B_1, B_2, \ldots, B_n], [A_1 x_1, A_2 x_2, \ldots, A_n x_n])$

通过自定义 CUDA kernel 实现，避免了 $n$ 次独立的矩阵乘法调用，在批大小为 16 时比朴素方案快 4.5 倍。

6.1 框架选择#

1
# 使用 transformers + peft 库
2
from transformers import AutoModelForCausalLM
3
from peft import get_peft_model, LoraConfig
4

5
model = AutoModelForCausalLM.from_pretrained("meta-llama/LLaMA-7B")
6

7
# LoRA 配置
8
config = LoraConfig(
9
    r=8,
10
    lora_alpha=16,
11
    target_modules=["q_proj", "v_proj"],  # 只适配 attention
12
    lora_dropout=0.05,
13
    bias="none",
14
    task_type="CAUSAL_LM"
15
)
16

17
model = get_peft_model(model, config)
18
model.print_trainable_parameters()
19
# trainable params: 4,194,304 || all params: 6,738,415,616 || trainable%: 0.062%

6.2 超参数选择#

6.3 部署实践建议#

学习率调优：

• LoRA 的学习率通常比全量微调高 5~10 倍（1e-4 ~ 3e-4 vs 1e-5 ~ 5e-5）
• 原因是可训练参数少，需要更大的学习率才能在有限参数空间中有效移动
• 建议使用 Cosine Scheduler 配合 10% 的 warmup

Target Modules 选择：

经验法则：target modules 的覆盖范围比 rank 更影响最终效果。在相同参数预算下，“低 rank + 多模块”通常优于”高 rank + 少模块”。

Alpha / Rank 比值：

• $\alpha / r = 1$：保守更新，适合与基座模型行为接近的任务
• $\alpha / r = 2$：标准配置（论文推荐），适合大多数场景
• $\alpha / r = 4$：激进更新，适合与预训练分布差异大的任务

6.4 常见问题#

Q: LoRA 训练不稳定怎么办？ A: 尝试增大 alpha/ratio，或使用较大学习率

Q: 推理时如何合并权重？ A: 使用 model.merge_and_unload() 一次性合并，合并后无额外推理开销

Q: 全量微调与 LoRA 效果差距有多大？ A: 在多数任务上，LoRA rank=16 + 多模块适配可以追平全量微调 95% 以上的效果。差距主要体现在极端领域迁移（如从通用语料迁移到医学/法律）

7.1 Q1： LoRA 的 rank 设置多少合适？#

A：从 rank=8 开始实验。如果效果不够，先尝试增加 target modules（从 q/v 扩展到 q/k/v/o），再考虑提升 rank。通常 rank 8~16 覆盖 90% 的场景。只有极端领域迁移（医学、法律等与预训练分布差异大的任务）才需要 rank 32+。

7.2 Q2： LoRA alpha 应该怎么设？和 rank 的关系是什么？#

A：$\alpha$ 是 LoRA 更新的缩放因子，实际缩放系数为 $\alpha / r$。最常用的设置是 $\alpha = 2r$（即缩放系数为 2）。增大 $\alpha$ 相当于在不增加参数量的前提下放大 LoRA 的影响力。如果训练不收敛，可以尝试增大 $\alpha$；如果过拟合，可以适当减小 $\alpha$。

7.3 Q3： target_modules 选哪些模块效果最好？#

A：研究表明，按效果排序：all-linear > q/k/v/o_proj > q/v_proj > q_proj。“all-linear”指对模型中所有线性层都加 LoRA（包括 FFN 的 gate/up/down_proj）。虽然参数量更大，但在复杂任务上效果最好。如果资源受限，优先选择 q_proj + v_proj。

7.4 Q4： LoRA 合并后可以恢复吗？#

A：合并后无法直接恢复，但可以保存 LoRA 权重的独立副本（通常只有几十 MB）。PEFT 库提供了 merge_and_unload() 方法进行合并，也支持通过重新加载 LoRA 权重来恢复适配。建议始终保留 LoRA checkpoint，以便后续切换或多 LoRA 服务。

7.5 Q5： QLoRA 和 LoRA 的效果差距有多大？#

A：QLoRA 论文的关键发现是：QLoRA 在 4-bit 量化基座上训练的 LoRA，效果与 16-bit LoRA 几乎没有差距。在 MMLU、GSM8K 等基准上，差距在 0.5% 以内。代价是训练速度稍慢（约慢 30%，因为需要实时解量化）。

7.6 Q6： LoRA 可以和 RLHF/DPO 结合吗？#

A：完全可以，这是当前主流做法。LoRA 降低了 RLHF 的显存门槛，使奖励模型训练和 PPO/DPO 优化都能在单卡完成。推荐配置：SFT 阶段用 rank=16，RLHF/DPO 阶段用 rank=8（因为对齐阶段更新幅度较小）。

7.7 Q7： 如何判断 LoRA 是否过拟合？#

A：观察训练 loss 与验证 loss 的曲线。如果训练 loss 持续下降但验证 loss 开始上升，说明过拟合。对策包括：降低 rank、增加 dropout（0.1~0.2）、减少训练轮数、增大数据集。LoRA 原论文发现 rank 过高（如 rank=64）比 rank 过低更容易过拟合。

7.8 Q8： 多个 LoRA 可以叠加使用吗？#

A：可以，但需要注意顺序。PEFT 库支持顺序叠加多个 LoRA 适配器（add_weighted_adapter），也支持将多个 LoRA 线性组合。实践中，先叠加后训练（即在一个 LoRA 之上继续训练另一个）可以用于增量学习，但效果不如重新训练一个统一 LoRA。

8.1 LoRA 的秩（rank）应该设多少？#

推荐从 rank=8 或 16 开始。对于简单任务（如风格微调），rank=4 即可；复杂任务（如领域知识注入）可能需要 rank=32 或 64。研究表明，rank 超过 64 后收益递减。

8.2 LoRA 应该作用于哪些层？#

推荐对 Q/K/V/O 投影矩阵和 MLP 层都应用 LoRA。仅对 Q/V 作用会损失性能。使用 target_modules=["q_proj","k_proj","v_proj","o_proj","gate_proj","up_proj","down_proj"]。

8.3 alpha/rank 比例如何设置？#

通常设 lora_alpha = 2 × rank（如 rank=16, alpha=32）。alpha 控制 LoRA 更新的缩放强度。比例越大，LoRA 学到的权重影响越强。

8.4 LoRA 可以和量化一起用吗？#

可以，这就是 QLoRA。先用 NF4 量化基础模型，再在量化模型上训练 LoRA 适配器。配合梯度检查点和分页优化器，7B 模型仅需 ~6GB 显存。

8.5 多个 LoRA 适配器可以同时部署吗？#

可以。vLLM、SGLang 等框架支持多 LoRA 并行服务。基础模型只加载一次，每个请求动态切换 LoRA 适配器，显存开销极小（每个适配器仅占几十 MB）。