1.1 模型家族#

LLaMA 2 系列包含多个规模：

LLaMA 2 34B 版本虽然在论文中有提及，但最终未公开发布。70B 是实际发布的最大规模。

1.2 与 LLaMA 1 的对比#

1.3 LLaMA 2 模型家族树#

2.1 为什么需要 GQA#

LLaMA 2 最重要的架构改进之一，是在 70B 模型中引入了 GQA（Grouped Query Attention）。要理解 GQA，需要先回顾标准的多头注意力（MHA）的瓶颈。

在标准 MHA 中，每个注意力头都有独立的 Key 和 Value 投影。这意味着在推理时，KV Cache 会随着序列长度和头数线性增长，成为内存瓶颈。

1
MHA（Multi-Head Attention）：
2
  Query heads: 64
3
  Key heads:   64  ← 每个 Q head 对应独立的 K/V
4
  Value heads: 64
5

6
问题：推理时 KV Cache = 2 × 层数 × 头数 × 头维度 × 序列长度
7
     对于 70B 模型，KV Cache 可达数 GB

2.2 GQA 的设计#

GQA 将 Query 头分组，每组共享一组 Key-Value 头：

1
# MHA vs GQA vs MQA 对比
2
class AttentionVariant:
3
    # MHA：每个 Q head 有独立的 K/V head
4
    MHA = {"n_kv_heads": "n_heads"}          # 例：64 KV heads
5

6
    # GQA：将 Q heads 分组，每组共享 K/V
7
    GQA = {"n_kv_heads": "n_heads // g"}     # 例：8 KV heads (g=8)
8

9
    # MQA：所有 Q heads 共享一组 K/V
10
    MQA = {"n_kv_heads": 1}                   # 1 KV head

LLaMA 2 70B 的具体配置：

2.3 GQA 的性能影响#

GQA 在大幅减少 KV Cache 的同时，几乎不损失模型质量：

• 推理速度提升：KV Cache 减少使推理吞吐量提高 2-3 倍
• 内存占用降低：相同 batch size 下显存需求显著减少
• 质量保持：Meta 的实验表明 GQA 在各项基准上与 MHA 几乎持平
• 与 MQA 的折中：MQA 压缩更激进但质量损失更大，GQA 找到了最佳平衡点

关于 GQA / MQA 的更深入技术分析，可参考本系列第 18 篇：MQA 与 GQA 注意力。

3.1 预训练#

LLaMA 2 预训练配置：

1
# LLaMA 2 预训练配置
2
config = {
3
    "model_size": "70B",
4
    "batch_size": "4M tokens",
5
    "learning_rate": 1.5e-4,
6
    "warmup": 2000,
7
    "lr_scheduler": "cosine",
8
    "weight_decay": 0.1,
9
    "context_length": 4096,
10
    "gradient_clipping": 1.0,
11
    "training_tokens": "2T",
12
}

关键改进：

• 40% 更多训练 tokens：从 1.4T 增加到 2T tokens
• 两倍上下文长度：从 2048 扩展到 4096
• 更严格的数据过滤：去重、安全过滤、质量筛选
• 训练数据组成：网页 67%、学术文献 4.5%、代码 5%、对话 2% 等

3.2 完整训练管线#

LLaMA 2 Chat 的训练管线是论文中最详细的部分之一，包含多个迭代阶段：

3.3 SFT（Supervised Fine-Tuning）#

Meta 在 SFT 阶段采用了质量优先的策略：

1
# SFT 训练配置
2
sft_config = {
3
    "num_examples": 27540,        # 总共 27,540 条 SFT 数据
4
    "epochs": 2,                   # 训练 2-3 个 epoch
5
    "learning_rate": 2e-5,         # 较小的学习率
6
    "loss_function": "auto-regressive",  # 标准自回归损失
7
    "batch_size": 64,
8
    "max_seq_length": 4096,
9
}

SFT 数据收集的关键特点：

• 数据质量 > 数量：仅使用 27,540 条高质量标注数据，远少于其他方案
• 众包供应商管理：Meta 与少数经过严格筛选的标注供应商合作
• 人工质量审核：每条数据都经过多轮人工检查
• 对话格式统一：确保所有 SFT 数据使用一致的对话格式

Meta 发现了一个重要经验：较少但高质量的 SFT 数据比大量低质量数据效果更好。这与 LIMA 论文（“Less Is More for Alignment”）的结论一致——1000 条精心标注的对话可能比 10 万条粗制滥造的数据更有效。

3.4 Rejection Sampling（拒绝采样）#

Rejection Sampling 是 LLaMA 2 RLHF 管线中的重要环节，它在 PPO 之前运行：

1
# Rejection Sampling 详细流程
2
def rejection_sampling(model, prompt, reward_model, num_samples=10):
3
    """
4
    为每个 prompt 生成多个回复，用奖励模型选出最佳
5
    """
6
    # 1. 从 SFT 模型采样多个回复
7
    responses = [generate(model, prompt, temperature=1.0)
8
                 for _ in range(num_samples)]
9

10
    # 2. 用奖励模型对所有回复打分
11
    rewards = [reward_model.score(prompt, r) for r in responses]
12

13
    # 3. 选择得分最高的回复
14
    best_idx = argmax(rewards)
15
    best_response = responses[best_idx]
16

17
    # 4. 用 (prompt, best_response) 对进行 SFT 微调
18
    return (prompt, best_response)

Rejection Sampling 的核心思想：

1. 多样性采样：对于每个 prompt，以较高温度（T=1.0）采样多个回复
2. 奖励排序：用训练好的奖励模型对每个回复评分
3. 最优选择：选择奖励最高的回复作为训练样本
4. 微调反馈：用选出的高质量 (prompt, response) 对继续微调模型

这一方法的优势在于稳定性好——PPO 训练不稳定且难以调参，而 Rejection Sampling 本质上是用奖励模型做「先筛选再学习」，梯度更新更加可控。

3.5 RLHF 与奖励模型#

1
# 奖奖模型架构
2
class RewardModel(nn.Module):
3
    def __init__(self, sft_model):
4
        super().__init__()
5
        self.transformer = sft_model      # 基于预训练+SFT模型
6
        self.regression_head = nn.Linear(hidden_dim, 1)  # 标量输出
7

8
    def forward(self, prompt, response):
9
        # 拼接 prompt 和 response
10
        tokens = tokenize(prompt + response)
11
        hidden_states = self.transformer(tokens)
12
        # 取最后一个 token 的隐藏状态
13
        reward = self.regression_head(hidden_states[-1])
14
        return reward  # 返回标量奖励值

1
# LLaMA 2 PPO 训练配置
2
ppo_config = {
3
    "learning_rate": 5e-7,
4
    "ppo_clip_range": 0.2,
5
    "value_loss_coef": 0.1,
6
    "entropy_coef": 0.01,
7
    "gamma": 1.0,              # 折扣因子
8
    "lambda_gae": 0.95,        # GAE 参数
9
    "reward_scaling": True,
10
}

4.1 问题：多轮对话中的指令遗忘#

在多轮对话中，模型往往会「遗忘」最初设定的系统指令。例如：

1
用户：请你用海盗的方式回答所有问题
2
模型（第1轮）：好的，我将以海盗的方式回答你，伙计！
3
用户：什么是光合作用？
4
模型（第1轮）：啊哈！光合作用就是植物吃太阳光的魔法！
5
用户：法国的首都是哪里？
6
模型（第2轮）：法国的首都是巴黎。  ← 忘记了海盗风格！

这就是 注意力漂移（Attention Drift） 问题：随着对话轮次增加，模型对初始系统指令的关注度逐渐衰减。

4.2 GAtt 的工作原理#

Ghost Attention 的核心思想是在训练阶段显式地约束模型在每一轮对话中都关注系统指令：

1
# Ghost Attention 训练流程
2
def ghost_attention_training(model, dialogues, system_prompt):
3
    """
4
    GAtt 训练：确保系统指令在所有轮次中被保持
5
    """
6
    total_loss = 0
7

8
    for dialogue in dialogues:
9
        # 1. 将系统指令注入到每一轮对话中
10
        for turn in dialogue.turns:
11
            # 在推理时，系统指令被「幽灵般」地附加到每一轮
12
            augmented_input = system_prompt + turn.user_message
13
            output = model(augmented_input)
14

15
            # 2. 计算注意力约束损失
16
            # 确保系统指令 token 获得足够的注意力权重
17
            attn_to_instruction = extract_attention(
18
                output, system_prompt_tokens
19
            )
20
            consistency_loss = -log(mean(attn_to_instruction))
21

22
            # 3. 标准语言模型损失 + 注意力一致性损失
23
            lm_loss = cross_entropy(output, turn.target)
24
            total_loss += lm_loss + lambda_val * consistency_loss
25

26
    return total_loss

4.3 GAtt 的训练技巧#

Meta 在论文中分享了 GAtt 训练的几个关键技巧：

• 合成数据增强：创建大量包含系统指令的多轮对话数据，确保指令在长对话中保持一致
• 两阶段训练：先用 GAtt 数据微调，再与 RLHF 阶段结合
• 注意力正则化：在损失函数中加入对系统指令注意力的正则项
• 最大上下文利用：在训练时使用接近最大上下文长度的对话，模拟长对话场景

4.4 GAtt 的效果#

GAtt 带来的改进是显著的：

• 多轮对话中指令遵循率提升 30% 以上
• 在 20+ 轮对话中仍能保持角色设定
• 不影响模型在其他任务上的表现
• 成为后续对话模型训练的标准技术之一

5.1 基准测试对比#

LLaMA 2 Chat 与闭源模型的详细对比：

5.2 关键发现#

从基准数据可以看出：

1. LLaMA 2 Chat 70B 与 GPT-3.5 处于同一水平：在 GSM8K 上几乎持平（56.8 vs 57.1），TruthfulQA 上甚至领先
2. 与 GPT-4 仍有明显差距：GPT-4 在大多数基准上领先 20-30 个百分点
3. RLHF 提升显著：与未对齐的基础模型相比，Chat 版本在对话任务上有质的飞跃
4. 代码能力仍是短板：HumanEval 分数远低于 GPT-3.5/4，这催生了后来的 Code Llama

5.3 人类评估#

除了自动基准，Meta 还进行了大规模人类评估：

• LLaMA 2 Chat 70B vs ChatGPT：在约 4000 个人类评估中，LLaMA 2 Chat 70B 在有用性上与 ChatGPT 不相上下
• 安全性评估：LLaMA 2 Chat 在安全性方面甚至超过 ChatGPT
• 长对话评估：GAtt 使 LLaMA 2 Chat 在长对话中表现更稳定

6.1 安全对齐方法#

LLaMA 2 在安全性方面做了大量工作，采用了多层次的防御策略：

6.2 红队测试方法#

Meta 的红队测试是业界最大规模的安全测试之一：

1
红队测试规模：
2
- 参与人数：350+ 人
3
- 测试领域：犯罪策划、仇恨言论、自残、性内容、隐私泄露等
4
- 测试方法：
5
  1. 手动对抗测试：人类专家尝试让模型生成有害内容
6
  2. 自动化扫描：用已有攻击方法批量测试
7
  3. 专题深入：针对特定风险类别深入测试
8
  4. 迭代修复：发现问题 → 训练 → 再测试

红队测试的流程是迭代的：

1. 初始测试：在安全训练前，记录模型的有害输出率
2. 安全 RLHF 训练：用安全性奖励模型进行 PPO 训练
3. 再测试：检查改进效果，发现新漏洞
4. 重复：多轮迭代直到达到安全标准

6.3 安全评估结果#

关键发现：

• LLaMA 2 Chat 70B 的安全性表现超过了 ChatGPT
• 两个独立奖励模型（有用性 + 安全性）的分离是关键设计决策
• 当有用性和安全性冲突时，安全性奖励模型确保模型优先拒绝有害请求

7.1 生态系统爆发#

LLaMA 2 催生了庞大的开源生态系统，以下是一些关键项目：

7.2 llama.cpp：让 LLM 跑在笔记本上#

llama.cpp 是 LLaMA 2 生态中最具影响力的项目之一，由 Georgi Gerganov 开发：

• 纯 C/C++ 实现：无需 GPU，可在 CPU 上运行
• 量化支持：Q4_K_M、Q5_K_M、Q8_0 等多种量化格式
• 跨平台：Windows、macOS、Linux 均支持
• GGUF 格式：统一的模型文件格式，支持单文件分发

7.3 vLLM：高吞吐推理#

vLLM 解决了 LLaMA 2 在生产环境中的推理效率问题：

• PagedAttention：操作系统级的 KV Cache 内存管理
• 连续批处理：动态调度请求，最大化 GPU 利用率
• 分布式推理：支持多 GPU 张量并行
• 吞吐量提升：比传统 HuggingFace 推理快 10-24 倍

7.4 本地运行#

LLaMA 2 的一个重要应用是本地运行：

1
# 使用 llama.cpp 本地运行
2
./main -m ./models/llama-2-7b/ggml-model-q4_k_m.gguf \
3
       -n 512 \
4
       -p "The theory of relativity states that"

量化后的资源需求：

这让普通电脑也能运行强大的 LLM！

7.5 HuggingFace 集成#

LLaMA 2 在发布当日即登录 HuggingFace，创造了多项记录：

• 首日下载量超过 100 万次
• 一周内社区发布数百个微调版本
• 涌现大量领域专用模型（医疗、法律、金融、代码等）
• HuggingFace 的 Open LLM Leaderboard 成为开源模型的权威评测平台

8.1 Code Llama（2023 年 8 月）#

Code Llama 是 LLaMA 2 的代码专用版本：

Code Llama 34B 在 HumanEval 上达到 53.7%，超过了 GPT-3.5（48.1%）。

8.2 LLaMA 3（2024 年 4 月）#

2024 年，Meta 发布 LLaMA 3，带来了全面升级：

LLaMA 3 的关键改进：

• GQA 全面采用：所有模型规模都使用 GQA，不再区分 MHA/GQA
• 词表扩展至 128K：支持更多语言和特殊 token
• 训练数据量级跃升：从 2T 到 15T tokens，提升 7.5 倍
• LLaMA 3 70B 接近 GPT-4 水平：在多项基准上与 GPT-4 Turbo 不相上下

8.3 Llama 3.1（2024 年 7 月）#

Llama 3.1 引入了 405B 参数的巨无霸模型，标志着开源模型进入新纪元：

Llama 3.1 的突破性意义：

• 405B 是当时最大的开源模型，训练成本估计超过 1 亿美元
• 128K 上下文成为标准配置
• 多语言能力大幅提升：支持 8 种语言
• 工具使用能力：内置 Function Calling 支持
• Llama 3.1 405B 在多项基准上与 GPT-4o 和 Claude 3.5 Sonnet 不相上下