1
# GPT-3 的核心矛盾
2

3
gpt3_problem = {
4
    "训练目标": "预测下一个 Token（语言建模）",
5
    "用户期望": "听从指令，给出有用的回答",
6
    "矛盾": "优化目标 ≠ 用户期望",
7
    "结果": "模型很强但不实用",
8
}
9

10
# OpenAI 的解决方案
11
solution = {
12
    "核心思想": "用人类反馈来对齐模型行为",
13
    "方法": "InstructGPT = SFT + Reward Model + PPO",
14
    "效果": "1.3B 参数的 InstructGPT 优于 175B 的 GPT-3",
15
}

1
论文：Training language models to follow instructions with human feedback
2
作者：Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida,
3
      Carroll L. Wainwright, Pamela Mishkin, Chong Zhang,
4
      Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman,
5
      Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens,
6
      Amanda Askell, Peter Welinder, Paul Christiano,
7
      Jan Leike, Ryan Lowe
8
机构：OpenAI
9
发表：2022 年 3 月（arXiv:2203.02155）
10
引用：5000+ 次

1
class InstructGPTPipeline:
2
    """InstructGPT 三步训练流程"""
3

4
    def __init__(self):
5
        self.base_model = "GPT-3 (175B 或更小的变体)"
6

7
    def step1_sft(self):
8
        """
9
        第一步：监督微调（SFT）
10
        - 数据：人类标注员撰写的高质量示范
11
        - 规模：约 13,000 条训练样本
12
        - 方法：在 GPT-3 基础上进行监督微调
13
        - 目的：让模型学会遵循指令格式
14
        """
15

16
    def step2_reward模型(self):
17
        """
18
        第二步：奖励模型训练（RM）
19
        - 数据：人类对模型输出的偏好比较
20
        - 规模：约 33,000 条比较数据
21
        - 方法：训练一个打分模型学习人类偏好
22
        - 目的：量化「好回答」的标准
23
        """
24

25
    def step3_ppo(self):
26
        """
27
        第三步：PPO 强化学习
28
        - 数据：来自奖励模型的反馈信号
29
        - 方法：PPO 算法优化 SFT 模型
30
        - 目的：让模型生成高奖励的回答
31
        """

1
# InstructGPT 的提示分类体系
2

3
prompt_categories = {
4
    "普通提示（Plain）": {
5
        "描述": "直接的指令或问题",
6
        "示例": "告诉我关于量子力学的基本概念",
7
        "占比": "~60%"
8
    },
9
    "少样本提示（Few-shot）": {
10
        "描述": "包含少量示例的指令",
11
        "示例": "以下是一些翻译示例...\n请翻译这句话",
12
        "占比": "~20%"
13
    },
14
    "基于用户（User-based）": {
15
        "描述": "标注员根据自身需求编写",
16
        "示例": "帮我写一封请假邮件",
17
        "占比": "~20%"
18
    }
19
}

1
# SFT 训练配置
2

3
sft_config = {
4
    "基础模型": "GPT-3 (1.2B, 6B, 175B 多个规模)",
5
    "训练数据": "13,000 条人类撰写示范",
6
    "训练轮数": 16 epochs,
7
    "学习率": "余弦衰减",
8
    "Dropout": 0.2（正则化防止过拟合）,
9
    "损失函数": "标准语言建模损失（交叉熵）",
10
    "关键改进": "去掉了 GPT-3 的 In-Context Learning 方式",
11
    "目标": "让模型学会以「助手」的身份回答问题",
12
}

1
# Bradley-Terry 偏好模型
2

3
import torch
4
import torch.nn.functional as F
5

6
class RewardModel:
7
    """
8
    奖励模型：将回答映射为标量分数
9

10
    核心思想：
11
    - 给定一个 (prompt, response) 对
12
    - RM 输出一个标量分数 r(prompt, response)
13
    - 分数越高表示人类越偏好这个回答
14
    """
15

16
    def preference_loss(self, chosen_score, rejected_score):
17
        """
18
        偏好比较的交叉熵损失
19

20
        如果 chosen_score > rejected_score，
21
        模型认为 chosen 更好 → 损失小
22

23
        P(chosen > rejected) = sigmoid(r_chosen - r_rejected)
24
        """
25
        return -F.logsigmoid(chosen_score - rejected_score)
26

27
    def training_step(self, batch):
28
        """
29
        训练步骤
30

31
        输入：同一提示的多个排序好的回答
32
        优化：让排序靠前的回答得分更高
33
        """
34
        # 对所有 (chosen, rejected) 对计算损失
35
        total_loss = 0
36
        for chosen_idx in range(len(batch)):
37
            for rejected_idx in range(chosen_idx + 1, len(batch)):
38
                loss = self.preference_loss(
39
                    batch[chosen_idx],   # 更好的回答
40
                    batch[rejected_idx]  # 较差的回答
41
                )
42
                total_loss += loss
43
        return total_loss

1
# 奖励模型的设计选择
2

3
rm_design = {
4
    "基础架构": "SFT 模型去掉最后的 unembedding 层",
5
    "输出": "添加一个线性层，输出标量分数",
6
    "模型规模": "6B 参数（在多个规模中表现最好）",
7
    "训练数据": "33,000 条人类排序的比较数据",
8
    "为什么不用 175B": "在 PPO 阶段需要频繁调用 RM",
9
    "效率考虑": "6B 的 RM 在质量和速度间取得平衡",
10
}

1
# PPO 目标函数的核心组成部分
2

3
class PPOObjective:
4
    """
5
    InstructGPT 的 PPO 目标函数
6

7
    objective = E[r(x, y)] - β * KL[π_θ || π_ref]
8

9
    其中：
10
    - r(x, y)：奖励模型对 (提示x, 回答y) 的打分
11
    - β * KL：KL 散度惩罚项
12
    - π_θ：当前策略模型
13
    - π_ref：参考模型（冻结的 SFT 模型）
14
    """
15

16
    def compute_objective(self, prompt, response, reward_model,
17
                          policy_model, ref_model, beta=0.02):
18
        # 1. 获取奖励模型的分数
19
        reward = reward_model.score(prompt, response)
20

21
        # 2. 计算 KL 散度惩罚
22
        kl_penalty = self.kl_divergence(
23
            policy_model, ref_model, prompt, response
24
        )
25

26
        # 3. 综合目标
27
        objective = reward - beta * kl_penalty
28

29
        # 4. PPO 的 clip 机制
30
        # 限制新旧策略的比例，防止更新过大
31
        clipped_objective = self.ppo_clip(objective)
32

33
        return clipped_objective
34

35
    def kl_divergence(self, policy, ref, prompt, response):
36
        """
37
        KL 散度惩罚的作用：
38
        - 防止策略模型偏离参考模型太远
39
        - 避免奖励模型过拟合（reward hacking）
40
        - 保持语言生成质量
41
        """
42
        pass

1
# KL 惩罚的必要性
2

3
kl_penalty_reasons = {
4
    "问题1: 奖励作弊（Reward Hacking）": {
5
        "描述": "模型可能找到 RM 的漏洞",
6
        "示例": "生成看似完美但实际无意义的内容",
7
        "解决": "KL 惩罚限制偏离程度"
8
    },
9
    "问题2: 模式崩塌": {
10
        "描述": "模型可能只输出高奖励的一种模式",
11
        "示例": "所有回答都变得极度保守",
12
        "解决": "KL 惩罚保持输出多样性"
13
    },
14
    "问题3: 语言质量退化": {
15
        "描述": "强化学习可能导致语言不自然",
16
        "示例": "输出语法错误或重复",
17
        "解决": "KL 惩罚维持语言建模能力"
18
    }
19
}

1
ppo_config = {
2
    "策略模型": "SFT 模型（1.3B 或 6B）",
3
    "参考模型": "冻结的 SFT 模型",
4
    "奖励模型": "6B 参数的 RM",
5
    "KL 惩罚系数 β": 0.02,
6
    "PPO clip 范围": 0.2,
7
    "批大小": 512,
8
    "前向批大小": 64,
9
    "学习率": "根据模型规模调整",
10
    "训练步数": "根据评估结果动态决定",
11
}

1
# InstructGPT 的核心实验结果
2

3
results = {
4
    "人类偏好评估": {
5
        "对比对象": "175B GPT-3 vs 1.3B InstructGPT",
6
        "结果": "85% 的评估者偏好 InstructGPT",
7
        "意义": "对齐比规模更重要"
8
    },
9
    "NLP 基准测试": {
10
        "对比对象": "SFT 模型 vs PPO 模型",
11
        "结果": "PPO 模型在多数基准上略优于 SFT 模型",
12
        "意义": "RLHF 不会损害语言能力"
13
    },
14
    "安全性评估": {
15
        "对比对象": "GPT-3 vs InstructGPT",
16
        "结果": {
17
            "毒性减少": "~25%",
18
            "真实性提升": "显著",
19
            "偏见减少": "显著",
20
        },
21
        "意义": "对齐训练同时改善了安全性"
22
    }
23
}

1
# GPT-3 vs InstructGPT 行为对比
2

3
comparison = {
4
    "提示": "请解释为什么天空是蓝色的",
5

6
    "GPT-3 回答模式": [
7
        "天空是蓝色的，这是很多人都知道的事实。",  # 续写模式
8
        "蓝天的原因和瑞利散射有关...",               # 有时正确但不稳定
9
        "你有没有想过为什么日落是红色的？",           # 完全偏题
10
    ],
11

12
    "InstructGPT 回答模式": [
13
        "天空呈现蓝色主要是因为瑞利散射...",          # 直接回答问题
14
        "简单来说：太阳光包含各种颜色...",            # 清晰、有条理
15
        "这个问题涉及到光的物理特性...",              # 适当展开
16
    ],
17

18
    "关键差异": "InstructGPT 能稳定地以「助手」身份回答问题"
19
}

1
# 标注团队组成
2

3
labeling_team = {
4
    "规模": "约 40 名标注员",
5
    "分布": "主要在美国，通过 Upwork 和 Scale AI 招聘",
6
    "筛选": "语言能力测试 + 标注一致性测试",
7
    "培训": "详细指南 + 定期校准会议",
8
    "多样性": {
9
        "背景": "不同教育水平和专业背景",
10
        "目标": "减少单一视角的偏见",
11
    }
12
}
13

14
# 与众包平台的对比
15
quality_comparison = {
16
    "InstructGPT 标注员": {
17
        "一致性": "~73%（显著高于一般众包）",
18
        "培训": "系统培训 + 持续反馈",
19
        "稳定性": "长期合作，积累经验",
20
    },
21
    "一般众包标注": {
22
        "一致性": "~50-60%",
23
        "培训": "通常较少",
24
        "稳定性": "人员流动性大",
25
    }
26
}

1
# 评估标注质量的方法
2

3
inter_annotator_analysis = {
4
    "一致性指标": {
5
        "整体一致性": "约 73%",
6
        "高一致性场景": "事实性问答（>80%）",
7
        "中等一致性场景": "创意写作（65-75%）",
8
        "低一致性场景": "主观偏好（50-65%）",
9
    },
10
    "对比参照": {
11
        "InstructGPT 标注员 vs 研究员": "约 73% 一致",
12
        "研究员 vs 研究员": "约 78% 一致",
13
        "结论": "标注员质量接近研究员水平",
14
    },
15
    "偏差分析": {
16
        "长度偏差": "标注员轻微偏好更长的回答",
17
        "格式偏差": "标注员偏好结构化的回答",
18
        "补偿": "在指南中明确提醒这些问题",
19
    }
20
}

1
# 安全相关的训练技巧
2

3
safety_techniques = {
4
    "提示增强": {
5
        "方法": "在 SFT 数据中包含敏感场景的示范",
6
        "示例": "如何礼貌地拒绝生成有害内容",
7
        "效果": "模型学会识别和回避敏感请求"
8
    },
9
    "RM 偏好训练": {
10
        "方法": "标注员明确标记有害内容为低偏好",
11
        "效果": "奖励模型学会惩罚有害输出"
12
    },
13
    "PPO 安全信号": {
14
        "方法": "在 PPO 训练中加入安全相关的提示",
15
        "效果": "强化安全行为模式"
16
    },
17
    "拒绝模式": {
18
        "方法": "训练模型在不确定时拒绝回答",
19
        "效果": "减少有害输出和幻觉"
20
    }
21
}

1
# 安全改进的定量结果
2

3
safety_results = {
4
    "毒性": {
5
        "GPT-3": "基线水平",
6
        "InstructGPT-SFT": "减少约 15%",
7
        "InstructGPT-PPO": "减少约 25%",
8
    },
9
    "偏见": {
10
        "GPT-3": "基线水平",
11
        "InstructGPT": "在 BBQ 基准上显著改善",
12
    },
13
    "真实性": {
14
        "GPT-3": "经常自信地给出错误答案",
15
        "InstructGPT": "更倾向于承认不确定",
16
    },
17
    "关键发现": "RLHF 不仅改善了有用性，还同时改善了安全性"
18
}

1
# 从 InstructGPT 到 ChatGPT 的变化
2

3
chatgpt_improvements = {
4
    "训练数据": {
5
        "InstructGPT": "约 13,000 条 SFT 数据",
6
        "ChatGPT": "更大规模的 SFT 数据 + 更多标注员",
7
        "改进": "数据质量和数量大幅提升"
8
    },
9
    "对话能力": {
10
        "InstructGPT": "主要面向单轮对话优化",
11
        "ChatGPT": "针对多轮对话专门优化",
12
        "改进": "支持上下文理解和追问"
13
    },
14
    "基础模型": {
15
        "InstructGPT": "基于 GPT-3（2020 年）",
16
        "ChatGPT": "基于 GPT-3.5（2022 年更新版）",
17
        "改进": "更强的基础语言能力"
18
    },
19
    "安全性": {
20
        "InstructGPT": "基本的安全训练",
21
        "ChatGPT": "更完善的安全策略 + 持续更新",
22
        "改进": "更少的越狱和有害输出"
23
    },
24
    "RLHF 方法": {
25
        "InstructGPT": "SFT + RM + PPO",
26
        "ChatGPT": "相同方法，更大规模",
27
        "改进": "配方的核心没变，原料更好"
28
    }
29
}

1
# InstructGPT 到 ChatGPT 的核心洞察
2

3
key_insight = """
4
InstructGPT 证明了三件事：
5
1. SFT + RM + PPO 的配方是有效的
6
2. 对齐比规模更重要（1.3B 对齐 > 175B 不对齐）
7
3. 人类反馈可以系统性地改善模型行为
8

9
ChatGPT 的成功本质上是：
10
- 把 InstructGPT 的配方放大
11
- 换了一个更强的基座模型（GPT-3.5）
12
- 加入了对话式交互的优化
13
- 更大规模的人类反馈数据
14

15
技术路线没有根本变化，
16
但工程实现和规模有质的飞跃。
17
"""

1
# InstructGPT 的影响
2

3
impact = {
4
    "引用量": "5000+ 次（截至 2026 年）",
5
    "直接继承者": [
6
        "ChatGPT（2022 年 11 月）",
7
        "GPT-4（2023 年 3 月）",
8
        "所有后续 OpenAI 模型",
9
    ],
10
    "行业采用": {
11
        "Google": "Gemini 使用类似的 RLHF 方法",
12
        "Anthropic": "Claude 基于 RLHF 发展出 RLAIF",
13
        "Meta": "LLaMA 2 Chat 使用 RLHF",
14
        "开源社区": "OpenAssistant, Alpaca 等复现",
15
    },
16
    "论文贡献": [
17
        "定义了 SFT + RM + PPO 的标准流程",
18
        "证明了对齐比规模更重要",
19
        "建立了人类偏好评估的标准方法",
20
        "将 RLHF 从研究推向产品",
21
    ]
22
}

1
# InstructGPT 开启的研究方向
2

3
research_directions = {
4
    "RLHF 改进": {
5
        "DPO": "直接偏好优化，跳过奖励模型",
6
        "IPO": "更稳定的偏好优化",
7
        "KTO": "只需要好/坏标签，不需要成对比较",
8
    },
9
    "替代方法": {
10
        "Constitutional AI": "AI 自我批评和改进",
11
        "RLAIF": "用 AI 替代人类标注偏好",
12
        "Self-Play": "模型自我对弈优化",
13
    },
14
    "安全性": {
15
        "Red Teaming": "系统性地发现模型弱点",
16
        "Superalignment": "弱到强泛化",
17
        "Scalable Oversight": "可扩展的监督方法",
18
    },
19
    "效率": {
20
        "RLHF 加速": "减少人类标注需求",
21
        "在线 RLHF": "在部署中持续学习",
22
        "多任务 RLHF": "同时优化多个目标",
23
    }
24
}