1
| 维度          | 普通模型         | 推理模型                  |
2
|---------------|------------------|---------------------------|
3
| 输出方式      | 直接生成         | 先思考后输出              |
4
| 响应时间      | 毫秒级           | 秒到分钟级                |
5
| 推理深度      | 1-2 步           | 可达数十步                |
6
| 错误纠正      | 无法自纠         | 可内部验证纠错            |
7
| 复杂任务      | 容易出错         | 显著提升                  |
8
| 可解释性      | 黑盒             | 思考过程可见              |
9
| 计算成本      | 固定             | 随思考时间增长            |

1
| 基准测试      | GPT-4o      | o1          | o3              |
2
|---------------|-------------|-------------|------------------|
3
| AIME 2024     | 13%         | 83%         | 92%             |
4
| Codeforces    | 1280        | 1890        | 2200            |
5
| GPQA Diamond  | 49%         | 72%         | 78%             |
6
| MMLU          | 88%         | 92%         | 94%             |
7
| ARC-AGI       | 5%          | 25%         | 87.5%           |

1
class RLVRTrainer:
2
    """RLVR 训练器"""
3

4
    def __init__(self, model, verifier):
5
        self.model = model
6
        self.verifier = verifier  # 结果验证器
7

8
    def train_step(self, problem):
9
        """单步训练"""
10
        # 1. 模型生成推理链
11
        reasoning_chain = self.model.generate_reasoning(problem)
12

13
        # 2. 执行并验证
14
        result = self.execute(reasoning_chain)
15
        is_correct, feedback = self.verifier.verify(problem, result)
16

17
        # 3. 计算奖励
18
        reward = 1.0 if is_correct else 0.0
19

20
        # 4. 强化学习更新
21
        self.model.update_with_ppo(reasoning_chain, reward)
22

23
        return {
24
            "problem": problem,
25
            "reasoning": reasoning_chain,
26
            "result": result,
27
            "correct": is_correct,
28
            "reward": reward
29
        }
30

31

32
class MathVerifier:
33
    """数学问题验证器"""
34

35
    def verify(self, problem, answer):
36
        """验证数学答案"""
37
        expected = problem.answer
38
        # 符号化验证或数值比较
39
        is_correct = self._compare_answers(answer, expected)
40

41
        return is_correct, None
42

43

44
class CodeVerifier:
45
    """代码验证器"""
46

47
    def verify(self, problem, code):
48
        """运行测试用例验证代码"""
49
        test_cases = problem.test_cases
50
        passed = 0
51

52
        for test in test_cases:
53
            try:
54
                output = self._run_code(code, test.input)
55
                if output == test.expected:
56
                    passed += 1
57
            except:
58
                pass
59

60
        return passed == len(test_cases), f"Passed {passed}/{len(test_cases)}"

1
| 维度          | RLHF            | RLVR                      |
2
|---------------|------------------|---------------------------|
3
| 奖励来源      | 人类偏好        | 自动验证                  |
4
| 可扩展性      | 受限于人力      | 几乎无限                  |
5
| 客观性        | 主观            | 客观                      |
6
| 噪声          | 高              | 低                        |
7
| 成本          | 高              | 低                        |
8
| 适用任务      | 开放性任务      | 可验证任务                |
9
| 训练数据量    | 有限            | 大规模                    |