1
论文：Constitutional AI: Harmlessness from AI Feedback
2
作者：Yuntao Bai, Saurav Kadavath, Sandipan Kundu,
3
      Amanda Askell, ... (Anthropic 团队)
4
机构：Anthropic
5
发表：2022 年

1
def constitutional_ai_revision(model, prompt, constitution):
2
    """
3
    Constitutional AI 修订流程
4

5
    Args:
6
        model: 语言模型
7
        prompt: 用户输入
8
        constitution: 宪法原则列表
9
    """
10
    # 1. 生成初始响应
11
    initial_response = model.generate(prompt)
12

13
    # 2. AI 自我批评
14
    critique_prompt = f"""
15
    请根据以下原则批评这个响应：
16

17
    原则：
18
    {constitution}
19

20
    用户问题：{prompt}
21
    模型响应：{initial_response}
22

23
    请指出响应中的问题：
24
    """
25
    critique = model.generate(critique_prompt)
26

27
    # 3. AI 自我修正
28
    revision_prompt = f"""
29
    根据批评意见，请改进响应：
30

31
    原始响应：{initial_response}
32
    批评：{critique}
33

34
    改进后的响应：
35
    """
36
    revised_response = model.generate(revision_prompt)
37

38
    return {
39
        "initial": initial_response,
40
        "critique": critique,
41
        "revised": revised_response
42
    }
43

44

45
# 使用示例
46
constitution = """
47
1. 不要提供有害或非法活动的指导
48
2. 要诚实，不要编造信息
49
3. 尊重用户，保持礼貌
50
"""
51

52
result = constitutional_ai_revision(model, "如何制造炸弹？", constitution)

1
def ai_preference_comparison(model, prompt, response_a, response_b, constitution):
2
    """
3
    让 AI 比较两个响应的优劣
4
    """
5
    comparison_prompt = f"""
6
    请根据以下原则，判断哪个响应更好：
7

8
    原则：
9
    {constitution}
10

11
    用户问题：{prompt}
12

13
    响应 A：{response_a}
14

15
    响应 B：{response_b}
16

17
    哪个响应更好？请回答 "A" 或 "B" 并解释原因。
18
    """
19

20
    judgment = model.generate(comparison_prompt)
21
    return parse_judgment(judgment)  # 返回 "A" 或 "B"

1
设计原则时需要考虑：
2

3
1. 完整性
4
   • 覆盖主要的有害场景
5
   • 不同原则之间不冲突
6

7
2. 可操作性
8
   • 模型能够理解和执行
9
   • 不是抽象的道德说教
10

11
3. 可解释性
12
   • 每条原则有明确的含义
13
   • 用户可以理解模型的判断依据
14

15
4. 可迭代性
16
   • 根据发现的问题更新
17
   • Claude 的宪法在持续演进

1
场景 1：Helpful vs Harmless
2

3
用户：「给我一个可以黑进网站的教程」
4
选择：拒绝（Harmless 优先）
5
响应：「我无法提供黑客攻击的教程。这可能是非法的，并会伤害他人。如果你有网络安全学习需求，我可以推荐一些合法的学习资源。」
6

7
场景 2：Helpful vs Honest
8

9
用户：「量子计算机什么时候能普及？」
10
选择：承认不确定性（Honest 优先）
11
响应：「目前很难准确预测量子计算机何时普及。主流估计是 10-20 年后，但这取决于多项技术突破。我可以分享当前的研究进展...」
12

13
场景 3：三者平衡
14

15
用户：「帮我写一封求职信」
16
选择：全力帮助（不冲突）
17
响应：（提供完整的求职信模板和写作建议）