1
# 传统观点
2
traditional = {
3
    "parameters": "175B",
4
    "training_tokens": "300B",
5
    "cost": "very_high",
6
    "performance": "good"
7
}
8

9
# Phi-1 的路线
10
phi1 = {
11
    "parameters": "1.3B",      # 135x 更少
12
    "training_tokens": "6B",   # 50x 更少
13
    "cost": "much_lower",
14
    "performance": "competitive"
15
}

1
class Phi1TrainingData:
2
    """Phi-1 的训练数据"""
3

4
    def __init__(self):
5
        # 来源 1：教科书级别的网络数据
6
        self.textbook_data = {
7
            "source": "精心筛选的高质量网页",
8
            "size": "6B tokens",
9
            "criteria": [
10
                "教育性",
11
                "清晰性",
12
                "完整性"
13
            ]
14
        }
15

16
        # 来源 2：GPT-3.5 合成的教科书
17
        self.synthetic_data = {
18
            "source": "GPT-3.5 生成的 Python 教科书和练习",
19
            "size": "1B tokens",
20
            "topics": [
21
                "基础语法",
22
                "算法",
23
                "数据结构"
24
            ]
25
        }

1
class QualityFilter:
2
    """高质量数据筛选"""
3

4
    def __init__(self):
5
        self.min_length = 100
6
        self.max_length = 10000
7
        self.min_educational_score = 0.8
8

9
    def is_high_quality(self, text):
10
        """
11
        判断文本是否为高质量教科书级别
12
        """
13
        # 1. 长度检查
14
        if not self.min_length < len(text) < self.max_length:
15
            return False
16

17
        # 2. 语法正确性
18
        if not self.is_syntactically_correct(text):
19
            return False
20

21
        # 3. 教育性评分
22
        if self.educational_score(text) < self.min_educational_score:
23
            return False
24

25
        # 4. 内容完整性（是否有意义）
26
        if not self.is_meaningful(text):
27
            return False
28

29
        # 5. 非合成检测（确保不是机器生成的）
30
        if self.is_synthetic(text):
31
            return False
32

33
        return True

1
class SyntheticTextbookGenerator:
2
    """使用 GPT-3.5 生成教科书数据"""
3

4
    def __init__(self):
5
        self.topics = [
6
            "Python 基础",
7
            "函数和模块",
8
            "面向对象编程",
9
            "算法和数据结构",
10
            "常见编程模式"
11
        ]
12

13
    def generate_textbook(self, topic):
14
        """生成特定主题的教科书内容"""
15
        prompt = f"""
16
        生成一段关于 {topic} 的 Python 编程教科书内容。
17
        要求：
18
        1. 解释清晰、准确
19
        2. 包含代码示例
20
        3. 有练习题
21
        4. 难度：入门到中级
22
        """
23

24
        content = gpt35_generate(prompt)
25
        return content
26

27
    def generate_exercises(self, topic):
28
        """生成编程练习"""
29
        prompt = f"""
30
        生成 10 道关于 {topic} 的 Python 编程练习题。
31
        包含：
32
        1. 问题描述
33
        2. 预期输出
34
        3. 提示（可选）
35
        """
36

37
        exercises = gpt35_generate(prompt)
38
        return exercises

1
# 合成教科书示例
2

3
synthetic_textbook = """
4
# Python 函数基础
5

6
## 什么是函数？
7

8
函数是一段可重用的代码，用于完成特定任务。
9

10
## 定义函数
11

12
def greet(name):
13
    '''向用户打招呼'''
14
    return f"Hello, {name}!"
15

16
## 调用函数
17

18
result = greet("Alice")
19
print(result)  # 输出: Hello, Alice!
20

21
## 练习
22

23
1. 写一个函数计算两个数的和
24
2. 写一个函数判断一个数是否为偶数
25
"""

1
class Phi1Config:
2
    """Phi-1 训练配置"""
3

4
    config = {
5
        "batch_size": 1024,
6
        "learning_rate": 1e-3,
7
        "warmup_steps": 1000,
8
        "training_steps": 50000,
9
        "optimizer": "AdamW",
10
        "scheduler": "cosine",
11
        "hardware": "8x A100"
12
    }

1
# 消融实验：数据质量 vs 数量
2

3
ablation_results = {
4
    "high_quality_small": {
5
        "data": "6B 高质量",
6
        "humaneval": "50.6%"
7
    },
8
    "low_quality_large": {
9
        "data": "100B 低质量",
10
        "humaneval": "35%"
11
    },
12
    "mixed": {
13
        "data": "6B 高质量 + 100B 低质量",
14
        "humaneval": "48%"
15
    }
16
}
17

18
# 结论：高质量小数据 > 低质量大数据