1
l o w </w>
2
l o w e r </w>
3
l o w e s t </w>

1
(l, o): 3 次
2
(o, w): 3 次
3
(w, e): 2 次
4
(e, r): 1 次
5
(e, s): 1 次
6
(s, t): 1 次

1
lo w </w>
2
lo w e r </w>
3
lo w e s t </w>

1
low </w>
2
low e r </w>
3
low e s t </w>

1
def bpe_encode(token, merges):
2
    """将一个单词用 BPE 编码"""
3
    word = list(token) + ['</w>']
4

5
    while len(word) > 1:
6
        # 找到优先级最高的合并对
7
        pairs = [(word[i], word[i+1]) for i in range(len(word)-1)]
8
        best_pair = min(pairs, key=lambda p: merges.get(p, float('inf')))
9

10
        if best_pair not in merges:
11
            break  # 没有更多合并规则可用
12

13
        # 应用合并
14
        new_word = []
15
        i = 0
16
        while i < len(word):
17
            if i < len(word) - 1 and (word[i], word[i+1]) == best_pair:
18
                new_word.append(word[i] + word[i+1])
19
                i += 2
20
            else:
21
                new_word.append(word[i])
22
                i += 1
23
        word = new_word
24

25
    return word
26

27
# 示例
28
merges = {('l', 'o'): 0, ('lo', 'w'): 1, ...}
29
print(bpe_encode("lowest", merges))
30
# 输出: ['low', 'est</w>']

1
# Byte-level BPE 的基本单元是字节
2
text = "你好世界"  # 中文
3
bytes_repr = text.encode('utf-8')
4
# b'\xe4\xbd\xa0\xe5\xa5\xbd\xe4\xb8\x96\xe7\x95\x8c'
5
# 每个中文字符 = 3 个字节

1
# BPE: 选择频率最高的对
2
best_pair = max(pairs, key=lambda p: count[p])
3

4
# WordPiece: 选择似然增益最大的对
5
# Score = P(AB) / (P(A) * P(B))
6
best_pair = max(pairs, key=lambda p: likelihood_gain(p))

1
输入: "unbelievable"
2
分词: ["un", "##believe", "##able"]
3

4
输入: "helloworld"
5
分词: ["hello", "##world"]

1
# "invisible" 的可能分词
2
# 方案1: ["in", "vis", "ible"]       P = 0.3
3
# 方案2: ["invis", "ible"]           P = 0.5
4
# 方案3: ["in", "visible"]           P = 0.2
5
# 选择概率最高的方案2

1
import sentencepiece as spm
2

3
# 训练 SentencePiece 模型
4
spm.SentencePieceTrainer.train(
5
    input='corpus.txt',
6
    model_prefix='mymodel',
7
    vocab_size=32000,
8
    model_type='unigram',  # 或 'bpe'
9
)
10

11
# 使用模型
12
sp = spm.SentencePieceProcessor()
13
sp.load('mymodel.model')
14

15
# 编码
16
tokens = sp.encode("Hello, how are you?", out_type=str)
17
# ['▁Hello', ',', '▁how', '▁are', '▁you', '?']
18

19
ids = sp.encode("Hello, how are you?")
20
# [1234, 56, 789, 345, 678, 90]
21

22
# 解码（可逆）
23
text = sp.decode(ids)
24
# "Hello, how are you?"

1
import tiktoken
2

3
# GPT-4 使用的分词器
4
enc = tiktoken.get_encoding("cl100k_base")
5

6
# 编码
7
tokens = enc.encode("Hello, how are you?")
8
print(tokens)  # [9906, 11, 1268, 527, 499, 30]
9

10
# 解码
11
text = enc.decode(tokens)
12
print(text)  # "Hello, how are you?"
13

14
# 统计 Token 数量
15
def count_tokens(text, model="gpt-4"):
16
    enc = tiktoken.encoding_for_model(model)
17
    return len(enc.encode(text))
18

19
print(count_tokens("这是一段中文文本"))

1
import sentencepiece as spm
2

3
# 加载 LLaMA 分词器
4
sp = spm.SentencePieceProcessor()
5
sp.load("llama_tokenizer.model")
6

7
# 编码
8
tokens = sp.encode("Hello, world!")
9
print(tokens)  # [1, 15043, 29892, 1917, 29901]
10

11
# 获取子词文本
12
pieces = sp.encode("Hello, world!", out_type=str)
13
print(pieces)  # ['▁Hello', ',', '▁world', '!']
14

15
# 解码
16
text = sp.decode(tokens)
17
print(text)  # "Hello, world!"
18

19
# 词汇表大小
20
print(f"Vocab size: {sp.get_piece_size()}")

1
from tokenizers import Tokenizer
2
from tokenizers.models import BPE
3
from tokenizers.trainers import BpeTrainer
4
from tokenizers.pre_tokenizers import Whitespace
5

6
# 从零训练 BPE 分词器
7
tokenizer = Tokenizer(BPE(unk_token="[UNK]"))
8
tokenizer.pre_tokenizer = Whitespace()
9
trainer = BpeTrainer(vocab_size=30000, special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"])
10

11
# 训练
12
tokenizer.train(files=["corpus.txt"], trainer=trainer)
13

14
# 使用
15
output = tokenizer.encode("Hello, how are you?")
16
print(output.tokens)  # ['Hello', ',', 'how', 'are', 'you', '?']
17
print(output.ids)     # [234, 56, 789, 345, 678, 90]

1
同一个句子 "这是一段关于大语言模型的中文文本"
2
- GPT-4 (cl100k_base): ~18 Tokens × $0.03/1K = $0.00054
3
- LLaMA (SentencePiece): ~25 Tokens × 更低单价
4
- Qwen (优化中文): ~12 Tokens × 最低单价
5

6
→ 分词效率直接影响使用成本

1
128K Token 上下文窗口
2
- 英文（GPT-4）: ~100K 单词 ≈ 1 本书
3
- 中文（LLaMA）: ~50K 字符 ≈ 半本书（因为压缩率低）
4
- 中文（Qwen）: ~80K 字符 ≈ 接近 1 本书（因为压缩率高）