1.1 核心思想#

T5 将所有 NLP 任务统一为”文本到文本”的格式：

这种设计的核心优势在于：无论什么任务，模型的输入输出格式完全一致。这意味着同一个模型、同一套训练流程可以处理翻译、摘要、分类、问答等截然不同的 NLP 任务，不需要为每个任务设计特定的输出头（output head）或损失函数。

1.2 任务统一格式#

T5 通过在输入前添加任务特定的前缀（prefix）来区分不同任务。这种做法后来被广泛采用，成为 instruction-following 模型的基本范式。

1.3 论文信息#

1
论文：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2
作者：Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, ...
3
机构：Google Research, Brain Team
4
发表：2019 年 10 月（Journal of Machine Learning Research）
5
引用：15000+ 次

这篇论文的特别之处在于它不仅仅提出了一个模型，更是一次大规模的系统性消融实验——比较了不同架构、预训练目标、数据集和训练策略的效果。

2.1 Encoder-Decoder 结构详解#

T5 使用经典的 Transformer Encoder-Decoder 架构，但在原始 Transformer 基础上做了几处重要简化：

T5 的架构关键细节：

为什么选择 Encoder-Decoder 而非 Decoder-only？ T5 论文系统地比较了三种架构：Encoder-Decoder、Decoder-only（语言模型）、以及前缀 LM（Prefix LM）。实验结果显示，Encoder-Decoder 架构在整体性能上略占优势，特别是在需要双向理解输入的任务（如分类、问答）上。

2.2 模型规模配置#

可以看到，从 T5-3B 到 T5-11B，d_model 保持不变但 d_ff 大幅扩展。这种设计使得 FFN 层占据了绝大部分参数。

2.3 对比 GPT 的差异#

2.4 相对位置编码#

T5 没有使用 Transformer 原论文中的正弦位置编码，而是采用了一种可学习的相对位置偏置（Relative Position Bias）：

1
# 简化的相对位置偏置示意
2
class RelativePositionBias(nn.Module):
3
    def __init__(self, num_buckets=32, max_distance=128, num_heads=12):
4
        self.relative_attention_bias = nn.Embedding(num_buckets, num_heads)
5

6
    def forward(self, qlen, klen):
7
        # 计算相对位置: q_pos - k_pos
8
        # 将相对位置映射到 [0, num_buckets) 的桶中
9
        # 对称桶设计：正负位置分别映射
10
        relative_position = compute_relative_pos(qlen, klen)
11
        rp_bucket = position_to_bucket(relative_position)
12
        bias = self.relative_attention_bias(rp_bucket)  # [qlen, klen, num_heads]
13
        return bias  # 添加到注意力分数上

这种设计的优势：位置信息直接参与到注意力计算中，而不是简单地加到 token embedding 上；同时桶化（bucketing）策略使得模型可以泛化到训练时未见过的序列长度。

3.1 预训练数据：C4 数据集#

T5 论文构建了一个名为 C4（Colossal Clean Crawled Corpus） 的大规模预训练数据集：

C4 数据集的清洗步骤：

1. 语言过滤：仅保留英语文档（使用 langdetect）
2. 质量过滤：移除包含不良词汇的页面
3. 去重：移除重复的句子和文档
4. 长度过滤：移除过短的文档（少于 3 个句子）
5. 屏蔽词过滤：移除包含 JavaScript 代码的页面

C4 数据集后来成为 NLP 预训练的标准数据集之一，被许多后续工作采用。但需要注意的是，它的英文单一语言限制也引发了关于多语言能力的讨论。

3.2 预训练任务：Span Corruption#

T5 论文最核心的实验发现是：Span Corruption（跨度破坏）是最有效的预训练目标。

Span Corruption 的工作原理：

1
# Span Corruption 示例
2
# 原文: "Thank you for inviting me to your party last week."
3

4
# 步骤1: 随机选择 span 进行破坏
5
# 选中 "for inviting me" (3 个 tokens) 和 "party last" (2 个 tokens)
6

7
# 步骤2: 用 sentinel tokens 替换被选中的 span
8
# 输入: "Thank you <X> to your <Y> week."
9
# 目标: "<X> for inviting me <Y> party last"
10

11
# 实际 sentinel tokens 格式:
12
# 输入: "Thank you <extra_id_0> to your <extra_id_1> week."
13
# 输出: "<extra_id_0> for inviting me <extra_id_1> party last"

Sentinel Tokens 是 T5 引入的特殊 token（<extra_id_0> 到 <extra_id_99>），用于标记被破坏的 span 的位置。这种设计有几个关键特点：

• Span 连续性：破坏的是连续的 token 序列，而非随机分散的单个 token（与 BERT 的 MLM 不同）
• 可变长度：每个 span 的长度由几何分布采样决定（平均 span 长度约 3 个 token）
• 自回归解码：模型需要按顺序逐个预测被破坏的 span
• 破坏比例：通常为 15% 的 token 被破坏

3.3 消融实验：为什么选择 Span Corruption？#

T5 论文的最大贡献之一是系统性的消融实验。论文比较了多种预训练目标：

关键发现：Replace Corrupted Spans（即 Span Corruption）在几乎所有下游任务上都表现最好，且不需要额外的特殊标记（如 BERT 的 [MASK]），因为 sentinel tokens 本身就是词汇表的一部分。

3.4 训练配置#

T5 使用 AdaFactor 优化器而非 Adam，这是因为它在大规模训练中内存效率更高——AdaFactor 不需要为每个参数存储动量（momentum）的完整矩阵。

4.1 核心思想#

FLAN（Fine-tuned Language Net）是 Google 在 2021 年提出的，它证明了一个革命性的观点：

大型语言模型可以通过在多种任务上进行指令微调，获得在完全未见过的任务上的零样本泛化能力。

4.2 指令模板设计#

FLAN 的一个关键设计是为每个任务创建多种指令模板，以避免模型过拟合到特定格式：

1
# FLAN 指令模板示例（以翻译任务为例）
2
templates = {
3
    "translation": [
4
        "Translate this from {source_lang} to {target_lang}: {text}",
5
        "What is the {target_lang} translation of: {text}",
6
        "Convert the following text from {source_lang} into {target_lang}: {text}",
7
        "{text}
8

9
Translate the above text from {source_lang} to {target_lang}.",
10
        "Produce a {target_lang} translation of the following {source_lang} text: {text}",
11
    ],
12
    "summarization": [
13
        "Summarize this: {text}",
14
        "Write a summary of: {text}",
15
        "Briefly describe what this is about: {text}",
16
        "What is a shorter version of this: {text}",
17
        "Generate a summary of the following article: {text}",
18
    ],
19
    "qa": [
20
        "Answer this question based on the context: {question} Context: {context}",
21
        "Based on the context, answer the question. Context: {context} Question: {question}",
22
        "Read the following and answer the question below. {context} Question: {question}",
23
    ],
24
}

每个任务平均设计了 10 个不同的指令模板。这种多样性确保模型学到的是”理解指令”而非”记住格式”。

4.3 任务聚类与评估策略#

FLAN 的评估策略非常巧妙——使用 Leave-One-Out Task Clustering：

1
将 62 个 NLP 任务分为若干聚类：
2
├── 聚类 1：情感分析（SST-2, IMDb, Yelp, ...）
3
├── 聚类 2：自然语言推理（MNLI, RTE, QNLI, ...）
4
├── 聚类 3：问答（SQuAD, TriviaQA, ...）
5
├── 聚类 4：翻译（WMT, ...）
6
└── 聚类 5：摘要（CNN/DailyMail, ...）
7

8
评估时：
9
- 选择一个聚类作为"未见任务"
10
- 使用其他所有聚类的数据进行指令微调
11
- 在未见聚类上测试零样本性能
12
- 轮流对每个聚类进行以上操作

这种设计验证了一个关键假设：模型确实能从多种任务的指令中学习到通用的”理解指令”能力，而不仅仅是记忆特定任务。

4.4 FLAN 的实验结果#

论文还发现了一个关键点：模型越大，FLAN 的效果越好。137B 参数的模型从指令微调中的收益远大于 8B 的模型，这说明指令理解能力是随着模型规模涌现的。

5.1 FLAN-v2（2022）#

FLAN-v2（Scaling Instruction-Finetuned Language Models）大幅扩展了原始 FLAN 的工作：

5.2 FLAN-T5#

FLAN-T5 是将 FLAN 指令微调应用于 T5 模型的产物，也是最早的高质量开源指令微调模型之一：

1
FLAN-T5 的训练流程：
2

3
1. 使用 T5 预训练权重（C4 数据集上的 Span Corruption）
4
2. 收集 1836 个任务的指令数据
5
3. 混合所有任务进行指令微调
6
4. 输出：FLAN-T5（在各尺寸上都显著优于原始 T5）

FLAN-T5 的关键改进：

• 输入反转（Input Inversion）：部分任务将输出作为输入，让模型学习逆向推理
• 思维链数据（CoT Data）：加入 Chain-of-Thought 格式的推理数据
• 任务混合策略：通过过采样少数类别来平衡不同任务的数据量

5.3 FLAN 的贡献与数据构建#

FLAN 的指令数据集构建方法：

FLAN 证明了：不需要为每个任务收集大量标注数据，只需要在多种任务的少量指令数据上微调，模型就能获得广泛的泛化能力。这一发现为后来的 Instruction Following 研究奠定了基础。

6.1 版本演进#

6.2 T5 v1.1 与 T5 v11#

Google 在 2021 年发布了 T5 的改进版本：

T5 v1.1 的改进：

• 将 Feed-Forward 激活函数从 ReLU 改为 gated-GELU（即 gate(x) = x * sigmoid(W_g * x)，输出维度减半）
• 修改了权重初始化方式（使用 GeoMedian 初始化）
• 在 C4 数据集的改进版本 上重新预训练
• 仅在无监督预训练阶段训练（不包含有监督微调）

T5 v11：

• 在 C4 数据集的进一步清洗版本上预训练
• 去除了 Wikipedia 和 OpenWebText 的重复数据
• 训练更加充分

T5 v1.1 在社区中被广泛使用，特别是 t5-v1_1-base 和 t5-v1_1-large 成为许多 NLP 项目的默认 backbone。

6.3 UL2 (2022)#

UL2（Unifying Language Learning）提出了混合去噪器（Mixture of Denoisers），统一了不同的预训练范式：

1
# UL2 三种去噪目标
2
objectives = {
3
    "R-Denoiser": {
4
        "描述": "常规去噪，短 span，高破坏比例",
5
        "破坏比例": "15%",
6
        "span长度": "3-5 tokens",
7
        "类似": "标准 BERT MLM",
8
    },
9
    "S-Denoiser": {
10
        "描述": "顺序去噪，长 span",
11
        "破坏比例": "25%",
12
        "span长度": "6-∞ tokens",
13
        "类似": "T5 Span Corruption",
14
    },
15
    "X-Denoiser": {
16
        "描述": "极端去噪，极大破坏",
17
        "破坏比例": "50%",
18
        "span长度": "3-∞ tokens",
19
        "类似": "极端破坏+重建",
20
    },
21
}
22

23
# 训练时随机选择一种去噪模式
24
mode = random.choice(["R", "S", "X"])
25
loss = model(input_with_noise, denoise_mode=mode)

UL2 的核心洞察：不同的预训练目标侧重不同能力（理解 vs. 生成），混合训练可以让模型同时获得两种能力。

7.1 开源模型生态#

T5/FLAN 启发了众多开源模型和项目：

• FLAN-T5：最早的高质量开源指令微调模型之一，被广泛应用于研究和生产
• T0 模型：Hugging Face 基于 T5 开发的多任务指令微调模型，进一步验证了 FLAN 的思路
• UL2：成为后续 Google 内部模型的基础架构
• mT5：T5 的多语言版本，支持 101 种语言
• ByT5：T5 的字符级版本，无需 tokenizer

7.2 T0 模型#

T0（Sanh et al., 2021）是 Hugging Face BigScience 项目的重要成果，直接受到 FLAN 的启发：

1
T0 的设计思路：
2
- 基础模型：T5-Large（770M 参数）
3
- 训练数据：来自 PromptSource 的多任务指令数据
4
- 任务数量：107 个数据集，共 1700+ 个 prompt
5
- 核心验证：在小参数模型上也能实现指令泛化

T0 的贡献在于证明了 FLAN 的思路不局限于超大规模模型（137B+），在 770M 的规模上也能获得显著的零样本泛化提升。

7.3 研究贡献#

7.4 对 GPT 时代的启示#

虽然 Decoder-only 架构（GPT 系列）最终成为主流，但 T5/FLAN 的思想影响深远：

1. 指令微调范式：FLAN 证明的”指令微调 → 零样本泛化”成为现代 LLM 的标准训练步骤
2. 任务统一思想：Text-to-Text 的理念在 ChatGPT 等 instruction-following 模型中得到延续
3. 预训练目标研究：Span Corruption 和混合去噪的思想影响了 LLaMA、PaLM 等后续模型的预训练
4. 开源精神：T5 是最早的大规模开源预训练模型之一，推动了开源 LLM 生态的发展