1.1 从「更大」到「更好」#

PaLM 1（540B 参数）走的是 Scaling Law 的路线：参数越多，能力越强。PaLM 2 的思路不同：用更高质量的训练数据和改进的架构，在更小的参数量下实现更好的效果。

这个策略的背景是 DeepMind 的 Chinchilla 论文（Hoffmann et al., 2022）。Chinchilla 证明：在固定计算预算下，更小的模型配合更多的训练数据，可以超越大参数量的模型。PaLM 2 是这一理论在工业界的验证。

1.2 训练数据#

PaLM 2 在训练数据上做了大量改进：

1
# PaLM 2 训练数据混合（推测）
2
palm2_data_mix = {
3
    "英语网页文本": "约 60%",
4
    "多语言文本": "约 15%（覆盖 100+ 语言）",
5
    "代码": "约 20%（大量 GitHub 代码）",
6
    "科学论文": "约 5%（arXiv 等）",
7
}
8

9
# 关键改进
10
improvements = {
11
    "数据质量": "更强的去重和清洗管道",
12
    "数据多样性": "更多非英语数据和高质量科学文本",
13
    "代码比例": "显著增加代码训练数据",
14
    "训练 tokens": "3.6T+ tokens（远超 PaLM 1）",
15
}

数据质量的提升包括：更精细的去重（避免模型记忆重复内容）、更好的有害内容过滤、以及科学文献和数学公式的大量引入。

1.3 架构改进#

PaLM 2 的架构细节没有完全公开，但技术报告透露了几个关键改进：

注意力机制优化：PaLM 2 可能采用了更高效的注意力变体（如 GQA），以降低推理时的 KV 缓存开销。

训练目标改进：除了标准的下一个 token 预测，PaLM 2 可能引入了多任务训练目标，同时优化语言建模、翻译和推理能力。

并行策略：Google 使用了 Pathways 系统进行分布式训练，能高效地在数千个 TPU 上训练超大规模模型。

2.1 训练方法#

PaLM 2 在多语言能力上实现了重大突破。关键在于训练数据的质和量：

PaLM 2 的多语言训练不仅仅是增加非英语数据的比例，更重要的是：

• 构建高质量的多语言评估基准
• 使用跨语言迁移学习，让高资源语言的能力迁移到低资源语言
• 引入更多的翻译对齐数据

2.2 多语言基准#

PaLM 2 在多语言基准上的表现大幅超越 PaLM 1：

2.3 翻译能力#

PaLM 2 的翻译能力特别值得关注。在 100+ 语言的翻译对上，PaLM 2 在多个语言对上超越了专门的翻译模型。

这种翻译能力的提升，得益于 PaLM 2 对多语言语义表示的更好学习。模型不只是记住了词汇对应关系，而是真正理解了不同语言之间的语义映射。

3.1 数学推理#

PaLM 2 在数学推理上取得了显著进步：

推理能力的提升来自两方面：

• 训练数据中包含大量数学公式和推导过程（arXiv 论文、数学教材）
• 使用 Minerva 方法在推理数据上进行微调

3.2 代码生成#

代码能力是 PaLM 2 的另一大亮点：

PaLM 2 的 HumanEval 从 27.6% 跃升到 62.6%，接近 GPT-4 的水平。这个提升主要归功于训练数据中代码比例的大幅增加。

3.3 逻辑推理#

在逻辑推理基准上，PaLM 2 也有明显提升：

• BIG-Bench Hard：从 PaLM 1 的 42.3% 提升到 65.1%
• StrategyQA：从 74.2% 提升到 85.3%
• LogiQA：逻辑推理正确率显著提高

4.1 四个规模版本#

PaLM 2 提供了四个不同规模的版本，适配不同场景：

Gecko 的存在特别有意义。它证明了经过高质量训练，即使是 1.8B 的模型也能在对话和问答任务上表现出色。这为移动端 AI 部署铺平了道路。

4.2 与 Gemini 的关系#

PaLM 2 是 Google 在 LLM 竞赛中的，但不是终点。2023 年底，Google 发布了 Gemini 系列，作为 PaLM 的后继者：

PaLM 2 的多语言训练经验和推理增强技术，直接延续到了 Gemini 系列中。

4.3 Gemma 开源模型#

2024 年，Google 基于 PaLM 2 的技术发布了 Gemma 开源模型：

• Gemma 2B / 7B：基于 PaLM 2 架构训练的开源模型
• 采用和 PaLM 2 相同的训练基础设施和数据管道
• 开源可商用，促进社区研究和应用

Gemma 是 PaLM 2 技术向开源社区的延伸，与 Meta 的 LLaMA 系列形成竞争。

5.1 Med-PaLM：医疗领域#

PaLM 2 最具影响力的应用是 Med-PaLM，专门针对医疗领域微调的版本：

USMLE（美国医师执照考试）表现：

Med-PaLM 2 以 86.5% 的成绩通过 USMLE，达到「专家级」水平。但它仍然有局限性：在复杂病例的推理中，偶尔会给出不准确的建议。Google 强调 Med-PaLM 是辅助工具，不能替代医生诊断。

5.2 Sec-PaLM：网络安全#

PaLM 2 还被用于网络安全领域（Sec-PaLM），帮助安全分析师：

• 分析恶意代码行为
• 生成威胁检测规则
• 解释安全漏洞原理
• 辅助事件响应

5.3 Bard / Google Workspace 集成#

PaLM 2 是 Bard（后来的 Gemini）和 Google Workspace AI 功能的底层模型：

• Gmail 中的智能撰写
• Google Docs 中的写作辅助
• Google Sheets 中的公式生成
• Google Slides 中的内容生成

6.1 核心指标对比#

6.2 设计哲学的转变#

PaLM 2 代表了 LLM 训练范式的转变：从盲目追求参数规模，到优化数据质量和训练效率。这个趋势后来被 LLaMA 2、Mistral 7B 等模型进一步验证。