1.1 为什么需要「原生」多模态#

在 Gemini 之前，主流的多模态方案是「拼接式」的：先用 CLIP 或 Vision Transformer 把图像编码成向量，再通过投影层映射到语言模型的 embedding 空间。这种方式有几个问题：

• 图像信息在映射过程中会丢失空间关系
• 视觉和语言模块分别预训练，无法实现深层语义对齐
• 新增模态需要额外的适配器训练

Gemini 的思路不同：从预训练阶段就让所有模态共享同一个 Transformer，图像、音频、视频 token 和文本 token 在同一个注意力层中交互。

1.2 模态编码方式#

Gemini 对不同模态采用不同的 token 化策略：

图像编码的关键设计：Gemini 没有使用固定分辨率的图像输入，而是支持可变分辨率。图像被分割为不同大小的 patch，每个 patch 通过 ViT 编码后与文本 token 拼接。这种设计让模型能同时处理缩略图和高分辨率照片。

1.3 视频理解机制#

Gemini 的视频理解不是简单的「逐帧分析」，而是引入了时间维度建模：

1
# Gemini 视频处理流程（简化）
2
def encode_video(video_frames, fps=1):
3
    """将视频编码为多模态 token 序列"""
4
    tokens = []
5
    for i, frame in enumerate(video_frames):
6
        # 每帧编码为图像 token
7
        frame_tokens = image_encoder(frame)  # [1, 256, d]
8

9
        # 添加时间位置编码
10
        time_pos = temporal_position_encoding(i, fps)
11
        frame_tokens = frame_tokens + time_pos
12

13
        tokens.append(frame_tokens)
14

15
    # 拼接为完整视频序列
16
    return torch.cat(tokens, dim=1)  # [1, num_frames*256, d]

时间位置编码让 Transformer 区分视频帧的前后顺序，从而理解动作的先后关系、因果逻辑。这是 Gemini 能回答「视频中的人先做了什么再做了什么」这类问题的关键。

1.4 多模态联合训练目标#

Gemini 的多模态训练不是简单地将不同模态的损失函数相加，而是设计了统一的训练目标，让所有模态在同一个优化过程中共同进步。

1
# Gemini 多模态联合训练目标（简化）
2
def gemini_training_loss(multimodal_batch, model):
3
    total_loss = 0.0
4

5
    for sample in multimodal_batch:
6
        # 统一 token 序列（文本 + 图像 + 音频）
7
        tokens = sample["tokens"]        # 混合模态 token
8
        modality_mask = sample["mask"]    # 标记每个 token 的模态
9

10
        # 前向传播：所有模态共享同一个 Transformer
11
        logits = model(tokens[:, :-1])
12

13
        # 下一个 token 预测损失（统一目标）
14
        loss = cross_entropy(logits, tokens[:, 1:])
15

16
        # 可选：对不同模态施加不同的损失权重
17
        # 图像 token 的预测通常更难，可以适当提高权重
18
        loss = apply_modality_weights(loss, modality_mask[:, 1:])
19

20
        total_loss += loss
21

22
    return total_loss / len(multimodal_batch)

关键设计决策：

统一下一个 token 预测：Gemini 没有为不同模态设计独立的损失函数，而是让所有模态都参与下一个 token 预测。这意味着模型不仅要预测「下一个词是什么」，还要预测「下一个图像 patch 是什么」「下一个音频片段是什么」。这种统一的训练目标让不同模态的表示自然对齐。

模态交错训练：训练数据不是按模态分批的（先训文本、再训图像），而是将文本、图像、音频 token 混合在同一条样本中。一条训练样本可能是「文字描述 + 产品图片 + 用户语音评论」的组合。这迫使模型在注意力层中学习跨模态的语义关联。

图像 token 的掩码策略：对于图像 token，Gemini 可能采用了块级掩码（block masking），而不是逐 token 掩码。一张 256 token 的图像，可以按 16x16 的 patch 块进行掩码预测，减少计算量的同时保留空间结构信息。

这种设计的优势在于，模型不需要额外的跨模态对齐阶段。传统方案中，视觉编码器和语言模型分别训练后，需要一个「对齐微调」阶段让两者的表示空间协调。Gemini 跳过了这个步骤，因为在预训练阶段两种模态已经在同一参数空间中学习。

2.1 三种规模#

Gemini 1.0 发布时提供三个版本，覆盖从设备端到数据中心的全部场景：

Nano 版本的设计理念值得关注。Google 不是简单缩小模型，而是通过知识蒸馏从 Ultra 模型中提取能力，同时优化 Transformer 层数和注意力头数以适配移动端内存限制。Nano 1.8B 可以在 4GB 内存的设备上运行。

2.2 架构细节#

虽然 Google 没有公开完整的架构参数，但从论文和后续信息可以推断：

1
# Gemini Ultra 推测架构参数
2
gemini_ultra_config = {
3
    "num_layers": 64,                # Transformer 层数
4
    "hidden_size": 18432,            # 隐藏维度
5
    "num_attention_heads": 48,       # 注意力头数
6
    "num_kv_heads": 8,               # GQA 的 KV 头数
7
    "head_dim": 256,                 # 每头维度
8
    "intermediate_size": 73728,      # FFN 中间维度
9
    "vocab_size": 32000,             # 词表大小
10
    "max_position_embeddings": 32768, # 最大上下文
11
    "activation": "SwiGLU",          # 激活函数
12
}

Gemini 使用了 GQA（Grouped Query Attention），KV 头数远少于查询头数，这在推理时大幅降低 KV Cache 的内存占用。SwiGLU 激活函数在 LLaMA 和 PaLM 2 中已被验证优于标准 ReLU。

3.1 TPU v5 集群#

Gemini 在 Google 自研的 TPU v5 上训练。TPU v5 的核心优势在于高带宽互联（ICI），可以让数千个芯片协同训练一个模型：

更大的片上内存意味着可以放下更多的模型参数，减少跨芯片通信。这对 Ultra 级别的大模型训练至关重要。

3.2 并行策略#

训练 1.5T 参数的模型需要精心设计的并行策略：

1
# Gemini 训练并行配置
2
training_config = {
3
    "data_parallelism": 64,      # 数据并行
4
    "model_parallelism": 16,     # 张量并行（层内切分）
5
    "pipeline_parallelism": 8,   # 流水线并行（层间切分）
6
    "total_chips": 64 * 16 * 8, # = 8192 TPU v5
7
    "mixed_precision": "BF16",   # 主训练精度
8
    "gradient_accumulation": 4,  # 梯度累积步数
9
}

混合精度训练策略：

• BF16 用于矩阵乘法和注意力计算
• FP32 用于梯度归约和优化器状态
• 选择性使用 FP8 对部分卷积操作加速

3.3 训练数据#

Gemini 的训练数据涵盖多种模态和语言：

1
# Gemini 训练数据组成（推测）
2
data_composition = {
3
    "网页文本": "约 50%（多语言）",
4
    "代码": "约 15%（GitHub + 代码文档）",
5
    "图像": "约 15%（网页图像 + 标注数据集）",
6
    "音频": "约 5%（语音 + 音乐）",
7
    "视频": "约 5%（YouTube 片段 + 描述）",
8
    "书籍/论文": "约 10%（学术文献 + 电子书）",
9
}
10

11
total_tokens = "~4T tokens（含多模态 token）"
12
languages = "100+ 语言，英语、中文、日语、韩语为主"

多模态数据的关键处理：图像和视频不是单独训练的，而是与描述文本配对后一起输入模型。这种配对数据让模型学习视觉和语言的对应关系，而不是事后对齐。

3.4 数据质量与过滤管道#

训练数据的质量直接决定模型的上限。Gemini 的数据管道涉及多层过滤和质量控制：

去重策略：Gemini 采用了多级去重。URL 级别去重移除完全相同的网页，段落级 MinHash 去重去除近似重复内容，文档级嵌入去重消除语义高度相似的文本。论文实验表明，去重可以减少约 30% 的训练数据，同时提升模型的泛化能力，因为模型不再记忆重复内容。

质量评分：使用一个轻量级分类器对每条训练样本打分。评分维度包括：信息密度、事实准确性、语言流畅度。低分样本被过滤掉。对于代码数据，额外评估代码的可执行性和测试覆盖率。

多模态配对验证：图文配对数据需要验证图像描述是否真正对应图像内容。Gemini 使用 CLIP 模型计算图像和文本的相似度，过滤掉相似度低于阈值的配对。这一步确保模型不会从错误的图文关联中学到错误的映射。

安全过滤：移除包含仇恨言论、暴力内容、个人身份信息（PII）的数据。PII 检测使用了专门的命名实体识别模型，覆盖姓名、地址、电话号码、邮箱等多种类型。

4.1 文本理解#

Gemini Ultra 在纯文本基准上与 GPT-4 正面竞争：

在 MMLU 和数学推理上，Gemini Ultra 超过了 GPT-4。但 Hellaswag 等常识推理基准上仍有差距，说明不同模型的「智力分布」各有所长。

4.2 多模态基准#

Gemini 的核心优势在多模态理解：

文档理解（DocVQA）和图表推理（ChartQA）是 Gemini 的强项，这和训练数据中大量图文配对数据直接相关。模型能理解图表的坐标轴、图例和数据趋势，而不只是描述图表的外观。

4.3 多语言能力#

Gemini 在多语言基准上表现出色：

多语言能力得益于训练数据中非英语内容的高比例，以及 Google 在翻译领域的长期积累。

5.1 MoE 架构#

2024 年 5 月发布的 Gemini 1.5 Pro 采用了 Mixture of Experts（MoE）架构，这是实现百万 token 上下文的关键：

MoE 的优势在于：每次前向传播只激活部分 Expert，总参数量大但计算量可控。Gemini 1.5 Pro 的总参数量可能超过 1T，但每个 token 只激活约 10% 的参数。

5.2 百万 token 的技术实现#

实现 1M token 上下文需要解决三个核心问题：内存、计算和位置编码。

内存优化：1M token 的 KV Cache 需要约 64GB 内存（以 100B 模型、BF16 精度估算）。Gemini 使用 GQA 将 KV 头数压缩到 8 个，同时采用分页注意力（Paged Attention）管理 KV Cache 内存。

计算优化：标准注意力的计算复杂度是 O(n²)，1M token 的注意力矩阵需要 10¹² 次运算。Gemini 可能采用了稀疏注意力和滑动窗口注意力的组合：

1
# 长上下文注意力策略
2
def long_context_attention(query, key, value, window=4096):
3
    # 1. 滑动窗口注意力（局部上下文）
4
    local_attn = sliding_window_attention(query, key, value, window)
5

6
    # 2. 全局注意力（稀疏采样关键位置）
7
    global_keys = sparse_sample(key, ratio=0.01)  # 采样 1%
8
    global_attn = standard_attention(query, global_keys, value)
9

10
    # 3. 融合局部和全局表示
11
    return merge(local_attn, global_attn)

位置编码：RoPE 位置编码在长序列上会退化。Gemini 可能采用了动态位置插值或 YaRN 扩展方法，让模型在 1M token 上仍能区分不同位置。

5.3 Needle-in-a-Haystack 测试#

Gemini 1.5 Pro 的长上下文能力通过了 Needle-in-a-Haystack 测试：在 1M token 的文本中随机插入一条信息，模型能以 99% 以上的准确率找到并回忆这条信息。这个表现优于 GPT-4 Turbo 在 128K 上下文上的表现。

实际意义：1M token 相当于同时处理约 7000 页文档、1 小时视频或 11 小时音频。用户可以把整个代码库或整本书丢给模型，不需要预先切分和检索。

6.1 架构差异#

核心区别在于「拼接」vs「原生」。GPT-4V 的视觉能力来自后期融合（post-hoc fusion），而 Gemini 从预训练阶段就让视觉和语言在同一参数空间中学习。理论上，原生方案能学到更深的跨模态表示。

6.2 各有所长#

GPT-4V 在代码生成上仍然领先，这可能和 OpenAI 在代码训练数据上的积累有关。Gemini 在长上下文和多模态理解上的优势来自架构设计。

7.1 对齐方法#

Gemini 的安全对齐采用了多层次的策略：

• 预训练过滤：移除有害内容、个人信息和低质量数据
• RLHF：训练奖励模型对安全和不安全的回复打分
• 红队测试：专门团队尝试让模型产生有害输出，发现并修补漏洞
• 安全分类器：在推理时实时检测输入和输出的安全风险

7.2 多模态安全#

多模态模型面临独特的安全挑战：图像中可能包含不当内容，而模型需要在理解图像语义的同时遵守安全规则。Gemini 在图像输入端和文本输出端都设置了安全过滤器。

7.3 红队测试与对抗评估#

Google 为 Gemini 组建了专门的红队（Red Team），由安全研究人员、领域专家和外部合作者组成，系统性地测试模型的安全边界。

红队测试覆盖的关键维度：

多模态越狱是 Gemini 独有的挑战。攻击者可以将文字指令嵌入图像中（例如在白色背景上写黑色文字），或者利用图像的视觉特征触发模型的不安全行为。Gemini 的防御策略包括：OCR 预处理（检测图像中的文字内容）、图像语义分析（识别可能含有恶意意图的视觉模式），以及多模态一致性检查（确保模型对图像的理解和生成的回复不冲突）。

8.1 Google 产品集成#

Gemini 已经深入 Google 的产品矩阵：

Pixel 手机上的 Nano 模型是端侧 AI 的标杆：1.8B 参数的模型可以在手机 SoC 上以 20 tokens/秒的速度运行，实现 Gboard 智能回复和 Recorder 应用摘要。

8.2 API 使用#

1
import google.generativeai as genai
2

3
# 文本 + 图像输入
4
model = genai.GenerativeModel('gemini-1.5-pro')
5

6
# 多模态输入
7
response = model.generate_content([
8
    "详细分析这张图表中的数据趋势",
9
    genai.Image.upload_from_path("chart.png")
10
])
11

12
# 长上下文处理
13
doc = open("paper.pdf", "rb").read()
14
response = model.generate_content([
15
    "总结这篇论文的核心贡献和方法",
16
    genai.FileData(mime_type="application/pdf", data=doc)
17
])

Gemini API 的独特功能是直接上传文件（PDF、图片、视频、音频），不需要预先转换为文本。这体现了多模态原生的设计理念。

8.3 Gemma：Gemini 技术的开源延伸#

2024 年 2 月，Google 发布了 Gemma 系列开源模型，基于 Gemini 的技术和训练基础设施构建，但以开源形式提供给社区：

Gemma 的架构和训练方法继承了 Gemini 的核心设计：GQA 注意力、SwiGLU 激活函数、RMSNorm 归一化。但训练数据规模远小于 Gemini，约 2T tokens（Gemma 2 为 8T），且不包含多模态数据。

Gemma 的意义在于，它让研究者和开发者能在本地运行和微调基于 Gemini 技术的模型，降低了使用门槛。Gemma 2 27B 在 MMLU 上达到 75.2%，接近 GPT-3.5 的水平，是同等规模开源模型中的佼佼者。