0.1 标准 MHA 的内存问题#

在标准的多头注意力（Multi-Head Attention, MHA）中，每个注意力头都需要独立的 Key 和 Value 向量：

1
KV Cache 大小 = 2 × num_layers × num_heads × head_dim × seq_len × batch_size

以 LLaMA-2 70B 为例，2K 上下文的 KV Cache 约需 8GB 显存，远超模型参数本身。

0.2 已有的优化方案#

在 MLA 之前，业界主要采用以下两种优化策略：

MQA（Multi-Query Attention）将所有头共享一组 KV，压缩比最高但性能有明显损失。GQA（Grouped-Query Attention）将头分组共享 KV，在性能和效率间取得平衡，被 LLaMA-2 等模型采用。

0.3 核心思想#

MLA 的核心洞察是：Key 和 Value 向量中存在大量冗余信息，可以通过低秩投影将其压缩到远低于原始维度的潜在空间。在推理时只需缓存压缩后的潜在向量，而非完整的 KV 对。

1
# MLA 的核心压缩机制（伪代码）
2
# 标准注意力：缓存完整的 Key 和 Value
3
# KV Cache: [batch, seq_len, num_heads, head_dim]
4

5
# MLA：压缩到低维潜在向量
6
# 压缩后的 Cache: [batch, seq_len, kv_lora_rank]
7

8
# 压缩过程
9
c_kv = compress_proj(x)  # [batch, seq_len, kv_lora_rank]  — 低维潜在表示
10

11
# 解压缩过程（推理时）
12
k = k_decompress(c_kv)   # [batch, seq_len, num_heads, head_dim]
13
v = v_decompress(c_kv)   # [batch, seq_len, num_heads, head_dim]

0.4 MLA 的数学原理#

MLA 使用低秩联合投影将 Key 和 Value 压缩到一个共享的潜在表示：

1. 压缩：将输入隐藏状态投影到低维潜在空间
   • c_t = W_DKV · h_t，其中 W_DKV 的输出维度为 d_c << d_h × n_h
2. Key 解压缩：从潜在表示恢复 Key
   • k_t = W_UK · c_t，其中 W_UK 将 d_c 维映射回 n_h × d_h 维
3. Value 解压缩：从潜在表示恢复 Value
   • v_t = W_UV · c_t，其中 W_UV 将 d_c 维映射回 n_h × d_h 维
4. Query 侧：Query 也经过类似的低秩压缩

关键在于：推理时只需缓存 c_t（维度为 d_c），而 W_UK 和 W_UV 是固定的模型参数，不占用 Cache 空间。

0.5 MLA vs MHA vs GQA 对比#

在 DeepSeek-V2 的实际配置中，MLA 将 KV Cache 压缩了约 16 倍，同时保持了与标准 MHA 相当的注意力质量。

0.6 细粒度专家分割#

传统的 MoE（如 Mixtral）使用 8 个大型专家，每次激活 2 个。DeepSeekMoE 采取了截然不同的策略：

• 细粒度专家：将每个大型 FFN 分割成更多更小的专家（如 64 个）
• 更多激活专家：每次激活更多专家（如 6-8 个），保持总计算量不变
• 共享专家隔离：保留 1-2 个共享专家，始终被激活，处理通用知识

0.7 共享专家的价值#

共享专家的设计解决了一个关键问题：在传统 MoE 中，不同专家可能会学习重复的通用知识（如语法、常识），造成参数浪费。共享专家始终被激活，专门处理这些通用知识，让路由专家可以更专注于各自的领域。

0.8 辅助损失无关的负载均衡#

传统 MoE 使用辅助损失（Auxiliary Loss）来鼓励各专家负载均衡，但辅助损失会与主训练目标冲突，影响模型性能。DeepSeek-V3 提出了一种创新方案：

1
# 传统方法：添加辅助损失
2
# loss = main_loss + alpha * aux_loss  # aux_loss 惩罚负载不均
3

4
# DeepSeek-V3：辅助损失无关的方法
5
# 通过动态调整每个专家的偏置项来实现负载均衡
6
# 偏置项只影响路由决策，不影响梯度计算
7
for expert in experts:
8
    bias[expert] += update_rate * (target_load - actual_load[expert])
9
    adjusted_score = router_score + bias[expert]

这种方法完全不干扰主训练目标，同时保证了各专家的负载均衡。

0.9 模型架构#

0.10 FP8 混合精度训练#

DeepSeek-V3 是首个成功在超大规模 MoE 模型上使用 FP8 精度训练的模型：

FP8 训练的关键挑战是量化误差的累积。DeepSeek-V3 通过以下策略解决：

1. 细粒度量化：对权重和激活值分别使用不同的缩放因子
2. 延迟缩放：使用前一步的统计信息来调整当前步的缩放因子
3. 选择性精度：对误差敏感的操作（如 RMSNorm、Softmax）保持高精度

0.11 多 Token 预测（MTP）#

DeepSeek-V3 引入了多 Token 预测（Multi-Token Prediction, MTP）作为辅助训练目标：

• 传统方法：只预测下一个 Token
• MTP：同时预测未来 2 个 Token

1
# 标准 Next-Token Prediction
2
loss = CE(model(x[:, :-1]), x[:, 1:])
3

4
# Multi-Token Prediction（DeepSeek-V3）
5
# 主预测头
6
loss_main = CE(head_1(hidden), target_t+1)
7
# 辅助预测头（共享表示）
8
loss_aux = CE(head_2(hidden), target_t+2)
9
loss = loss_main + 0.3 * loss_aux

MTP 不仅提升了训练效率，还增强了模型的规划能力。推理时可以可选地使用 MTP 头实现投机解码（Speculative Decoding）。

0.12 训练成本：557 万美元的奇迹#

DeepSeek-V3 最令人震惊的数字是训练成本：

成本降低的核心原因：

1. FP8 训练：减少约 50% 计算量和显存
2. MoE 架构：只激活 37B 参数，等效于训练一个 37B Dense 模型
3. 辅助损失无关：不浪费计算力在辅助损失上
4. 极致的工程优化：通信与计算重叠、高效的 MoE 实现等

0.1 Q1： MLA 和 GQA 的本质区别是什么？#

GQA 通过减少 KV 头数来降低内存，属于”减少信息量”的方案。MLA 则通过低秩投影压缩 KV 表示，属于”压缩信息”的方案。MLA 的优势在于压缩后的潜在表示仍然可以完整恢复 KV 信息，因此注意力质量更接近标准 MHA。

0.2 Q2： 为什么 DeepSeek-V3 的训练成本能这么低？#

三个核心因素：FP8 训练节省了约 50% 的计算资源；MoE 架构使得每次前向传播只激活 37B 参数（而非全部 671B）；极致的工程优化（通信计算重叠、高效 MoE 实现）进一步提升了硬件利用率。

0.3 Q3： FP8 训练不会损失精度吗？#

DeepSeek-V3 论文详细分析了 FP8 的数值误差。通过细粒度量化（per-tensor scaling）、选择性精度保持（对误差敏感的操作用 BF16/FP32）和延迟缩放策略，FP8 训练的最终模型性能与 BF16 训练几乎无差异。

0.4 Q4： DeepSeekMoE 的细粒度专家有什么优势？#

细粒度专家提供了更灵活的知识组合。传统 8 专家 MoE 只能选择 2 种知识组合，而 DeepSeekMoE 的 256 专家可以选择 8 种知识组合，知识获取的粒度更细，专业化程度更高。

0.5 Q5： 多 Token 预测（MTP）和投机解码有什么关系？#

MTP 在训练时同时预测未来多个 Token，增强了模型的规划能力。在推理时，MTP 头可以被复用为投机解码的草稿模型，用一次前向传播生成多个候选 Token，然后由主模型并行验证，从而加速推理。

0.6 Q6： DeepSeek-V3 和 GPT-4o 的差距在哪？#

在通用能力（MMLU、编码）上，DeepSeek-V3 略逊于 GPT-4o。但在数学推理（MATH-500、AIME）上，DeepSeek-V3 显著领先。考虑到 DeepSeek-V3 是开源的且训练成本仅为 GPT-4o 的约 1/10，这个差距几乎可以忽略。

0.7 Q7： MLA 可以用于非 MoE 架构吗？#

理论上完全可以。MLA 是一种通用的注意力压缩方案，可以应用于任何基于 Transformer 的模型。但 MLA 的压缩优势在长上下文场景下最为明显，因此更适合需要处理长序列的模型。