1.1 传统视觉模型的困境#

在 CLIP 之前，计算机视觉模型几乎都依赖于人工标注的「黄金标准」数据集。ImageNet 需要 2.5 万名标注者花两年多时间标注 1400 万张图片。这种方式存在三个根本性问题：

• 标注成本极高：高质量标注需要专业知识（如医学影像），普通标注者难以胜任
• 概念覆盖有限：ImageNet 的 1000 个类别只是现实世界概念海洋中的一滴水
• 分布偏移严重：在 ImageNet 上训练的模型，遇到风格不同的图片（如手绘、卡通）性能急剧下降

1.2 自然语言监督的直觉#

OpenAI 的研究者在 VirTex 和 ICMLM 等前期工作中发现了一个有趣的现象：与其用有限的标签训练视觉模型，不如用自然语言「描述」图片内容，让模型自己学习视觉概念。

这个直觉背后有一个关键假设——互联网上的图像-文本对（如图片及其配文）天然构成了一种弱监督信号。虽然单条配文可能不精确，但海量数据的统计力量足以弥补噪声。

1.3 从预测到对比#

CLIP 之前的工作（如 VirTex）尝试用图像预测对应的完整文本（类似 Image Captioning），但发现这种逐词预测的效率太低。CLIP 的核心创新在于将问题简化为对比学习：不预测具体文本内容，只判断图像和文本是否匹配。

1
# VirTex 方案：预测完整文本（效率低）
2
loss = cross_entropy(model(image), text_tokens)  # 需要预测每个词
3

4
# CLIP 方案：判断是否匹配（效率高）
5
loss = contrastive_loss(image_features, text_features)  # 只需对比相似度

这个简化的效果是惊人的：在相同数据上，对比学习的效率是逐词预测的 4 倍。

2.1 WebImageText 数据集#

CLIP 的成功离不开数据。OpenAI 构建了一个名为 WIT（WebImageText）的大规模数据集，包含 4 亿对图像-文本数据。

2.2 数据集设计的关键决策#

WIT 的设计体现了几个重要的工程决策：

这些决策确保了数据集在规模和多样性之间取得平衡。相比之下，ImageNet 只有 1000 个类别，而 WIT 覆盖的概念空间远远更广。

2.3 数据的重要性#

论文中一个有趣的实验证明了数据的不可替代性：用 YFCC100M（一个已有的 1 亿图像数据集）替代 WIT 训练，性能下降约 30%。这说明不仅数据量重要，数据的多样性同样关键。

3.1 双编码器架构#

CLIP 采用经典的**双编码器（Dual Encoder）**架构：一个图像编码器提取视觉特征，一个文本编码器提取语义特征，两者映射到同一个共享的嵌入空间。

3.2 图像编码器的选择#

CLIP 论文实验了多种图像编码器架构，最终发现 Vision Transformer（ViT）的性能最优：

论文最终选择 ViT-L/14@336px 作为最佳模型（使用 336×336 的更高分辨率微调），在 ImageNet 上达到 76.2% 的零样本准确率。

3.3 InfoNCE 对比损失#

CLIP 使用改进的 InfoNCE（Noise Contrastive Estimation）损失函数。核心思想是：在一个 batch 中，正确的图像-文本对应该有更高的相似度，错误的配对应有更低的相似度。

1
# CLIP 对比学习核心代码（简化）
2
import torch
3
import torch.nn.functional as F
4

5
def clip_loss(image_features, text_features, temperature=0.07):
6
    """
7
    image_features: [batch_size, embed_dim]  # 图像特征
8
    text_features:  [batch_size, embed_dim]  # 文本特征
9
    temperature: 可学习参数，控制分布锐度
10
    """
11
    # L2 归一化
12
    image_features = F.normalize(image_features, dim=-1)
13
    text_features = F.normalize(text_features, dim=-1)
14

15
    # 计算余弦相似度矩阵 [batch, batch]
16
    logits = image_features @ text_features.T * (1.0 / temperature)
17

18
    # 对称损失：图像→文本 + 文本→图像
19
    labels = torch.arange(logits.shape[0]).to(logits.device)
20

21
    loss_i2t = F.cross_entropy(logits, labels)       # 图像找对应文本
22
    loss_t2i = F.cross_entropy(logits.T, labels)     # 文本找对应图像
23

24
    return (loss_i2t + loss_t2i) / 2.0

这个损失函数的优雅之处在于其对称性：同时要求「给定图像找到对应文本」和「给定文本找到对应图像」。

3.4 训练配置#

CLIP 使用了极大的 batch size（32768），这在对比学习中至关重要——更大的 batch 意味着每个样本需要与更多负例对比，学到的表示更具有判别力。

温度参数 τ 被设置为可学习参数（初始化为 0.07，约束在 [0.01, 0.1] 范围内）。论文发现最优温度约为 0.01~0.03，较小的温度使模型更关注难负例。

4.1 从分类到检索的范式转变#

CLIP 最令人兴奋的能力是零样本分类：不需要任何下游任务的训练数据，直接用自然语言描述类别，就能对新图片进行分类。

4.2 具体推理流程#

零样本分类的推理过程极为直观：

1
# CLIP 零样本分类（简化）
2
def zero_shot_classify(image, class_names, model):
3
    """
4
    image: 输入图像
5
    class_names: 任意类别名称列表
6
    """
7
    # 1. 为每个类别构造文本 prompt
8
    text_inputs = [f"a photo of a {name}" for name in class_names]
9
    text_tokens = tokenize(text_inputs)
10

11
    # 2. 提取特征
12
    image_feature = model.encode_image(image)      # [1, d]
13
    text_features = model.encode_text(text_tokens)  # [num_classes, d]
14

15
    # 3. 计算相似度
16
    similarity = (image_feature @ text_features.T).softmax(dim=-1)
17

18
    # 4. 返回最相似的类别
19
    return class_names[similarity.argmax()]

以 ImageNet 为例，模型不需要在 ImageNet 上训练，只需将 1000 个类别名转换为文本（如 “a photo of a golden retriever”），就能直接进行分类，达到 76.2% 的准确率。

4.3 Prompt Engineering 的威力#

论文发现，直接用类别名（如 “dog”）效果不好，加上 Prompt 模板后效果显著提升：

CLIP 使用了 80 个模板的集成（ensemble），包括：

1
templates = [
2
    "a bad photo of a {}.",
3
    "a photo of many {}.",
4
    "a sculpture of a {}.",
5
    "a photo of the hard to see {}.",
6
    "a low resolution photo of the {}.",
7
    "a rendering of a {}.",
8
    "graffiti of a {}.",
9
    "a good photo of a {}.",
10
    "a photo of a large {}.",
11
    # ... 共 80 个模板
12
]

最终预测结果是 80 个模板预测概率的平均值。这个技巧在 ImageNet 上带来了约 3-5% 的提升。

这种 Prompt Engineering 直接启发了 NLP 领域的 Prompt Tuning 方法（如 CoOP、CoCoOp），形成了「视觉 Prompt 工程」的研究分支。

5.1 与有监督方法的对比#

CLIP 最震撼的结果是：零样本的 CLIP 可以媲美甚至超越有监督的 ResNet-101。

5.2 分布鲁棒性：CLIP 的杀手锏#

CLIP 真正的优势体现在分布偏移场景。论文在 ImageNet 的多个变体上进行了测试：

CLIP 在 ImageNet-A 上的表现最为惊人：有监督 ResNet 只有 2.7%（几乎全部失败），而 CLIP 零样本达到 77.2%。这是因为 ImageNet-A 包含了自然界中难以分类的对抗性图像，有监督模型严重过拟合了训练分布，而 CLIP 在海量互联网数据上学到了更鲁棒的视觉概念。

5.3 30+ 数据集的全面评估#

论文在超过 30 个数据集上评估了 CLIP 的零样本能力：

5.4 Linear Probe 评估#

除了零样本，论文还评估了 CLIP 特征的 Linear Probe 性能（冻结编码器，只训练线性分类头）：

• 在 ImageNet 上，CLIP ViT-L/14 的 Linear Probe 达到 85.3%（vs 零样本 76.2%）
• 在多数数据集上，CLIP 的 Linear Probe 显著超越有监督预训练的 BiT-M 和 ViT
• 这表明 CLIP 学到的特征确实更加通用和可迁移

6.1 细粒度分类的不足#

CLIP 在某些细粒度任务上表现不佳：

• 车型分类（Stanford Cars）：零样本仅 59.4%（vs 有监督 85%+），因为「Toyota Camry」和「Honda Accord」的差异难以通过文本描述
• 花卉识别（Oxford Flowers）：许多花的品种名不在常见文本中
• 飞机型号识别：需要专业知识才能区分

这些局限的根源在于：互联网文本很少描述精确的子类别差异。

6.2 抽象概念的困难#

CLIP 对需要计数、空间推理或抽象理解的任务表现较差：

6.3 社会偏见#

由于训练数据来自互联网，CLIP 不可避免地继承了数据中的社会偏见：

• 性别偏见：搜索「CEO」返回更多男性图像
• 种族偏见：某些职业的种族分布不均衡
• 年龄偏见：搜索「学生」倾向于返回年轻人

论文建议在部署前进行偏见审计，并使用更平衡的数据重新训练。

6.4 计算成本#

CLIP 的训练需要巨大的计算资源：

• 最大模型（ViT-L/14）在 592 个 V100 GPU 上训练 18 天
• 总计算量约 10,000 V100 GPU 天
• 这使得复现和改进 CLIP 的门槛极高

7.1 影响力图谱#

CLIP 的影响力可以用一句话概括：没有 CLIP，就没有今天的多模态 AI。

7.2 CLIP 在生成模型中的角色#

在图像生成领域，CLIP 扮演了「语义桥梁」的角色：

• DALL-E 2：使用 CLIP 的图像嵌入作为先验，将文本描述映射到图像空间
• Stable Diffusion：直接使用 CLIP 的文本编码器（或其变体）作为文本条件输入
• Midjourney：底层同样依赖 CLIP 风格的文本-图像对齐

没有 CLIP 提供的语义对齐空间，文本到图像的生成将缺少关键的引导信号。

7.3 CLIP 在视觉-语言模型中的角色#

在 VLM（Vision-Language Model）领域，CLIP ViT 几乎成为标准的视觉编码器：

7.4 嵌入检索与 RAG#

CLIP 的图像/文本嵌入也被广泛用于多模态检索和 RAG 系统：

1
# 使用 CLIP 构建多模态检索系统
2
import clip
3
import torch
4

5
model, preprocess = clip.load("ViT-L/14")
6

7
def build_multimodal_index(items):
8
    """构建文本-图像联合索引"""
9
    embeddings = []
10
    for item in items:
11
        if item["type"] == "image":
12
            image = preprocess(item["data"])
13
            emb = model.encode_image(image.unsqueeze(0))
14
        else:
15
            tokens = clip.tokenize([item["text"]])
16
            emb = model.encode_text(tokens)
17
        embeddings.append(emb)
18
    return torch.cat(embeddings)
19

20
def search(query, index, items, top_k=5):
21
    """跨模态搜索：文本查询 → 检索图像/文本"""
22
    tokens = clip.tokenize([query])
23
    query_emb = model.encode_text(tokens)
24
    similarity = (query_emb @ index.T).squeeze(0)
25
    values, indices = similarity.topk(top_k)
26
    return [items[i] for i in indices]

8.1 SigLIP：Sigmoid 替代 Softmax#

Google 在 2023 年提出 SigLIP，用 Sigmoid 损失替代 CLIP 的 Softmax 损失：

1
# CLIP 损失：基于 Softmax（需要全局归一化）
2
loss_clip = cross_entropy(similarity_matrix, labels)
3

4
# SigLIP 损失：基于 Sigmoid（独立计算每对）
5
loss_siglip = -log(sigmoid(pos_pairs / temperature + bias)) \
6
              - log(1 - sigmoid(neg_pairs / temperature + bias))

SigLIP 的优势在于不依赖 batch 内其他样本，因此可以更高效地扩展到更大的 batch size。SigLIP 在 PaliGemma 等模型中取代了 CLIP。

8.2 EVA-CLIP：增强的视觉编码#

EVA-CLIP 通过以下改进提升了 CLIP 的性能：

• 使用 EVA（预训练的 ViT）作为视觉编码器初始化
• 引入 EVA-02 架构改进（如 SwiGLU、RoPE）
• 在更大的数据集上训练
• EVA-CLIP-8B 在 ImageNet 零样本上达到 80.0%

8.3 其他重要后续工作#

8.4 开源生态：OpenCLIP#

OpenCLIP 是 CLIP 的开源复现项目，使用 LAION 开放数据集训练。它提供了多种规模的预训练模型，让研究者可以自由使用和改进 CLIP 架构。

OpenCLIP 的贡献在于证明了 CLIP 的成功不仅属于 OpenAI——开放数据和开放代码同样可以训练出高质量的视觉-语言模型。