1.1 多模态对话的挑战#

2023 年初，GPT-4 展示了令人震惊的多模态理解能力——它可以看图回答问题、解读图表、分析 UI 界面。但 GPT-4V 是闭源的，研究者和开发者无法基于它进行二次开发或深入研究。

开源社区面临一个核心问题：如何用开源组件构建一个能看图对话的模型？

当时主流的视觉-语言模型（如 BLIP-2、Flamingo）虽然能处理图像，但它们主要针对描述生成和视觉问答这类单轮任务，缺乏指令跟随和对话能力。而 ChatGPT、Vicuna 等语言模型虽然对话能力出色，却完全无法理解视觉输入。

1.2 关键洞察：指令能力的迁移#

LLaVA 论文最核心的洞察在于——语言模型通过指令微调获得的「指令跟随能力」是一种通用能力，可以通过一个简单的投影层迁移到多模态场景。

这个迁移之所以有效，是因为指令跟随本质上是一种格式理解和任务执行能力——理解用户的意图，按照特定格式输出回答。这种能力与输入模态无关，只需要让语言模型学会「读取」视觉信息的表示。

1.3 与之前工作的区别#

2.1 整体架构#

LLaVA 的架构可以用「极简」来形容，仅包含三个核心组件：

2.2 视觉编码器：CLIP ViT#

LLaVA 直接使用预训练好的 CLIP ViT-L/14 作为视觉编码器（参数量约 3 亿），在训练中冻结。选择 ViT-L/14 的原因是其 14×14 的 Patch 大小能产生适中数量的 Token，且 CLIP 预训练已学习到高质量的视觉-语言对齐表示。

1
# LLaVA 视觉编码（简化）
2
vision_encoder = CLIPVisionModel.from_pretrained("openai/clip-vit-large-patch14")
3
vision_encoder.eval()  # 冻结视觉编码器
4

5
def encode_image(image):
6
    features = vision_encoder(image)  # [batch, 576, 1024]
7
    return features.last_hidden_state[:, 1:]  # 去掉 CLS token

2.3 投影层：从视觉到语言的桥梁#

投影层负责将 CLIP 的视觉特征映射到语言模型的 embedding 空间。最初的 LLaVA 使用一个简单的线性层：

1
# LLaVA 原始投影层
2
projection = nn.Linear(clip_hidden_size, llama_hidden_size)
3
# 即 nn.Linear(1024, 4096) 对应 7B 模型
4
visual_tokens = projection(visual_features)  # [batch, num_patches, 4096]

这个投影层虽然简单，但效果出奇地好。论文还实验了两层 MLP 投影层，发现在数据量较少时差异不大。

2.4 语言模型：Vicuna（LLaMA 微调版）#

LLaVA 使用 Vicuna-7B 和 Vicuna-13B 作为语言模型底座。Vicuna 是在 LLaMA 基础上用 ShareGPT 对话数据微调的版本，已经具备良好的对话能力。

训练时，视觉 Token 和文本 Token 被拼接为一个序列输入语言模型：

1
输入序列 = [<视觉Token_1>, ..., <视觉Token_N>, <文本Token_1>, ..., <文本Token_M>]

语言模型对视觉 Token 和文本 Token 一视同仁——它并不知道序列中有图像信息，只是看到了更多的 Token。这正是 LLaVA 设计的巧妙之处。

3.1 核心创新：用纯文本模型生成多模态数据#

LLaVA 论文最巧妙的贡献之一是数据构建方法。既然 GPT-4 本身就具备多模态能力，为什么不让它来生成训练数据？

但 LLaVA 的做法更聪明——它不直接让 GPT-4「看图」，而是把图像的文本描述（caption）和目标检测框（bounding box）作为上下文，让纯文本 GPT-4 生成多模态对话数据：

3.2 三种指令类型#

LLaVA 将 GPT-4 生成的数据分为三种类型：

3.3 数据质量的重要性#

LLaVA 的实验表明，GPT-4 生成的数据质量远超人工标注。因为 GPT-4 本身就经过了大量 RLHF 对齐训练，它生成的回复天然符合「有帮助、无害、诚实」的标准。这一发现启发了后续大量工作——用强模型生成数据来训练弱模型（即「知识蒸馏」）。

4.1 两阶段训练#

LLaVA 采用两阶段训练策略，逐步解锁模型能力：

阶段一：特征对齐预训练

目标：让投影层学会将 CLIP 的视觉特征映射到 LLaMA 的 embedding 空间。

• 冻结 CLIP ViT 和 LLaMA，只训练投影层（可训练参数极少）
• 使用 CC3M（Conceptual Captions）的 595K 子集
• 将图像描述作为目标文本，训练模型根据图像生成描述
• 训练成本极低，单卡 A100 即可完成

阶段二：视觉指令微调

目标：在指令跟随数据上微调投影层和 LLaMA，使模型具备视觉对话能力。

• 冻结 CLIP ViT，同时训练投影层和 LLaMA
• 使用 GPT-4 生成的 158K 多模态指令数据
• 训练目标：给定图像和指令，生成正确的回答
• 7B 模型在 8×A100 上约 3 小时完成训练

4.2 训练细节#

5.1 关键改进#

2023 年 10 月，团队发布了 LLaVA-1.5，在多个方面进行了关键改进，性能实现了质的飞跃：

5.2 各项改进详解#

投影层升级：从简单的线性层升级为两层 MLP（带 GELU 激活函数）。这个看似微小的改变带来了显著提升，因为它能让视觉特征在映射过程中经历非线性变换，更好地适配语言模型的表示空间。

数据规模扩大：从 158K 扩大到 665K 条指令数据，同时加入了多个学术 VQA 数据集：

分辨率提升：从 224×224 提升到 336×336，让模型能捕获更多图像细节。这对 OCR、图表理解等细粒度任务至关重要。

5.3 性能对比#

LLaVA-1.5 在多个基准上取得了令人瞩目的成绩：

注：粗体数字表示 LLaVA-1.5 与 GPT-4V 的差距已大幅缩小，在某些任务上（如 VQAv2）甚至超越。

6.1 LLaVA-NeXT（LLaVA-1.6）#

2024 年初发布的 LLaVA-NeXT 带来了三个重要升级：

任意分辨率输入：不再固定图像分辨率，而是将图像分割为多个子图（sub-images），每个子图独立编码后拼接。这让模型能处理任意大小的高分辨率图像：

1
# LLaVA-NeXT 任意分辨率处理
2
def process_any_resolution(image, max_tiles=6):
3
    """将图像分割为多个 tile 分别编码"""
4
    tiles = adaptive_partition(image, max_tiles=max_tiles)
5
    # 每个tile独立通过CLIP编码
6
    tile_features = [encode(tile) for tile in tiles]
7
    # 拼接所有tile的特征
8
    all_features = torch.cat(tile_features, dim=1)
9
    return all_features

更强的语言模型底座：从 Vicuna 切换到 Mistral-7B 和 Nous-Hermes-2-Yi-34B，推理和对话能力更强。

更好的视觉编码器：升级到 CLIP ViT-L/14@336px，视觉特征更精细。

6.2 LLaVA-OneVision#

2024 年底发布的 LLaVA-OneVision 是系列中最大的一次升级，真正实现了「统一视觉理解」：

LLaVA-OneVision 的核心创新在于单图到多图的迁移学习：先用单图数据训练，再通过少量多图/视频数据微调，就能获得多图理解和视频理解能力。

7.1 架构对比#

7.2 能力对比#

7.3 LLaVA 的独特优势#

虽然 LLaVA 在性能上不及 GPT-4V 和 Gemini，但它有几个闭源模型无法比拟的优势：

1. 完全开源：训练代码、数据集、模型权重全部公开，可自由修改和商用
2. 高度可定制：可以针对特定领域（医疗、工业、遥感等）进行微调
3. 本地部署：无需发送数据到云端，保护隐私和数据安全
4. 研究友好：为学术界提供了多模态 AI 的标准实验平台
5. 训练成本低：LLaVA-1.5 的完整训练成本不到 100 美元

8.1 LLaVA 模型家族#

LLaVA 已经发展出一个完整的模型家族，覆盖不同参数规模和应用场景：

8.2 社区生态#

LLaVA 的影响力远超论文本身，催生了一个庞大的开源生态：

衍生项目：

• ShareGPT4V：用 GPT-4V 生成高质量图像描述数据，用于训练视觉模型
• LLaVA-Medical：在医学图像上微调 LLaVA，用于医学视觉问答
• LLaVA-Interactive：支持图像编辑和视觉对话的交互式系统
• Cambrian-1：基于 LLaVA 架构的多视角视觉语言模型

训练工具链：

• LLaMA-Factory：集成 LLaVA 微调的一站式训练框架
• DeepSpeed：支持 LLaVA 分布式训练的加速库
• Hugging Face Transformers：原生支持 LLaVA 模型推理

数据集：

• LLaVA-Instruct-150K：原始 GPT-4 生成的指令数据
• LLaVA-Instruct-665K：LLaVA-1.5 扩充后的训练数据
• ShareGPT4V-PT：100K 高质量图像描述数据
• ALLaVA：更大规模的多模态指令数据集