# 为什么读这三篇论文 Qwen-VL 系列是国内开源多模态大模型（MLLM / LVLM）最具代表性的演进样本之一。三篇论文正好串起 **2023 → 2025** 两年间多模态大模型的三大关键转折： | 阶段 | 代表论文 | 行业关键词 | 核心命题 | |------|----------|-----------|---------| | 2023 H2 | Qwen-VL 初代 | 图文对齐、Cross-Attention Adapter | "如何把视觉特征塞进 LLM" | | 2025 Q1 | Qwen2.5-VL | 动态分辨率、Agent、长视频 | "如何高效处理任意分辨率 + 干活" | | 2025 Q4 | Qwen3-VL | Thinking、MoE、256K、DeepStack | "如何让多模态模型也能推理、且不丢文本能力" | ### 一句话总结 读完这三篇，就基本看清了**现代多模态大模型的工程化路径**——从"能看图"到"能干活"再到"会推理"。 ### 涉及的论文与文件 | 论文 | 文件 | arXiv | |------|------|-------| | Qwen-VL 初代 | `qwen1-vl.pdf` | 2308.12966 | | Qwen2.5-VL | `qwen2.5-vl.pdf` | 2502.13923 | | Qwen3-VL | `qwen3-vl.pdf` + 中文摘要 `0711-qwen3-vl.pdf` | 2511.21631 |

# 三篇论文基本信息对比 | 维度 | Qwen-VL（初代） | Qwen2.5-VL | Qwen3-VL | |------|----------------|-----------|----------| | **发布时间** | 2023-08 | 2025-02-19 | 2025-11-27 | | **arXiv** | 2308.12966 | 2502.13923 | 2511.21631 | | **机构** | 阿里巴巴 | 通义千问团队 | 通义千问团队 | | **基座 LLM** | Qwen-7B（中间 ckpt） | Qwen2.5（3B/7B/72B） | Qwen3（Dense 2B/4B/8B/32B + MoE 30B-A3B / 235B-A22B） | | **视觉编码器** | OpenClip ViT-bigG | 自研 ViT（Window Attn）+ 2D-RoPE | SigLIP-2 / Qwen3-ViT | | **连接器** | 位置感知 Cross-Attn（256 query） | 4× Spatial Merge MLP | DeepStack 多层注入 + Merger | | **位置编码** | 2D 绝对（Adapter 内） | MRoPE（T-H-W 分块） | **Interleaved MRoPE**（交错） | | **分辨率** | 224 → 448（固定） | 动态（28 倍数） | 动态 + 文本时间戳 | | **长上下文** | LLM 序列 2048 | 视频上限 24576 token | **原生 256K**，外推 1M | | **模型规模** | 9.6B（单版） | 3B / 7B / 72B | Dense 2B/4B/8B/32B + MoE 30B-A3B / 235B-A22B | | **预训练 token** | ~500B（图文） | **4.1T** | ~2T+（VL）+ 纯文本 | | **关键能力** | 中文、Grounding、OCR | 文档解析、Agent、长视频 | Thinking 推理、视频定位、多模态编码 | | **开源** | 模型权重 | 模型权重 | **Apache 2.0 全家族** |

# 两年演进主线（技术演变速览） ### 连接器（Connector）演变 - **初代**：Cross-Attention Adapter（256 个可学习 query，强压缩 + 保位置） - **2.5-VL**：4× Spatial Merge MLP（相邻 4 patch 合并，高效） - **3-VL**：DeepStack 多层注入（ViT 不同层特征相加到 LLM 前 3 层，不增加 token） ### 位置编码演变 - **初代**：2D 绝对位置（Adapter 内）+ 1D-RoPE（LLM） - **2-VL/2.5-VL**：MRoPE（把维度分块成 T/H/W 三段） - **3-VL**：Interleaved MRoPE（T/H/W 交错均匀分布到低/高频） ### 分辨率与视频演变 - **初代**：固定 224 → 448；视频仅采样 4 帧 - **2.5-VL**：原生动态分辨率 + 动态 FPS；视频 768 帧 - **3-VL**：动态 + 文本时间戳；视频 2048 帧，224K token ### 训练与后训练演变 - **初代**：3 阶段（预训练→多任务→SFT） - **2.5-VL**：3 阶段预训练 + SFT + DPO - **3-VL**：4 阶段预训练 + SFT + 蒸馏 + RL（thinking/non-thinking 双变体） ### 能力新增 - **初代**：基础 VQA + Grounding + OCR - **2.5-VL**：+ 文档全能解析 + Agent + 长视频 - **3-VL**：+ Thinking 推理 + 256K 长上下文 + MoE + 多模态编码

# 学习路线建议 本系列笔记按主题拆分，建议**由浅入深**阅读： ### 第一步：建立全局观（本主题） 理解三篇论文在 AI 知识体系中的位置，看清"三件套"框架。 ### 第二步：理解多模态大模型知识体系（下一主题） 补充 MLLM 的编码器/连接器/LLM 三件套、连接器四大范式、分辨率三代思路。 ### 第三步：逐篇精读（三个论文主题） - Qwen-VL 初代：三阶段训练 + 位置感知 Adapter - Qwen2.5-VL：Window Attention + MRoPE + Agent - Qwen3-VL：DeepStack + Thinking + 平方根重加权 ### 第四步：横向对比（最后两个主题） - 三论文技术演变对比（连接器/位置编码/分辨率/训练） - 基座模型技术演变（Qwen-7B → Qwen2.5 → Qwen3） ### 学习心法 ``` 先讲是什么 → 再讲为什么 → 配数学公式/代码 → 补行业知识 ``` 每个主题都遵循这个渐进式结构，便于初学者理解。

# MLLM 的三件套框架 一个多模态大模型 = **编码器（Encoder）+ 连接器（Connector）+ 语言模型（LLM）**： ``` ┌──────────────┐ ┌────────────┐ ┌─────────────────┐ │ 视觉编码器 │ ──▶ │ 连接器 │ ──▶ │ 大语言模型 │ │ Vision Encoder│ │ Connector │ │ LLM │ │ (ViT/CLIP) │ │ (Adapter) │ │ (Qwen/LLaMA) │ └──────────────┘ └────────────┘ └─────────────────┘ 抽取视觉特征 压缩/对齐特征 理解+生成文本 ``` ### 各组件职责 - **编码器**：把图像/视频变成一串特征向量（"看"）。主流是 ViT、CLIP、SigLIP。 - **连接器**：把视觉特征"翻译"成 LLM 能理解的视觉 token（"桥梁"）。 - **LLM**：融合视觉与文本 token，输出回答（"想+说"）。 ### 为什么是这个框架？ 这套"视觉编码器 + 连接器 + LLM"的范式源自 **BLIP-2（2023）** 和 **LLaVA（2023）**，核心思想是**复用已训练好的 LLM**，只训练轻量连接器来对齐视觉与语言。这比从头训练一个多模态模型（如 Flamingo）成本低得多。 > 三篇 Qwen 论文的演进，本质上就是**这三件套各自如何升级**——这是后续技术演变对比的主线。

# 连接器（Connector）的四大主流范式 课件往往只讲 Qwen 用的那一种，但理解全貌更有助于学习。这是 MLLM 设计的核心分歧点： | 范式 | 代表 | 思想 | 优缺点 | |------|------|------|--------| | **Linear Projector** | LLaVA | 一个线性层直接投影 | 简单，但视觉 token 多、LLM 计算重 | | **Q-Former / Resampler** | BLIP-2 / Flamingo | 可学习 query 做 cross-attn 压缩 | 压缩比高，但信息损失 | | **Cross-Attention（位置感知）** | **Qwen-VL** | 单层 cross-attn + 2D 位置编码 | **保留位置细节，擅长 grounding** | | **Spatial Merge MLP** | **Qwen2.5-VL** / Qwen3-VL | 相邻 patch 合并 + MLP | 高效，配合动态分辨率 | ### Qwen 系列的选择演变 ``` 初代：Cross-Attn（强压缩 + 保位置） ↓ 转向 2.5-VL：Spatial Merge（高效 + 配合动态分辨率） ↓ 进化 3-VL：DeepStack（多层注入，连接器"消失"进 LLM） ``` ### 行业趋势 连接器从"独立模块"逐渐**与 LLM 融合**。DeepStack 把视觉信息直接注入 LLM 多层，是连接器"消失"的趋势——视觉特征不再是"前置输入"，而是"全程参与"。这反映了行业对"浅层视觉信息丢失"问题的反思。

# 分辨率处理的三代思路 处理任意尺寸图像是 MLLM 的核心难题，行业经历三代方案： | 代际 | 方案 | 代表 | 思想 | 缺点 | |------|------|------|------|------| | 第一代 | **固定分辨率 resize** | LLaVA、Qwen-VL | 把图 resize 到 224/448 | 丢信息、丢长宽比 | | 第二代 | **任意切片（Tile）** | LLaVA-1.5、InternVL | 把大图切成多块分别编码 | 重复计算、块间信息割裂 | | 第三代 | **原生动态分辨率** | **Qwen2-VL / Qwen2.5-VL / Qwen3-VL** | 不固定尺寸，按原图比例切 patch | 训练 batch 不齐（需 padding/pack） | ### 为什么动态分辨率是 SOTA？ - **不丢信息**：原图比例保留，文字/小目标清晰； - **不重复计算**：一张图只编码一次； - **内禀学尺度**：模型能感知"这张图比那张大"。 > Qwen2 起的"动态分辨率"是行业 SOTA 方案的标志。代价是训练工程复杂（不同图 token 数不同，需要动态 packing）。 ### Qwen 各代的分辨率策略 - **初代**：固定 224 → 448（两阶段），高分辨率 896 因太慢放弃； - **2.5-VL**：高/宽 resize 到 **28 的倍数**（patch=14，28=2 patch 边），按原图比例采样； - **3-VL**：沿用动态分辨率，配合文本时间戳处理视频。

# 视觉 token 数量与计算成本（数学补充） 为什么"压缩视觉 token"这么重要？因为 Transformer 的自注意力是 **O(n²)** 复杂度： $$ \text{Attn 复杂度} = O(n^2 \cdot d), \quad n = \text{序列长度} $$ ### 举例：Qwen-VL 初代 - 448×448 输入，patch=14 → ViT 输出 $(448/14)^2 = 32^2 = 1024$ 个 token； - 经 Adapter 压缩到 **256** 个 → 压缩比 4:1； - 送入 LLM 的视觉 token 固定 256，无论分辨率多大。 ### 三代的压缩策略对比 | 模型 | 压缩方式 | 压缩比 | 是否增加 token | |------|---------|--------|--------------| | Qwen-VL | Cross-Attn（256 query） | 4:1（1024→256） | 否 | | Qwen2.5-VL | 4× Spatial Merge | 4:1 | 否 | | Qwen3-VL | DeepStack 相加 | **不增加** | 否 | ### 工程意义 **压缩比直接影响推理延迟和显存**——这是工业部署的关键。一张高分辨率图如果不压缩，可能产生几万 token，LLM 的 $O(n^2)$ 注意力根本算不动。 ### Window Attention 的复杂度对比 | 注意力类型 | 复杂度（n = patch 数） | |-----------|----------------------| | Global Self-Attention | $O(n^2 \cdot d)$ | | Window Attention | $O(n \cdot w^2 \cdot d)$，$w$ 为窗口大小 | 对 $n = 10000$ patches： - Global：$10000^2 = 10^8$ 量级； - Window（$w=8$）：$10000 \times 64 = 6.4 \times 10^5$ 量级； - **约 150× 的计算量节省**（不计少量 full attn 层）。

# 定位与整体架构 ## 要解决什么问题 2023 年中开源多模态大模型有两大痛点： 1. **训练不充分**：距 GPT-4V 差距巨大； 2. **细粒度能力弱**：做不了 Grounding（目标定位）和 OCR（文字识别）。 Qwen-VL 的目标：**在同规模开源模型里做到领先，并补齐 Grounding + OCR + 中文 + 多图**四大短板。 ## 三件套架构（总参数 9.6B） | 组件 | 参数量 | 初始化 | |------|--------|--------| | Vision Encoder（ViT-bigG） | 1.9B | OpenClip ViT-bigG | | VL Adapter（位置感知 cross-attn） | 0.08B | 随机初始化 | | LLM（Qwen-7B） | 7.7B | Qwen-7B 中间 ckpt | ## 数据流 ``` 图像 ──▶ ViT(patch=14) ──▶ 视觉特征序列 ──▶ Adapter ──▶ 固定256 token ──▶ LLM ──▶ 文本 224→256 / 448→1024 cross-attn 压缩 拼接到文本序列 ``` ## 视觉编码器细节 - 架构：ViT-bigG，初始化自 OpenClip； - Patch 化：stride=14； - 分辨率：Stage1 用 224（→256 token），Stage2/3 用 448（→1024 token）。 ## 工程决策：Window vs Global Attention | 分辨率 | Global Attn | Window Attn | |--------|-------------|-------------| | 448 | 10 s/iter | 9 s/iter | | 896 | 60 s/iter | 25 s/iter | 结论：448 下两者速度相近，但 **Global Attention 的 loss 明显更低**，所以选 Global Attention + 448。896 因太慢放弃。 > 这一决策为 Qwen2.5-VL 的 Window Attention 埋下伏笔——后来用"少量 full attn 层"解决了高分辨率效率问题。

# 核心创新：Position-aware Vision-Language Adapter ## 基本结构 - **单层 cross-attention**（比 BLIP-2 Q-Former 简洁）； - **256 个可学习 query embedding** 作 query； - 图像特征作 key/value； - 把变长视觉序列（256/1024）压缩为**固定 256 token**。 ## 位置编码保持（关键创新） 在 cross-attention 的 query-key 对中**融入 2D 绝对位置编码**。因为压缩会丢位置细节，而 Grounding 必须知道"物体在哪"。 ## Cross-Attention 数学回顾 Attention 机制核心公式： $$ \text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{Q K^\top}{\sqrt{d_k}}\right) V $$ 在 Qwen-VL Adapter 里： - $Q$ = 256 个可学习 query； - $K, V$ = 图像 patch 特征（1024 个）； - 加入 2D 位置编码 $p$：$Q' = Q + p_Q$，$K' = K + p_K$； - 输出仍是 256 个融合了视觉+位置信息的 token。 ## Query 数量消融（E.2） | Query 数 | 64 | 144 | 256 | 400 | |---------|----|----|-----|-----| | 效果 | 丢信息 | 收敛慢 | **最优** | 收敛慢 | 最终选 256（兼顾 448 输入下 1024 token 的 4:1 压缩比）。 ## 与 Q-Former / Resampler 对比 | 方案 | 代表 | 结构 | 位置感知 | |------|------|------|---------| | Q-Former | BLIP-2 | 多层 Transformer + 自注意 + cross-attn | 弱 | | Perceiver Resampler | Flamingo | 多层 cross-attn | 无显式 | | **Qwen-VL Adapter** | Qwen-VL | **单层 cross-attn + 2D 位置** | **强** | > Qwen-VL 的贡献：用更轻的结构 + 显式位置编码，达到更好的 grounding 效果。 ## 简化代码示意 ```python class PositionAwareAdapter(nn.Module): def __init__(self, num_queries=256, dim=4096): self.queries = nn.Parameter(torch.randn(num_queries, dim)) self.cross_attn = nn.MultiheadAttention(dim, num_heads=32) self.pos_embed_2d = PositionEmbedding2D(dim) # 2D 位置编码 def forward(self, image_features): # image_features: [1024, dim] q = self.queries + self.pos_embed_2d.as_query() k = image_features + self.pos_embed_2d.as_key() compressed, _ = self.cross_attn(q, k, image_features) return compressed # [256, dim] 固定长度 ```

# 三阶段训练流程 Qwen-VL 的训练是教科书级的"由易到难"设计： ## Stage 1：预训练（视觉概念学习） - **数据**：14 亿（1.4B）弱标注图文对（5B 清洗后保留 28%）；英文 77.3%，中文 22.7%； - **分辨率**：224×224（低分辨率，快速学概念）； - **冻结 LLM，只训 ViT + Adapter**； - **配置**：lr=2e-4，batch=30720，50k 步，约 **5000 亿图文 token**。 ## Stage 2：多任务联合训练 - **7 个任务同时训**：Captioning、VQA、Grounding、Ref Grounding、Grounded Captioning、OCR、纯文本； - **分辨率提升到 448×448**； - **解锁 LLM，全模型训练**； - **配置**：lr=5e-5，batch=4096，19k 步； - OCR 数据：SynthDoG 合成（41 英文字体 + 11 中文字体）+ Common Crawl 真实文档。 ## Stage 3：监督微调（SFT） - **数据**：350k 多模态指令数据； - **冻结视觉编码器，训 LLM + Adapter**； - **配置**：lr=1e-5，batch=128，8k 步；ChatML 格式。 ## 三阶段超参汇总 | 配置 | Stage1 | Stage2 | Stage3 | |------|--------|--------|--------| | 分辨率 | 224² | 448² | 448² | | ViT 序列 | 256 | 1024 | 1024 | | LLM 序列 | 512 | 2048 | 2048 | | 峰值 lr | 2e-4 | 5e-5 | 1e-5 | | 训练步数 | 50k | 19k | 8k | | Batch size | 30720 | 4096 | 128 | ## 为什么三阶段？（行业补充：渐进解冻） - **Stage 1 冻 LLM**：LLM 已很强，先让视觉模块学会"看见"，避免早期视觉噪声污染语言能力； - **Stage 2 解 LLM**：视觉初步对齐后，全模型联合优化，学习多任务； - **Stage 3 冻视觉**：视觉已稳定，专注学指令跟随与对话。 这是"**渐进解冻**"思想，后续 LLaVA、InternVL 等也广泛采用。

# 统一的特殊 Token 接口 Qwen-VL 用**一套特殊 token**把图像、bbox、指代、OCR 四边形统一为文本序列——这是非常巧妙的设计。 ## 特殊 Token 列表 | Token | 用途 | |-------|------| | `<img>` `</img>` | 图像特征序列起止 | | `<box>` `</box>` | bounding box 起止 | | `<ref>` `</ref>` | 指代描述（被框的内容） | | `<quad>` `</quad>` | OCR 四边形（4 点） | ## Bounding Box 格式 - 任意 bbox 归一化到 **[0, 1000)**； - 格式：`"(X左上, Y左上), (X右下, Y右下)"`； - 作为**普通文本 tokenize**，无需额外位置词表。 ## Grounding 示例 ``` <img>image.jpg</img>Generate the caption with grounding: Beautiful shot of <ref>bees</ref><box>(661,612),(833,812)</box> gathering nectars from <ref>an apricot flower</ref><box>(224,13),(399,313)</box> ``` ## OCR 四边形示例 ``` <img>doc.jpg</img>OCR with grounding: <ref>It is managed</ref> <quad>(568,121),(625,131),(624,182),(567,172)</quad> ``` ## 多图对话（ChatML 格式） ``` <im_start>user Picture 1: <img>vg/VG_100K_2/649.jpg</img>What is the sign in the picture?<im_end> <im_start>assistant The sign is a road closure with an orange rhombus.<im_end> ``` ## 设计哲学（行业补充） 这种"把坐标当文本"的设计非常巧妙——**复用 LLM 的语言建模能力来做定位**，不需要额外的检测头。后续 Qwen2.5-VL 改用真实坐标（不归一化），Qwen3-VL 又回到 [0,1000] 归一化，各有权衡。 - **归一化**（初代/3-VL）：尺度统一，训练稳定； - **绝对坐标**（2.5-VL）：内禀学尺度，更贴合真实场景。

# 评测结果与关键创新点 ## 通用 VQA（Table 4） | 模型 | Flickr30K | VQAv2 | OKVQA | GQA | |------|-----------|-------|-------|-----| | BLIP-2(13B) | 71.6 | 65.0 | 45.9 | 32.3 | | InstructBLIP | 82.8 | - | - | 49.5 | | **Qwen-VL** | **85.8** | **79.5** | **58.6** | **59.3** | ## Grounding（Table 6） | 模型 | RefCOCO val | GRIT | |------|-------------|------| | Shikra-13B | 87.83 | 69.03 | | **Qwen-VL** | **89.36** | **78.22** | ## 对话（Table 7） | 模型 | TouchStone 中 | MME 感知 | SEED-Bench | |------|--------------|---------|-----------| | **Qwen-VL-Chat** | **401.2** | **1487.58** | **65.4** | ## 纯文本能力防退化（Table 11） | 模型 | MMLU | CMMLU | C-Eval | |------|------|-------|--------| | Qwen-7B（最终） | 58.2 | 62.2 | 63.5 | | Qwen-7B（中间，作 init） | 49.9 | - | 48.5 | | **Qwen-VL** | **50.7** | **49.5** | **51.1** | 多任务和 SFT 阶段**混入纯文本数据**，防止了"灾难性遗忘"，MMLU/C-Eval 甚至略有提升。 ## 关键创新点小结 1. **Position-aware Adapter**：单层 cross-attn + 256 query + 2D 位置编码保持 → 擅长 grounding； 2. **统一特殊 token 接口**：图像/框/指代/OCR 四边形统一为文本序列； 3. **三阶段训练**：低分辨率学概念 → 高分辨率多任务 → 指令微调； 4. **细粒度多模态语料**：SynthDoG 合成 + Common Crawl 真实 OCR 数据； 5. **多语言 + 多图交错**：原生支持中文 grounding 与多图对话。 ## 局限（为后续论文埋伏笔） - 尚未集成语音、视频模态； - 高分辨率 896 因成本放弃； - 基座非最优（Qwen-7B 中间 ckpt）； - 固定 256 token 压缩损失高分辨率信息。 > 这些局限正是后续 Qwen2-VL/2.5-VL/3-VL 要解决的。

# 定位：从"能看图"到"能干活" Qwen2.5-VL 把多模态大模型比作"三明治饼干的中层"——各项能力尚可但难称卓越。它的目标： - 把**细粒度感知**做扎实（fine-grained perception）； - 成为真实世界应用的**智能体放大器（agentic amplifier）**。 ## 四大技术贡献 1. **Window Attention** 视觉编码器，优化推理效率； 2. **动态 FPS**，把动态分辨率扩展到时间维度（视频）； 3. **MRoPE 对齐绝对时间**，实现复杂时间序列学习； 4. 预训练语料从 **1.2T → 4.1T** tokens。 ## 四大闪亮特性 - 全能文档解析； - 跨格式精确 Grounding（bbox + point）； - 超长视频理解与秒级视频定位； - 增强的计算机/手机 Agent。 ## 整体架构（三件套升级） | 组件 | 改进点 | |------|--------| | LLM | 基座 Qwen2.5；1D-RoPE → **MRoPE（对齐绝对时间）** | | ViT | 自研 ViT；引入 **2D-RoPE + Window Attention**；从零训练 | | Merger | 基于 MLP 的 **4× spatial merge** | ## ViT 配置（Table 1，三档共享） | 配置项 | 数值 | |--------|------| | Hidden Size | 1280 | | # Layers | 32 | | # Heads | 16 | | Patch Size | 14 | | **Window Size** | **112（= 8×8 patches）** | | **Full Attn 层索引** | **{7, 15, 23, 31}**（仅 4 层） |

# 核心创新①：Window Attention ## 思想 Qwen-VL 初代因为高分辨率（896）Global Attention 太慢（60s/iter）而放弃。Qwen2.5-VL 的解法： - **32 层 ViT 中，仅 4 层用 full self-attention**（均匀分布：第 7、15、23、31 层）； - 其余 28 层用 **windowed attention**（窗口 112×112 = 8×8 patches）； - 小于 112×112 的区域**不加 padding**，保持原始分辨率。 ## 复杂度优势（数学补充） | 注意力类型 | 复杂度（n = patch 数） | |-----------|----------------------| | Global Self-Attention | $O(n^2 \cdot d)$ | | Window Attention | $O(n \cdot w^2 \cdot d)$，$w$ 为窗口大小 | 对一张高分辨率图（$n = 10000$ patches）： - Global：$10000^2 = 10^8$ 量级； - Window（$w=8$）：$10000 \times 64 = 6.4 \times 10^5$ 量级； - **约 150× 的计算量节省**（不计 4 层 full attn）。 ## 行业补充：思想来源 Window Attention 思想来自 **Swin Transformer**（微软 2021）。Swin 用 shifted window 让相邻窗口信息流通；Qwen2.5-VL 用"少量 full attn 层"实现全局信息汇聚，是更简洁的工程取舍。 ## 4× Spatial Merge（视觉 token 压缩） 替代了 Qwen-VL 的 cross-attn Adapter，三步走： 1. **分组**：空间相邻的 **4 个 patch** 为一组； 2. **拼接**：concat 成一个长向量； 3. **投影**：两层 MLP 投影到 LLM embedding 维度。 ``` [patch₁][patch₂][patch₃][patch₄] ──concat──▶ [concat] ──MLP──▶ 1 token ``` 效果：**4× token 压缩**；视频数据**两个连续帧合并为一组**（3D patch partitioning），进一步省 token。 ## 简化代码示意 ```python class SpatialMerger(nn.Module): def __init__(self, in_dim, out_dim): # 把 4 个相邻 patch concat 后投影 self.mlp = nn.Sequential( nn.Linear(in_dim * 4, out_dim), nn.GELU(), nn.Linear(out_dim, out_dim), ) def forward(self, patches): # patches: [H, W, dim] H, W, D = patches.shape # 取相邻 2x2 patch 组 groups = patches[:H//2*2, :W//2*2].view(H//2, 2, W//2, 2, D) merged = groups.permute(0, 2, 1, 3, 4).reshape(H//2, W//2, 4*D) return self.mlp(merged) # [H/2, W/2, out_dim] → 4x 压缩 ```

# 核心创新③：MRoPE 升级与绝对时间 ## MRoPE 三维度分解 MRoPE（Multimodal RoPE）把位置编码分解为**时间(t) + 高(h) + 宽(w)** 三个独立组件： | 输入 | temporal ID | h/w ID | |------|-------------|--------| | 纯文本 | 三组件同 ID（= 传统 1D RoPE） | 同左 | | 图像 | 所有视觉 token 共享 temporal ID | 按空间位置分配 | | 视频 | 每帧 temporal ID 递增 | 同图像 | ## RoPE 原理回顾（初学者补充） RoPE（旋转位置编码）通过对 query/key 做**旋转**来注入相对位置信息： $$ q'_m = q_m e^{i m \theta}, \quad k'_n = k_n e^{i n \theta} $$ 内积结果只依赖**相对位置** $m - n$： $$ \langle q'_m, k'_n \rangle = \text{Re}\bigl((q_m e^{i m\theta})(k_n e^{i n\theta})^*\bigr) = f(q_m, k_n, m-n) $$ 把不同维度分组，分别用不同 $\theta$（频率），就能编码 1D 位置。MRoPE 把维度**分成三段**，分别编码 t/h/w。 ## Qwen2.5-VL 的关键升级：对齐绝对时间 Qwen2-VL 的 temporal ID **绑定的是帧序号**，无法反映视频里事件的绝对时间（比如"第 30 秒"）。 Qwen2.5-VL 的解法： - **让 temporal ID 之间的间隔对齐真实时间戳**； - 即使 FPS 不同，时间对齐也保持一致； - **零额外计算开销**。 效果：模型能感知"时间的节奏（tempo of time）"，支持**秒级事件定位**，可处理**数小时**视频。 ## 时间戳格式 视频定位数据中，时间戳同时采用： - **second-based 格式**：`3.5` - **hmsf 格式**：`0:00:03.500`（hour-minute-second-frame） 让模型能理解和输出多种时间格式。 ## 视频处理参数 - 评测上限：每视频最多 **768 帧**； - 视频 token ≤ **24,576**； - 长视频（>30 分钟）专门合成多帧 caption。

# 动态分辨率与文档全能解析 ## 动态分辨率（Native Dynamic Resolution） - 图像高/宽 resize 到 **28 的倍数**（patch=14，所以 28 = 2 个 patch 的边）； - **按原图比例随机采样**（dynamic sampling at native resolutions）； - **不再归一化坐标**，直接用图像实际尺寸表示 bbox/point； - 模型**内禀学习尺度信息**。 ## 原生动态 FPS（视频） - 训练时**动态采样 FPS**，让训练集 FPS 分布更均匀； - 长视频（>30 分钟）专门合成多帧 caption； - 评测上限：每视频最多 **768 帧**，视频 token ≤ **24576**。 ## 文档全能解析：QwenVL-HTML 格式（核心创新） **用 HTML 格式统一表示所有文档元素**，把布局框信息集成到标签的 `data-bbox` 属性里： | 文档元素 | HTML 标签 | |---------|----------| | 段落 | `<p>` | | 表格 | `<style>` + `<table>` | | 图表 | `<div class="chart">` | | 公式 | `<div class="formula">` | | 图像描述 | `<div class="image caption">` | | 图像 OCR | `<div class="image ocr">` | | 乐谱 | `<div class="music sheet" format="abc notation">` | | 化学公式 | `<div class="chemical formula" format="smile">` | 每个元素都带 `data-bbox="x1 y1 x2 y2"`，既能解析内容，也能定位位置。 ## Grounding 数据 - 训练时用**图像实际尺寸**的坐标值表示 bbox 和 point； - 合成多种格式：XML、JSON、自定义格式； - **开放词汇检测扩展到 10,000+ 物体类别**； - 技术：copy-paste augmentation、Grounding DINO、SAM 合成。 ## Agent 数据 - 感知：收集 mobile/web/desktop 截图，合成引擎生成 caption + UI 元素 grounding 标注； - 决策：统一 mobile/web/desktop 操作为**函数调用格式，共享动作空间**； - 通过人工+模型标注生成每步推理过程。

# 训练策略与评测结果 ## 预训练三阶段（Table 2） | 阶段 | 数据 | Tokens | 序列长度 | 训练部分 | |------|------|--------|---------|---------| | 1. 视觉预训练 | caption + 知识 + OCR + 纯文本 | 1.5T | 8192 | **仅 ViT** | | 2. 多模态预训练 | 交错数据 + VQA + 视频 + Grounding + Agent | 2T | 8192 | **ViT + LLM** | | 3. 长上下文预训练 | 长视频 + 长 Agent + 长文档 | 0.6T | **32768** | ViT + LLM | ## Post-training：SFT + DPO - **SFT**：约 200 万条指令数据（纯文本 50% + 多模态 50%）；ChatML 格式； - **DPO**（Direct Preference Optimization）：用偏好数据对齐人类偏好。 ## DPO 原理（初学者补充） DPO 是 RLHF 的简化版，**直接用偏好数据训练**，不需要训练 reward model + PPO： $$ \mathcal{L}_{\text{DPO}} = -\log\sigma\!\left(\beta\log\frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta\log\frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}\right) $$ 其中 $y_w$ 是偏好（chosen）样本，$y_l$ 是被拒绝（rejected）样本，$\pi_{\text{ref}}$ 是参考模型，$\beta$ 是温度。 ## 基座 LLM：Qwen2.5 | 配置 | 3B | 7B | 72B | |------|-----|-----|------| | Hidden Size | 2048 | 3584 | 8192 | | # Layers | 36 | 28 | 80 | | # KV Heads | 2 | 4 | 8 | | Trained Tokens | **4.1T** | **4.1T** | **4.1T** | ## 评测结果（关键 benchmark） ### 综合 + OCR + 视频 + Agent | Benchmark | 72B | 7B | 3B | |-----------|-----|-----|-----| | MMMU | **70.2** | 58.6 | 53.1 | | MathVista | **74.8** | 68.2 | 62.3 | | OCRBench | **885** | 864 | 797 | | OCRBench_v2(中) | **63.7** | 57.2 | 52.1 | | DocVQA | 96.4 | 95.7 | 93.9 | | Video-MME (w/o sub) | 73.3 | 65.1 | 61.5 | | LVBench | **47.3** | 45.3 | 43.3 | | Charades-STA mIoU | **50.9** | 43.6 | 38.8 | | ScreenSpot Pro | **43.6** | - | - | | AndroidWorld SR | **35%** | - | - | ## 关键创新点小结 1. **Window Attention ViT**：32 层仅 4 层 full attn，计算从二次降为线性； 2. **4× Spatial Merge**：相邻 4 patch concat + MLP； 3. **MRoPE 对齐绝对时间**：temporal ID 与时间戳对齐，零开销； 4. **原生动态 FPS**：训练时动态采样帧率； 5. **绝对坐标训练**：放弃归一化，内禀学尺度； 6. **统一 HTML 文档格式**：QwenVL-HTML 把布局+内容标准化； 7. **完整 Agent 能力**：mobile/web/desktop 统一动作空间。 **旗舰 72B 在文档/图表理解上匹敌甚至超越 GPT-4o 和 Claude 3.5 Sonnet**。

# 定位与模型家族 ## 当前最强多模态基座 Qwen3-VL 是 Qwen 系列**迄今能力最强的视觉-语言模型**，三大支柱： 1. **纯文本理解显著增强**——多模态化后**不退反进**，多个基准超同尺寸纯文本骨干； 2. **原生 256K 长上下文**——文本+图像+视频交错输入，可对长文档/长视频忠实记忆与跨段引用； 3. **先进的多模态推理**——MMMU、MathVista、MathVision 全面 SOTA。 ## 相比 Qwen2.5-VL 的关键跃升 - 架构：**Interleaved MRoPE + DeepStack + 文本时间戳**； - 训练：**平方根重加权损失**； - 后训练：**thinking / non-thinking 双变体**，并向后训练倾斜算力。 ## 模型家族（Dense + MoE） | 类型 | 型号 | 总参数 | 激活参数/Token | 对标 | |------|------|--------|--------------|------| | Dense | 2B | 2B | 2B | GPT-5-Nano | | Dense | 4B | 4B | 4B | 边缘端 | | Dense | 8B | 8B | 8B | 5 个基准全场最高 | | Dense | 32B | 32B | 32B | Gemini-2.5-Flash / GPT-5-mini | | **MoE** | **30B-A3B** | **30B** | **A3B** | MoE 中型 | | **MoE 旗舰** | **235B-A22B** | **235B** | **A22B** | GPT-5 / Gemini-2.5-Pro / Claude-Opus-4.1 | 每个模型都有 **Thinking（推理）** 与 **Non-thinking（Instruct）** 两个变体。 ## 行业补充：MoE 是什么？ Mixture-of-Experts（混合专家）——把 FFN 换成多个"专家"网络，每个 token 只激活少数专家。 - **优势**：总参数大、激活参数小（如 235B 总参、22B 激活），算得快又能装下更多知识； - **代价**：显存占用大（所有专家都要驻留显存），路由训练复杂。 Qwen3-VL-235B-A22B：**235B 总参 → 单 token 只用 22B → 推理速度接近 22B Dense，但能力接近 235B Dense**。

# 架构三件套创新 沿用 Qwen2.5-VL 的 ViT + Merger + LLM，但引入三大架构创新。 ## 视觉编码器 - 采用 **SigLIP-2 架构**，从官方预训练 ckpt 继续训练； - 默认 **SigLIP2-SO-400M**，小模型（2B/4B）用 **SigLIP2-Large (300M)**； - 配合 **2D-RoPE + 动态分辨率**（沿用 Qwen2.5-VL）； - 报告还自研 **Qwen3-ViT**（Table 11 消融：Qwen3-ViT 在 OmniBench 53.0 vs SigLIP-2 的 50.1）。 ## 架构创新①：Interleaved MRoPE **问题**：Qwen2-VL 的 MRoPE 把嵌入维度**分块**成 t/h/w 三段，导致频率谱不平衡，损害长视频理解。 ``` Qwen2-VL（分块）： [t t t | h h h | w w w] ← 每段独占一段频率 Qwen3-VL（交错）： [t h w | t h w | t h w] ← 均匀分布到低/高频 ``` **方案**：把 t/h/w **交错均匀分布**到低频和高频波段，每个空间-时间轴在低/高频都被均匀表征。 **效果**：缓解原频谱偏差，显著改善视频长程位置建模。 ### 数学直觉 RoPE 的不同维度对应不同频率 $\theta_i$： - Qwen2-VL 分块：低频段全给 t → t 只有低频，长视频位置信息丢失； - Qwen3-VL 交错后，t/h/w 在低频和高频都被均匀表征，频谱更均衡。 ## 架构创新③：文本时间戳（替代 T-RoPE） **Qwen2.5-VL 旧方案缺陷**： 1. 时间位置 ID 直接绑定绝对时间 → 长视频产生过大且稀疏的位置 ID； 2. 需大量不同 FPS 均匀采样，训练数据构建成本高。 **新方案**：每个视频时间 patch 前加**文本格式时间戳**字符串，如 `<3.0 seconds>`；训练时同时用 **秒** 与 **HMS（时:分:秒）** 两种格式。 **代价**：上下文略增；**收益**：时间感知更精确，特别适合 video grounding 与 dense captioning。

# 架构创新②：DeepStack 与长上下文 256K ## DeepStack / Dynamic ViT **核心思想**：让 LLM 不同层看到**不同粒度**的视觉信息，而非只在输入层看一眼。 ### 三步走（Section 2.2 + Figure 1） 1. **选择**：从 ViT 的**三个不同层级**抽取特征： - 低层 → 边缘/纹理； - 中层 → 形状/结构； - 高层 → 物体/场景语义。 2. **投影**：部署**专门的 Merger 模块**，把三组多层特征分别投影成视觉 token； 3. **注入**：把视觉 token **直接相加（add）**到 **LLM 前 3 层**的隐藏状态中（不拼接）。 ### 关键点 **不增加上下文长度**（因为是相加而非拼接）。 ### 消融结果（Table 12，15B-A2B LLM + 200B tokens） DeepStack 使平均分 **74.7 → 76.0**，尤其在细粒度文档理解任务提升明显： | Benchmark | 无 DeepStack | 有 DeepStack | |-----------|-------------|-------------| | InfoVQA | 71.9 | 74.2 | | ChartQA | 81.5 | 83.3 | | DocVQA | 89.5 | 91.1 | ### 行业补充：思想来源 原始 DeepStack（Meng et al., NeurIPS 2024）是从**多尺度视觉输入**堆叠 token；Qwen3-VL 改为从 ViT 中间层抽取，是"Dynamic ViT"式的多层特征利用。思想类似 U-Net 的 skip-connection 和 FPN——**让浅层细节与高层语义都参与决策**。 ### 简化代码示意 ```python class DeepStackMerger(nn.Module): def __init__(self, vit_layers=[6, 12, 24], llm_layers=[0, 1, 2]): self.mergers = nn.ModuleList([Merger() for _ in vit_layers]) self.llm_layers = llm_layers # 注入到 LLM 的层索引 def forward(self, vit_features, llm_hidden_states): # vit_features: list of [N, D] from different ViT layers visual_tokens = [m(f) for m, f in zip(self.mergers, vit_features)] # 相加注入（不增加 token 数） for llm_idx, vt in zip(self.llm_layers, visual_tokens): llm_hidden_states[llm_idx] = llm_hidden_states[llm_idx] + vt return llm_hidden_states ``` ## 长上下文 256K - 原生支持 **256K token**，文本+图像+视频交错输入； - 视频上限：每视频最多 **2048 帧**，视频 token ≤ **224K**； - **Needle-in-a-Haystack**（Figure 3）： - ≤30 分钟（256K）**100%** 准确率； - YaRN 外推到 **1M token（约 2 小时）仍 99.5%**。 ### 预训练 S3 阶段专门适配 序列长度冲到 **262,144**，用 100B tokens 训练长视频+长文档。这种"**渐进拉长上下文**"是当前长上下文训练的标配。

# Thinking 双模式与训练策略 ## 预训练四阶段（Table 1） | 阶段 | 目标 | 可训练部分 | Token | 序列长度 | |------|------|-----------|-------|---------| | **S0** | 视觉-语言对齐 | 仅 Merger（ViT/LLM 冻结） | 67B | 8,192 | | **S1** | 多模态预训练 | 全参数 | ~1T | 8,192 | | **S2** | 长上下文预训练 | 全参数 | ~1T | 32,768 | | **S3** | 超长上下文适配 | 全参数 | 100B | **262,144** | ## 平方根重加权（核心训练创新） 从 **per-sample loss** 改为 **square-root-normalized per-token loss**： $$ \mathcal{L}_{\text{sqrt}} = \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \ell_i $$ 其中 $N$ 是样本的 token 数。 ### 为什么是平方根？ - 若用 $\frac{1}{N}$（per-token 平均）：长样本权重 = 短样本，长文档/长视频被"稀释"； - 若用 $\frac{1}{1}$（per-sample 求和）：长样本权重远大于短样本，文本（通常较短）被淹没； - **平方根 $\frac{1}{\sqrt{N}}$ 是两者的折中**——既不让长样本淹没，也不让短样本稀释，是统计学中稳健的归一化选择。 作用：更好平衡文本与多模态数据——**提升多模态性能但不牺牲文本能力**。这是"看图不忘识字"的关键秘诀。 ## Thinking vs Non-thinking 双模式 | 模式 | 特点 | 适用 | |------|------|------| | **Non-thinking（Instruct）** | 标准格式，快速响应 | 日常对话 | | **Thinking** | CoT 格式，显式推理过程 | 复杂数学/逻辑题 | ### 行业补充：为什么分两个变体？ 这是 o1/R1 之后的行业趋势——**推理是可选能力**。 - 简单任务用 non-thinking，省算力、快响应； - 复杂任务用 thinking，多想几步再答。 Qwen3-VL 把这套思路扩展到多模态，是首批"会推理的 VLM"之一。 ## 后训练三阶段流程 1. **SFT**：两子阶段（先 32K 再 256K），约 **120 万样本**（1/3 纯文本 + 2/3 多模态）；Long-CoT 冷启动数据（多模态必要性过滤——剔除纯文本可解样本）。 2. **Strong-to-Weak Distillation（强→弱蒸馏）**：**仅用纯文本数据**蒸馏 LLM 骨干；Off-policy + On-policy 两子阶段。报告称"极其高效"——因为推理能力跨模态通用。 3. **Reinforcement Learning**： - **Reasoning RL**：用 **SAPO**（Soft Adaptive Policy Optimization）算法；约 30K RL 查询； - **General RL**：多任务 RL，混合奖励（规则奖励 + 模型奖励）。 ## SAPO vs PPO（行业补充） PPO（Proximal Policy Optimization）是 RLHF 经典算法，但训练不稳定。SAPO 是"软自适应"变体，通过自适应调节 KL 惩罚让训练更稳定。Qwen3-VL 用 SAPO + 可验证奖励（数学题有标准答案）做 RL，是当前 reasoning model 的主流路径（类似 R1-Zero 的纯 RL 训练）。

# 评测结果与关键创新点 ## 旗舰 235B-A22B 视觉推理/STEM（Table 2） | Benchmark | Thinking | Instruct | |-----------|----------|---------| | **MMMU** | 80.6 | 78.7 | | MMMU-Pro | 69.3 | 68.1 | | **MathVista** | **85.8** | 84.9 | | **MathVision** | **74.6** | 66.5 | | MathVerse | **85.0** | 72.5 | | LogicVista | **72.2** | 65.8 | Thinking 版在 MathVista / MathVision / MathVerse / ZeroBench / LogicVista / VisuLogic 上 SOTA。 ## 文档理解 | Benchmark | Thinking | Instruct | |-----------|----------|---------| | DocVQA | 96.5 | 97.1 | | OCRBench | 875 | 920 | | InfoVQA | 89.5 | 89.2 | | **MMLongBench-Doc** | 57.0 | 56.2（长文档 SOTA） | ## 视频 | Benchmark | Thinking | Instruct | |-----------|----------|---------| | Video-MME (w/o sub) | 79.0 | 79.2 | | **MLVU-Avg** | 83.8 | 84.3（超 Gemini-2.5-Pro） | | VideoMMMU | 80.0 | 74.7 | | Charades-STA mIoU | 63.5 | 64.8（视频时刻定位） | ## 纯文本（证明"不丢文本能力"） **Instruct 版（Table 5）**：MMLU-Pro 81.8、AIME-25 **74.7**、HMMT-25 **57.4**、LiveCodeBench v6 **54.3**——超越 DeepSeek V3、Claude-Opus-4(no think)。 **Thinking 版（Table 6）**：AIME-25 89.7、LiveCodeBench v6 **70.1**（超 o3-medium 58.6）。 ## 能力范围总结 1. **纯文本理解超纯文本模型**——视觉与文本能力整合的典范； 2. **视觉推理** SOTA（thinking 版多个数学基准登顶）； 3. **文档理解**全面领先，长文档 SOTA；多语言扩到 **39 种**（32 种 >70%）； 4. **视频理解** 8B 即可与上代 72B 媲美； 5. **2D/3D Grounding + 计数** SOTA（开放词表检测 ODinW-13 48.6 mAP）； 6. **具身/空间智能**对标 Gemini-2.5-Pro/GPT-5； 7. **多图理解** MuirBench 80.1（全场最高）； 8. **多模态编码**（Design2Code/ChartMimic/UniSVG）； 9. **GUI Agent** 全平台（桌面/移动/Web）； 10. **细粒度感知（带工具）** V*/HRBench SOTA。 ## 关键创新点小结 1. **Thinking 模式**：后训练分叉 thinking/non-thinking，Long-CoT 冷启动 + Reasoning RL（SAPO）； 2. **纯文本增强（不"忘本"）**：混合纯文本 + **平方根重加权** + 纯文本蒸馏，三机制协同； 3. **模板/格式强化**：QwenVL-HTML / QwenVL-Markdown 统一标注；[0,1000] 归一化坐标； 4. **架构三件套**：Interleaved MRoPE + DeepStack + 文本时间戳； 5. **算力向后训练倾斜**："后期发力"策略在同预算下效果更优； 6. **Thinking with Images**：think→act→analyze→answer 的多轮工具集成 agent 能力。 **一句话总评**：Qwen3-VL 通过 Interleaved MRoPE + DeepStack + 文本时间戳三大架构创新，配合平方根重加权损失、纯文本蒸馏与 thinking/non-thinking 双变体后训练，在 Dense 与 MoE 两类架构、原生 256K 上下文下，实现了"视觉强、文本不弱、长视频看得准、多图理得清、能推理能干活"的新一代多模态基座，并以 Apache 2.0 全家族开源。

# 连接器（Connector）的演变 连接器是把视觉特征"翻译"给 LLM 的桥梁，是 MLLM 最核心的设计之一。Qwen 三代的演变反映了行业从"重压缩"到"重效率+保真"的转向。 ## 三代对比 | 维度 | Qwen-VL 初代 | Qwen2.5-VL | Qwen3-VL | |------|-------------|-----------|----------| | **类型** | Cross-Attention Adapter | Spatial Merge MLP | DeepStack 多层注入 | | **结构** | 单层 cross-attn | 2 层 MLP | 3 个专用 Merger，特征相加到 LLM 前 3 层 | | **压缩比** | 固定 256 token（4:1） | 4× spatial merge | 不增加 token | | **位置感知** | 2D 绝对位置（query-key） | 2D-RoPE（ViT 内） | Interleaved MRoPE（LLM 内） | | **可学习 query** | 256 个 | 无 | 无 | | **是否增加上下文** | 否 | 否 | **否**（相加） | ## 演变逻辑 - **初代用 cross-attn**：为了"强压缩+保位置"（grounding 需要位置）； - **2.5-VL 用 spatial merge**：为了"高效+配合动态分辨率"（cross-attn 对变长序列不友好）； - **3-VL 用 DeepStack**：为了"多层特征都参与决策"（细粒度文档理解需要低层细节+高层语义）。 ## 行业趋势 连接器从"独立模块"逐渐**与 LLM 融合**。DeepStack 把视觉信息直接注入 LLM 多层，是连接器"消失"的趋势——视觉特征不再是"前置输入"，而是"全程参与"。这反映了行业对"浅层视觉信息丢失"问题的反思。

# 位置编码的演变 ## 三代对比 | 维度 | Qwen-VL 初代 | Qwen2-VL → Qwen2.5-VL | Qwen3-VL | |------|-------------|----------------------|----------| | **ViT 内** | 绝对位置编码 | 2D-RoPE | 2D-RoPE（继承） | | **LLM 内** | 1D-RoPE（Qwen-7B 原生） | **MRoPE**（T-H-W 分块） | **Interleaved MRoPE**（交错） | | **时间处理** | 无（视频采样 4 帧） | temporal ID 绑定帧序号 → 对齐绝对时间 | **文本时间戳**（`<3.0 seconds>`） | | **维度分配** | - | 分块：`[ttt|hhh|www]` | 交错：`[twh|twh|twh]` | ## MRoPE 演变的数学直觉 RoPE 的不同维度对应不同频率 $\theta_i$。 **Qwen2-VL 把维度分块**： - 低频段全给 t → t 只有低频，长视频位置信息丢失； - 高频段全给 h/w → 空间细节过度编码。 **Qwen3-VL 交错后**，t/h/w 在低频和高频都被均匀表征，频谱更均衡： ``` Qwen2-VL 频率分配（分块）： 维度: [1 2 3 | 4 5 6 | 7 8 9] 频率: [低←——→高] 含义: t 全在低频, w 全在高频 → 长视频丢时间精度 Qwen3-VL 频率分配（交错）： 维度: [1 4 7 | 2 5 8 | 3 6 9] (交错重排) 含义: 每个轴都有低中高频 → 时间空间都精确 ``` ## 行业补充：RoPE 的多维扩展是个开放问题 - 1D-RoPE：为文本序列设计，成熟； - MRoPE：扩展到 3D（t/h/w），但分块方案有频谱偏差； - Interleaved MRoPE：更均衡，但仍需更多实验验证。 未来可能出现：连续多维 RoPE、学习式频率分配等更优方案。

# 分辨率与视频的演变 ## 三代对比 | 维度 | Qwen-VL 初代 | Qwen2.5-VL | Qwen3-VL | |------|-------------|-----------|----------| | **图像分辨率** | 固定 224 → 448 | **原生动态**（28 倍数） | 动态（继承） | | **坐标表示** | 归一化 [0,1000) | **绝对坐标**（实际尺寸） | 归一化 [0,1000] | | **视频处理** | 采样 4 帧 | 动态 FPS，768 帧 | **2048 帧**，文本时间戳 | | **视频 token 上限** | - | 24,576 | 224K | | **长上下文** | LLM 序列 2048 | 32K 预训练 | **原生 256K**，外推 1M | ## 坐标表示的反复 坐标表示的反复（归一化→绝对→归一化）反映权衡： - **绝对坐标（2.5-VL）**：内禀学尺度，但不同图像尺度差异大，训练不稳定； - **归一化（3-VL）**：尺度统一，训练稳定，适合多尺度场景。 ## 视频处理能力的跃升 ``` 初代：4 帧静态采样（基本只能"看截图"） ↓ 2.5-VL：动态 FPS + 768 帧 + 绝对时间对齐（能"理解视频节奏"） ↓ 3-VL：2048 帧 + 文本时间戳 + 256K 上下文（能"精确到秒定位事件"） ``` ## 长上下文的工程挑战 256K 序列的自注意力计算量是 8K 的 $(256/8)^2 = 1024$ 倍。Qwen3-VL 用： - **Ring Attention / Flash Attention**（注意力计算优化）； - **序列并行（CP, Context Parallelism）**（把一个长序列切到多卡）； - **YaRN 位置外推**（从 256K 扩到 1M）。 > 这是为什么 Qwen3-VL 需要 **10,000 GPUs** + Megatron-LM 的 TP+PP+CP+EP+ZeRO-1 混合并行才能训起来。

# 训练与能力跃升 ## 训练流程演变 | 维度 | Qwen-VL 初代 | Qwen2.5-VL | Qwen3-VL | |------|-------------|-----------|----------| | **阶段数** | 3 阶段 | 3 阶段预训练 + SFT + DPO | **4 阶段**预训练 + SFT + 蒸馏 + RL | | **预训练 token** | ~500B（图文） | 4.1T | ~2T+（VL）+纯文本 | | **长上下文阶段** | 无 | 32K（0.6T） | **256K**（100B） | | **后训练** | 仅 SFT | SFT + DPO | SFT + **蒸馏** + **RL** | | **损失函数** | per-token CE | per-token CE | **平方根重加权** | | **推理训练** | 无 | 无 | **Thinking 模式 + RL** | **演变主线**：从"只做 SFT"到"DPO 对齐"再到"**蒸馏+RL 双管齐下**"，算力明显向后训练倾斜。 ## 能力的演变（新增能力） | 能力 | Qwen-VL | Qwen2.5-VL | Qwen3-VL | |------|---------|-----------|----------| | 基础 VQA/描述 | ✅ | ✅ | ✅ | | Grounding | ✅（box） | ✅（box+point） | ✅（2D+3D） | | OCR/文档 | ✅ | ✅（HTML 全能解析） | ✅（Markdown+HTML，39 语言） | | 视频 | ❌（4 帧） | ✅（动态 FPS，768 帧） | ✅（2048 帧，时间戳定位） | | Agent | ❌ | ✅（mobile/web/desktop） | ✅（+Thinking with Images） | | 推理（Thinking） | ❌ | ❌ | ✅（CoT + RL） | | 长上下文 | ❌ | 32K | **256K** | | MoE 架构 | ❌ | ❌ | ✅（30B-A3B / 235B-A22B） | | 多模态编码 | ❌ | ❌ | ✅（Design2Code/SVG） | ## Benchmark 分数的直观跃升（MMMU 为例） MMMU（大学级别多学科多模态理解）是衡量 VLM 综合能力的标杆： | 模型 | MMMU | 备注 | |------|------|------| | Qwen-VL 初代 | 未评测（基准尚未建立） | 2023 年无此基准 | | Qwen2.5-VL-72B | 70.2 | 接近 GPT-4o (69.1) | | Qwen3-VL-235B-A22B-Thinking | **80.6** | SOTA，对标 GPT-5 (84.2) | 两年内 MMMU 从"未评测"到 **80.6**，反映了多模态推理能力的爆发式进步。

# 综合对比一览表 ## 三代全维度对比（一目了然） | 维度 | Qwen-VL | Qwen2.5-VL | Qwen3-VL | |------|---------|-----------|----------| | 年份 | 2023.08 | 2025.02 | 2025.11 | | 基座 | Qwen-7B | Qwen2.5 | Qwen3 | | 架构 | Dense | Dense | **Dense + MoE** | | ViT | OpenClip ViT-bigG | 自研（Window Attn） | SigLIP-2 / Qwen3-ViT | | 连接器 | Cross-Attn Adapter（256） | 4× Spatial Merge | **DeepStack 多层注入** | | 位置编码 | 2D 绝对 + 1D-RoPE | MRoPE（分块） | **Interleaved MRoPE** | | 分辨率 | 固定 224/448 | 动态 | 动态 | | 视频 | 4 帧 | 768 帧，动态 FPS | **2048 帧，文本时间戳** | | 长上下文 | 2K | 32K | **256K（外推 1M）** | | 训练 | 3 阶段 SFT | 3 阶段 + SFT/DPO | 4 阶段 + 蒸馏/RL | | 损失 | per-token CE | per-token CE | **平方根重加权** | | 推理模式 | 无 | 无 | **Thinking/Non-thinking** | | Agent | 无 | GUI（3 平台） | GUI + **Thinking with Images** | | MMMU | 未评测 | 70.2（72B） | **80.6**（235B-A22B-T） | | 开源 | 权重 | 权重 | **Apache 2.0 全家族** | ## 演变的五大主线 1. **动态分辨率 + 长上下文**成为标配（固定分辨率时代结束）； 2. **连接器与 LLM 融合**（从独立 Adapter 到 DeepStack 注入）； 3. **位置编码多维化**（1D-RoPE → MRoPE → Interleaved MRoPE）； 4. **MoE 架构**让大模型可部署（Dense → Dense+MoE 双轨）； 5. **推理能力**成为新战场（Thinking 模式 + RL）。

# 基座 LLM 总览 三篇 Qwen-VL 分别基于 **Qwen-7B → Qwen2.5 → Qwen3**，这三代基座 LLM 本身也是国产开源 LLM 的代表演进。 ## 三代基座对比 | 维度 | Qwen-7B（2023） | Qwen2.5（2024） | Qwen3（2025） | |------|----------------|----------------|--------------| | **发布时间** | 2023 | 2024 下半年 | 2025 | | **规模** | 7B（单版） | 0.5B/1.5B/3B/7B/14B/32B/72B | Dense 0.6B-32B + **MoE** 30B-A3B/235B-A22B | | **注意力** | MHA（多头注意力） | **GQA**（分组查询） | GQA | | **归一化** | RMSNorm | Pre-RMSNorm | Pre-RMSNorm | | **激活** | SwiGLU | SwiGLU | SwiGLU | | **位置编码** | RoPE | RoPE | RoPE + 动态 NTK 长度外推 | | **词表** | ~151K | 151,646 | 151,646+ | | **上下文** | 8K | 128K | **256K-1M** | | **架构类型** | 纯 Dense | 纯 Dense | **Dense + MoE** | | **代表能力** | 中文强、MMLU 58.2 | MMLU-Pro 高、代码强 | **推理（Thinking）+ MoE 高效** | ## 演变主线 ``` Qwen-7B（2023）：单一 Dense 7B，中文强，8K 上下文 ↓ 多尺寸化 + GQA + 长上下文 Qwen2.5（2024）：0.5B-72B 全档，GQA，128K，代码强 ↓ 引入 MoE + 推理能力 + 超长上下文 Qwen3（2025）：Dense + MoE 双轨，Thinking，256K-1M ``` > 这三代基座的演进，基本代表了整个开源 LLM 行业 2023-2025 的发展轨迹。

# 注意力机制演变：MHA → GQA 这是 LLM 架构最关键的演进之一。 ## 三种注意力对比 ``` MHA: Q₁K₁V₁ Q₂K₂V₂ Q₃K₃V₃ Q₄K₄V₄ (4 组 KV，每组独立) MQA: Q₁ Q₂ Q₃ Q₄ (1 组 KV 共享，极致压缩) GQA: Q₁K₁V₁ Q₂ Q₃K₃V₃ Q₄ (2 组 KV，中间态) ``` ## MHA（Multi-Head Attention，初代 Qwen-7B） - 每个 head 有独立的 Q、K、V； - KV cache 大，推理慢。 ## GQA（Grouped-Query Attention，Qwen2.5/Qwen3） - 多个 query head **共享**一组 K、V； - KV cache 显著减小，推理更快； - 效果接近 MHA。 ## 数学原理 标准 MHA 的单 head： $$ \text{head}_i = \text{Attention}(Q W_i^Q, K W_i^K, V W_i^V) $$ GQA 让 $K, V$ 的 head 数 $h_{kv} < h_q$： $$ \text{head}_i = \text{Attention}(Q W_i^Q, K W_{\lfloor i/g \rfloor}^K, V W_{\lfloor i/g \rfloor}^V) $$ 其中 $g$ 是共享组数。KV cache 从 $O(n \cdot h \cdot d)$ 降到 $O(n \cdot h_{kv} \cdot d)$。 ## Qwen2.5-72B 的 GQA 配置 - Q heads：多（如 64）； - **KV Heads=8**； - 显著降低长上下文推理的显存。 ## 行业补充：为什么 GQA 这么重要？ 长上下文推理时，KV cache 是显存瓶颈。例如 128K 上下文、72B 模型： - MHA：KV cache 可能几百 GB； - GQA（8 KV heads）：降到 1/8； - **没有 GQA，长上下文推理几乎不可行**。 GQA 现已是 LLM 行业标配（LLaMA 2/3、Mistral、Qwen2+ 都用）。

# 从 Dense 到 MoE（Qwen3 的核心突破） **Qwen3 引入 MoE（混合专家）**，是相对 Qwen-7B / Qwen2.5 纯 Dense 架构的根本性变化。 ## MoE 原理 标准 Transformer 的 FFN 层： $$ \text{FFN}(x) = W_2 \cdot \sigma(W_1 x) $$ MoE 把单个 FFN 换成多个"专家"FFN，由 router 选择激活： $$ \text{MoE}(x) = \sum_{i=1}^{N} g_i(x) \cdot \text{FFN}_i(x), \quad g_i(x) = \text{TopK}(\text{router}(x)) $$ - $N$ = 专家总数（如 128）； - 每个 token 只激活 Top-K 个（如 8 个）； - $g_i(x)$ = 路由权重（多数为 0，仅 Top-K 非零）。 ## Qwen3-VL 的 MoE 规模 | 模型 | 总参 | 激活参数 | 激活比 | |------|------|---------|--------| | 30B-A3B | 30B | 3B | 10% | | 235B-A22B | 235B | 22B | 9.4% | ## 意义 235B 总参 → 单 token 只算 22B → **推理速度≈22B Dense，能力≈235B Dense**。这让大模型能在合理算力下部署。 ## 简化代码示意 ```python class MoELayer(nn.Module): def __init__(self, num_experts=128, top_k=8, dim=4096): self.experts = nn.ModuleList([FFN(dim) for _ in range(num_experts)]) self.router = nn.Linear(dim, num_experts) self.top_k = top_k def forward(self, x): logits = self.router(x) # [N_tokens, num_experts] weights, indices = logits.topk(self.top_k) # 选 Top-K 专家 weights = F.softmax(weights, dim=-1) out = torch.zeros_like(x) for i in range(self.top_k): expert_idx = indices[:, i] expert_out = stack([self.experts[e](x_t) for e, x_t in zip(expert_idx, x)]) out += weights[:, i:i+1] * expert_out return out ``` ## MoE 的代价 - **显存占用大**：所有专家都要驻留显存（235B 全部）； - **训练复杂**：router 的负载均衡（load balancing）是关键难点——要保证每个专家都被"喂"到足够样本，否则有的专家过载、有的闲置； - **通信开销**：多卡部署时专家分布在不同 GPU，token 路由需要 all-to-all 通信。 ## 行业补充：MoE 的代表 - **Mixtral 8x7B**（Mistral，2023）：8 专家，每 token 激活 2 个，MoE 走向主流； - **DeepSeek-V3**（2024）：256 专家，激活 8，引入辅助损失-free 的负载均衡； - **Qwen3**（2025）：Dense + MoE 双轨，MoE 用于中大型（30B-A3B / 235B-A22B）。

# 上下文长度与能力定位 ## 上下文长度的演变 | 基座 | 原生上下文 | 扩展技术 | |------|-----------|---------| | Qwen-7B | 8K | YARN 外推 | | Qwen2.5 | 128K | 训练时拉长 + RoPE 缩放 | | Qwen3 | **256K-1M** | YaRN 外推，S3 阶段专门训 262,144 | ## 为什么长上下文重要？ - **长文档理解**（数百页 PDF）； - **长视频理解**（数小时视频，每帧几十 token）； - **多轮对话记忆**。 ## 长上下文的挑战 自注意力 $O(n^2)$ 复杂度： $$ \text{计算量} \propto n^2 \implies \text{256K 序列是 8K 的 } (256/8)^2 = 1024 \text{ 倍} $$ 解决方案： - **Ring Attention / Flash Attention**（注意力计算优化，减少显存读写）； - **序列并行（CP, Context Parallelism）**（把一个长序列切到多卡并行）； - **YaRN 位置外推**（训练 256K → 推理 1M）。 > Qwen3-VL 用 Megatron-LM 的 **TP+PP+CP+EP+ZeRO-1** 混合并行，才在 10,000 GPU 上训起来。 ## 能力定位的演变 | 基座 | 核心定位 | 代表 benchmark | |------|---------|---------------| | Qwen-7B | 中文强、基础对话 | MMLU 58.2、CMMLU 62.2、C-Eval 63.5 | | Qwen2.5 | 全能、代码强、长上下文 | MMLU-Pro 高、HumanEval 强、128K | | **Qwen3** | **推理 + MoE 高效** | AIME/LiveCodeBench 强（Thinking），256K-1M | ## 三代基座的核心突破 - **Qwen-7B（2023）**：证明国产 LLM 能做扎实，中文 SOTA； - **Qwen2.5（2024）**：全尺寸覆盖（0.5B-72B）+ GQA + 长上下文，工业可用； - **Qwen3（2025）**：**MoE + Thinking 推理**，对标 GPT-5/Claude。

# 基座到 VL 模型的映射 ## 三代映射 | VL 模型 | 基座 | VL 化后的关键变化 | |---------|------|------------------| | Qwen-VL | Qwen-7B（中间 ckpt） | 加 ViT-bigG + Adapter；纯文本能力未退化（MMLU 49.9→50.7） | | Qwen2.5-VL | Qwen2.5（3B/7B/72B） | 加自研 ViT + Merger；RoPE→MRoPE；纯文本任务保持 | | Qwen3-VL | Qwen3（Dense + MoE） | 加 SigLIP-2 + DeepStack；MRoPE→Interleaved MRoPE；**纯文本能力超越纯文本基座** | ## 演变主线 基座从"单一 Dense 7B"到"多尺寸 Dense"再到"**Dense+MoE 双轨**"： - VL 化从"**勉强保住文本能力**"（初代防灾难性遗忘）； - 到"**纯文本反超纯文本基座**"（3-VL 的平方根重加权 + 纯文本蒸馏）。 ## "看图不忘识字"的三个阶段 | 阶段 | 策略 | 效果 | |------|------|------| | 初代 | 混入纯文本数据防遗忘 | 文本能力略升（MMLU +0.8） | | 2.5-VL | 后训练混入纯文本 | 文本能力保持 | | **3-VL** | **平方根重加权 + 纯文本蒸馏** | **文本能力反超纯文本基座** | ## 数学补充：平方根重加权为何有效 考虑一个 batch 里有： - 文本样本（短，N=100 tokens）； - 多模态样本（长，N=2000 tokens）。 | 归一化 | 文本权重 | 多模态权重 | 结果 | |--------|---------|-----------|------| | $\frac{1}{N}$（per-token 平均） | 1/100 | 1/2000 | 文本被稀释 | | $\frac{1}{1}$（per-sample 求和） | 100 | 2000 | 多模态淹没文本 | | **$\frac{1}{\sqrt{N}}$（平方根）** | **1/10** | **1/45** | **平衡** | 平方根重加权让长样本（多模态/长文档/视频）权重适中，短样本（纯文本）不被淹没——**这是"看图还能提升识字"的关键数学秘诀**。

# 从 Qwen-VL 系列看多模态大模型的八大确定趋势 三篇论文串起的两年演进，揭示了多模态大模型的几个**确定趋势**： ## 趋势 1：动态分辨率 + 长上下文成为标配 固定分辨率时代结束。从 224/448 固定 → 动态分辨率 → 256K 原生长上下文。 ## 趋势 2：连接器与 LLM 融合 从独立 Adapter（cross-attn）→ Spatial Merge → DeepStack 注入 LLM 多层。连接器在"消失"。 ## 趋势 3：位置编码多维化 1D-RoPE → MRoPE（分块）→ Interleaved MRoPE（交错）。多维位置编码仍在演进。 ## 趋势 4：MoE 架构让大模型可部署 Dense → Dense+MoE 双轨。235B-A22B 让大模型能在合理算力部署。 ## 趋势 5：推理能力成为新战场 Thinking 模式 + RL（SAPO）。o1/R1 之后，"会推理的 VLM"成新方向。 ## 趋势 6：Agent 能力从"感知"走向"操作" GUI Agent（3 平台）+ Thinking with Images（think→act→analyze→answer）。 ## 趋势 7：算力向后训练倾斜 预训练算力占比下降，后训练（蒸馏+RL）算力占比上升。"后期发力"策略更优。 ## 趋势 8：纯文本与多模态融合 "看图不忘识字"→"看图还能提升识字"。平方根重加权 + 纯文本蒸馏让多模态化后文本能力反超。 ## 趋势总结表 | 趋势 | 初代 | 2.5-VL | 3-VL | |------|------|--------|------| | 动态分辨率 | ❌ | ✅ | ✅ | | 长上下文 | 2K | 32K | 256K | | 连接器融合 | 独立 | 独立 | 融合（DeepStack） | | MoE | ❌ | ❌ | ✅ | | 推理 | ❌ | ❌ | ✅ Thinking | | Agent | ❌ | ✅ 感知 | ✅ 操作 | | 后训练算力 | 低 | 中 | 高 | | 文本反超 | 持平 | 持平 | ✅ 反超 |

# 多模态推理的崛起（行业知识补充） ## 推理模型的发展脉络 ``` GPT-4（2023）：无显式推理，靠规模涌现 ↓ o1（2024.09）：显式 CoT + RL，推理能力爆发 ↓ DeepSeek-R1（2025.01）：纯 RL 训练推理，开源验证可行性 ↓ Qwen3（2025）：Thinking/Non-thinking 双模式，多模态推理 ``` ## 为什么多模态推理重要？ 传统 VLM 只能"看图回答"，无法"看图思考"。多模态推理让模型能： - **看数学题图 → 列方程 → 分步求解**； - **看流程图 → 推理逻辑关系**； - **看代码截图 → 理解 → 改写**。 ## Qwen3-VL 的推理训练 1. **Long-CoT 冷启动**：用强推理模型生成带推理过程的样本（约 1200 万带图 CoT）； 2. **Reasoning RL**：用 SAPO + 可验证奖励（数学有标准答案）； 3. **难度过滤**：剔除纯文本可解的样本，保证"真正需要多模态"。 ## 推理 vs 非推理的权衡 | 场景 | 推荐模式 | 原因 | |------|---------|------| | 日常对话 | Non-thinking | 快响应，省算力 | | 图像描述 | Non-thinking | 不需要复杂推理 | | 数学题 | Thinking | 需要分步推理 | | 代码理解 | Thinking | 需要逻辑分析 | | 长视频问答 | Thinking | 需要跨段推理 | ## 行业前沿 - **纯视觉推理**：模型"看图时"就推理（而非先生成文本再推理）； - **思维链可视化**：让模型的推理过程可解释； - **测试时计算（test-time compute）**：用更多推理时间换更高准确率。

# Agent 能力演进（行业知识补充） ## Agent 的三个层次 ``` Level 1：感知（Perception）—— "看到"屏幕上的元素 Level 2：决策（Decision）—— "决定"下一步操作 Level 3：执行（Execution）—— "操作"鼠标键盘完成 ``` ## Qwen 各代的 Agent 能力 | 模型 | 感知 | 决策 | 执行 | |------|------|------|------| | Qwen-VL | ❌ | ❌ | ❌ | | Qwen2.5-VL | ✅（GUI grounding） | ✅（函数调用） | ✅（AndroidWorld 35%） | | Qwen3-VL | ✅ | ✅ | ✅（+Thinking with Images） | ## Thinking with Images（Qwen3-VL 创新） 让模型"看图思考"的 agent 能力： ``` think（思考需要什么信息） ↓ act（调用工具，如 crop/zoom） ↓ analyze（分析工具返回的细节图） ↓ answer（给出最终答案） ``` 这是"**视觉工具集成**"——模型能主动调用视觉工具（如放大、裁剪）来获取细节，类似人类看图时的"凑近看"。 ## Agent 的行业前沿方向 1. **Computer Use**：像 Claude Computer Use 那样操作完整桌面； 2. **Browser Use**：浏览器自动化（填表、爬取）； 3. **Mobile Agent**：手机操作（订餐、打车）； 4. **Robotic Control**：机器人控制（具身智能）； 5. **Multi-agent 协作**：多个 agent 分工合作。 ## Benchmark 对比（Qwen2.5-VL-72B） | Benchmark | 分数 | 对比 | |-----------|------|------| | ScreenSpot Pro | **43.6** | 远超 Qwen2-VL(1.6) | | AndroidWorld SR | **35%** | 超 GPT-4o(34.5%) | | MobileMiniWob++ SR | **68%** | 超 GPT-4o(61%) | | OSWorld | 8.83 | 可比 Claude(14.90) | > Qwen2.5-VL 在 AndroidWorld/MobileMiniWob++ 在线评测中超 GPT-4o，**无需 Set-of-Mark 辅助**即可作为真实环境中的 agent。

# 初学者学习路径建议 ## 阶段一：建立基础（1-2 周） 1. **理解 Transformer**：Attention 机制、自注意力、位置编码； 2. **理解 ViT**：把图像切 patch 当序列处理； 3. **理解 CLIP**：对比学习对齐视觉与语言。 推荐资源： - 论文：*Attention Is All You Need*、*ViT*、*CLIP* - 代码：HuggingFace transformers 的 ViT/CLIP 实现 ## 阶段二：理解 MLLM 框架（1-2 周） 1. **读 BLIP-2**：理解 Q-Former + 冻结 LLM 范式； 2. **读 LLaVA**：理解 Linear Projector + 指令微调； 3. **读本系列 Qwen-VL**：理解 cross-attn Adapter + 位置感知。 关键概念：编码器 + 连接器 + LLM 三件套。 ## 阶段三：精读 Qwen 系列（2-3 周） 按本系列笔记顺序： 1. **Qwen-VL 初代**：三阶段训练、位置感知 Adapter、特殊 token 接口； 2. **Qwen2.5-VL**：Window Attention、MRoPE、动态 FPS、Agent； 3. **Qwen3-VL**：DeepStack、Interleaved MRoPE、Thinking、平方根重加权。 ## 阶段四：动手实践（持续） 1. **跑通 demo**：用 transformers/Qwen-VL 跑图像理解、VQA、grounding； 2. **微调**：用 LLaMA-Factory 等框架微调 Qwen-VL； 3. **部署**：用 vLLM/SGLang 部署，体验推理优化。 ## 阶段五：前沿探索（长期） 1. **原生多模态预训练**（非 LLM 后接视觉）； 2. **世界模型**（视频生成 + 理解）； 3. **具身智能**（机器人控制）； 4. **多模态推理**（Thinking with Images）。 ## 学习心法 ``` 理解原理 → 读论文 → 跑代码 → 改代码 → 创新 ↑ | └──────────── 反复迭代 ────────────────┘ ``` > 对学习者而言：理解这三篇 Qwen 论文，就理解了 2023-2025 多模态大模型的**工程化全貌**。下一步可以关注上述前沿方向。