三篇论文（arXiv 2308.12966 / 2502.13923 / 2511.21631）串起 2023→2025 多模态三大转折： - **Qwen-VL（2023H2）**：如何把视觉特征塞进 LLM - **Qwen2.5-VL（2025Q1）**：高效处理任意分辨率 + 干活（agentic） - **Qwen3-VL（2025Q4）**：让多模态模型也能推理且不丢文本能力

| 维度 | Qwen-VL | Qwen2.5-VL | Qwen3-VL | |------|---------|------------|----------| | 视觉编码器 | OpenClip ViT-bigG | 自研 ViT + 2D-RoPE | SigLIP-2 | | 预训练 token | ~500B | 4.1T | 2T+ | | 连接器 | 位置感知 Cross-Attn | Spatial Merge MLP | DeepStack 多层注入 | | 分辨率 | 固定 448 | 原生动态（28 倍数） | 原生动态 | | 上下文 | — | 32K | 256K（YaRN 外推 1M） | | 后训练 | 三阶段 SFT | SFT + **DPO** | SFT + 蒸馏 + RL（SAPO） | 五大演进主线：连接器在"消失"（从独立模块走向与 LLM 融合）；位置编码多维化；分辨率原生动态；算力向后训练倾斜；推理能力成为新战场。

MLLM 三件套（源自 BLIP-2/LLaVA 范式）：**编码器 + 连接器 + LLM**——复用已训 LLM，只训轻量连接器。 连接器四大范式： 1. Linear Projector（LLaVA）：一层线性投影 2. Q-Former/Resampler（BLIP-2/Flamingo）：可学习 query 交叉注意力 3. 位置感知 Cross-Attn（Qwen-VL）：插入 LLM 层间 4. Spatial Merge MLP（Qwen2.5-VL+）：相邻 4 patch 合并 视觉 token 成本：注意力复杂度 $O(n^2 d)$；初代 448² 输入 1024 token 压到 256（4:1）；Window Attention 把 $O(n^2)$ 降到 $O(n \cdot w^2)$，约 150 倍节省。

总参 9.6B = ViT-bigG 1.9B + Adapter 0.08B + Qwen-7B 7.7B。 定位：补齐四大短板——Grounding、OCR、中文、多图。工程取舍：448 分辨率下 Global Attention 的 loss 更低故采用；896 太慢被放弃（为 2.5-VL 的 Window Attention 埋下伏笔）——**论文里"没做什么"与"做了什么"同样重要**。

核心创新——位置感知 Adapter：单层 cross-attention + 256 个可学习 query + 2D 绝对位置编码： $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ query 数消融：64/144/256/400 → 256 最优。 特殊 token 接口把定位统一为文本：`<img>/<box>/<ref>/<quad>`，坐标归一化到 [0,1000)。

三阶段训练（"渐进解冻"）： ```text Stage1 预训练：1.4B 弱标注图文、224 分辨率、冻 LLM、5000亿 token Stage2 多任务：7 个任务、448、解冻全模型 Stage3 SFT：350k 指令、冻视觉编码器 ``` 防灾难性遗忘的技巧：混入纯文本数据（MMLU 49.9→50.7 不降反升）。评测：VQA/Grounding 全面领先 BLIP-2（RefCOCO 89.36）。

定位"agentic amplifier"（干活的多模态底座）。四大技术贡献：Window Attention、动态 FPS（视频）、MRoPE 对齐绝对时间、语料 1.2T→4.1T。

Window Attention（思想源自 Swin）： - 32 层 ViT 中仅第 {7,15,23,31} 4 层用 full attention，其余 28 层用 112×112 窗口（8×8 patch） - **4× Spatial Merge** 替代 cross-attn Adapter：相邻 4 patch concat + 两层 MLP；视频场景两连续帧再合并

MRoPE（多维旋转位置编码）：把 RoPE 维度分 **T/H/W 三段**（纯文本时退化为 1D-RoPE）。 RoPE 原理回顾——旋转后内积只依赖相对位置： $$q'_m = q_m e^{im\theta},\ k'_n = k_n e^{in\theta} \Rightarrow \langle q'_m, k'_n\rangle = f(m-n)$$ 2.5-VL 的升级：temporal ID 间隔对齐真实时间戳（帧率变化不影响），**零开销支持秒级视频定位**。

- 动态分辨率：resize 到 28 的倍数、**绝对坐标**（不归一化，模型内禀学尺度）；开放词汇检测扩到 10000+ 类 - **QwenVL-HTML 格式**：统一所有文档元素（p/table/chart/formula 带 data-bbox）——文档解析的结构化输出 - 后训练：SFT（200万）+ **DPO**： $$L_{DPO} = -\log\sigma\left(\beta\log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)$$ - 预训练三阶段（1.5T+2T+0.6T，最后阶段 32K 序列）；MMMU 72B 70.2

家族：Dense 2B/4B/8B/32B + MoE 30B-A3B / 235B-A22B，每型号 **Thinking / Non-thinking 双变体**；纯文本不退反进、原生 256K。 Interleaved MRoPE：分块 `[ttt|hhh|www]` 造成频谱不平衡 → 改为 **`[twh|twh|twh]` 交错分布**到低/高频；文本时间戳（`<3.0 seconds>`）替代 T-RoPE 绑定绝对时间。

**DeepStack**（核心创新）：从 ViT 三个层级抽特征 → 专用 Merger 投影 → **相加注入 LLM 前 3 层**（不拼接、不增 token）： $$h^{(l)} = h^{(l)}_{text} + \text{Merger}_l\left(f^{(l)}_{vision}\right), \quad l \in \{1,2,3\}$$ 消融：InfoVQA 71.9→74.2、DocVQA 89.5→91.1。 长上下文：原生 256K（S3 阶段 262,144 序列），YaRN 外推 1M 仍保持 99.5%。

训练与"看图不忘识字"的数学秘诀： - 预训练四阶段 S0-S3；**平方根重加权**解决 per-token 平均稀释长样本、per-sample 淹没短样本的两难： $$L_{sqrt} = \frac{1}{\sqrt{N}}\sum_i \ell_i$$ - 后训练：SFT(120万) → 强到弱蒸馏（纯文本）→ RL（Reasoning 用 **SAPO**、General 混合奖励） - 评测：MMMU 80.6、MathVista 85.8（Thinking 版 SOTA）；纯文本 AIME-25 89.7、LiveCodeBench 70.1 超 o3-medium

**GQA（分组查询注意力）**：多个 Q 头共享一组 KV 头： $$head_i = \text{Attention}(QW_i^Q,\ KW_{\lfloor i/g \rfloor}^K,\ VW_{\lfloor i/g \rfloor}^V)$$ KV cache 从 $O(n \cdot h \cdot d)$ 降到 $O(n \cdot h_{kv} \cdot d)$（72B 用 8 个 KV 头）——推理显存的第一次大革命。

**MoE**： $$\text{MoE}(x) = \sum_i g_i(x)\cdot \text{FFN}_i(x), \quad g_i = \text{TopK}(\text{router}(x))$$ - 235B-A22B 释义：总参 235B，单 token 只激活 22B——速度≈22B Dense，能力≈235B - 代价：显存驻留全部专家、负载均衡、all-to-all 通信 上下文演变：8K → 128K → 256K-1M（256K 计算量是 8K 的 1024 倍，靠 Ring/Flash Attention + 序列并行 + YaRN 扛住）。

八大确定趋势：动态分辨率+长上下文标配 / 连接器与 LLM 融合 / 位置编码多维化 / MoE 可部署化 / 推理成新战场 / Agent 从感知到操作 / 算力向后训练倾斜 / 多模态模型纯文本能力反超。 初学者五阶段：用起来 → 看懂架构图 → 啃一篇论文（配公式）→ 跑一次推理/微调 → 关注行业趋势。