|
GRPO（Group Relative Policy Optimization，群组相对策略优化）——DeepSeek 提出（首见 DeepSeekMath，R1 发扬光大），用于提升 LLM 复杂推理。
核心机制：**群组采样 + 相对评估**——同一 prompt 采样一组（4~16 个）候选响应，组内比高低，替代昂贵的 value network，大幅降低内存与计算、提高训练稳定性。
|
|
组相对优势（结果监督版）——用组统计量替代 critic：
$$\hat{A}_{i,t} = \tilde{r}_i = \frac{r_i - \text{mean}(r_1, \dots, r_G)}{\text{std}(r_1, \dots, r_G)}$$
同一输出 $o_i$ 的所有 token 共享该优势——告诉模型"这组里哪个解答**相对**更好"，而非绝对得分。
过程监督变体：$\hat{A}_{i,t} = \sum_{\text{index}(j) \geq t} \tilde{r}_i^{\text{index}(j)}$（1.3B 消融中过程监督优于结果监督）。
|
|
GRPO 目标函数（DeepSeekMath Eq.3）：
$$J_{GRPO}(\theta) = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_t \Big( \min[\rho_{i,t}\hat{A}_{i,t},\ \text{clip}(\rho_{i,t}, 1\pm\varepsilon)\hat{A}_{i,t}] - \beta \cdot D_{KL}[\pi_\theta \| \pi_{ref}] \Big)\right]$$
其中 $\rho_{i,t} = \pi_\theta(o_{i,t}|q, o_{i,<t}) / \pi_{\theta_{old}}(o_{i,t}|q, o_{i,<t})$；实验 β=0.04、每题 64 采样、policy LR 1e-6。
KL 估计器用 **k3 无偏估计（恒正）**：
$$D_{KL}[\pi_\theta \| \pi_{ref}] = \frac{\pi_{ref}}{\pi_\theta} - \log\frac{\pi_{ref}}{\pi_\theta} - 1$$
与 PPO 把 KL 折进 reward 不同，GRPO **直接加在 loss 里**——不污染优势计算。
|
|
为何能免价值网络：
1. PPO 的 value network 与 policy 同量级，内存/计算负担大
2. LLM 场景通常只有最后一个 token 有奖励，逐 token 价值估计本就难
3. 组均值就是天然的 baseline（同 prompt 同分布，组内对比自带"控制变量"）
迭代式 GRPO（Algorithm 1）：每轮 $\pi_{ref} \leftarrow \pi_\theta$，并用 10% 历史数据回放继续训 RM。
|
|
| 维度 | PPO | GRPO | DPO |
|------|-----|------|-----|
| 奖励模型 | 需要 | 可不需要（规则/求解器打分） | 不需要 |
| 价值网络 | 需要（critic） | **不需要（组均值替代）** | 无 RL 过程 |
| 采样方式 | 单样本+GAE | **组采样（G=4~16）** | 偏好对 |
| 稳定性 | 一般 | 组内归一化缓解奖励缩放 | 高但上限有限 |
| 成本 | 四模型同跑 | 约省 1/2+（无 critic/RM 可选） | 最低 |
DPO 目标（对照）：
$$L_{DPO} = -\log\sigma\left(\beta\log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)$$
|
|
GRPO 的缺陷（2025 社区共识）：
- **token 级重要性采样在长序列中累积高方差**，训练不稳定
- MoE 模型中路由变化进一步加剧偏差
Qwen 团队提出 **GSPO（Group Sequence Policy Optimization）**：把重要性采样从 token 级移到**序列级**（整个响应一个比率），长序列与 MoE 下更稳。
GRPO 的历史地位：让"纯 RL 训出推理能力"（R1-Zero）在工程上可行，是对齐路线的里程碑。
|
|
以 R1 为例的流程（与 SFT 交替）：
```text
1. 生成响应组：同一 prompt 采样 G 个候选
2. 奖励打分：正确性 / 格式 / 逻辑一致性
3. 计算组相对优势（均值-标准差归一化）
4. 策略更新：PPO 风格目标 + KL 惩罚防策略突变
5. （R1 完整管线：少量冷启动SFT → 推理RL → 拒绝采样造SFT数据 → 全场景RL）
```
|
|
奖励来源灵活（消除对独立 RM 的强依赖）：
- 数学：求解器验证答案对错（0/1 奖励）
- 代码：单元测试通过率
- 格式：`<think>...</think>` 标签合规检查
- 对话/医疗法律：规则或专家打分模型
|
|
典型应用：
1. **数学推理**：一题多解自动比较（DeepSeekMath：MATH 51.7%，自一致性 60.9%，接近 GPT-4）
2. **代码生成**：以单测为奖励
3. **对话系统**：偏好对齐
4. **医疗/法律**：规则+专家混合奖励
|
DeepSeekMath（GRPO原始论文）
GRPO算法保姆级讲解
GRPO背后的数学原理（知乎）