概念阶梯（一环扣一环）： | 概念 | 元组 | 关键性质 | |------|------|---------| | 随机过程 | — | 任意时刻结果无依赖（抛硬币） | | 马尔可夫过程 | ⟨S, P⟩ | **无记忆性**：下一状态只依赖当前状态；P 为行和为 1 的转移矩阵 | | 马尔可夫奖励过程 MRP | ⟨S, P, r, γ⟩ | 加奖励函数 r 与折扣因子 γ∈[0,1)；γ→1 重长期 | | 马尔可夫决策过程 MDP | ⟨S, A, P, R, γ⟩ | 加入动作集 A——智能体可影响转移 | 直觉例子：迷宫机器人（状态=格子，动作=方向，奖励=出口/撞墙）。

强化学习五要素：**智能体 / 环境 / 状态 S / 动作 A / 奖励 R**，核心是策略 π(a|s)（状态到动作的概率分布），目标是**最大化累积折扣奖励**： $$J(\pi) = \mathbb{E}_\pi\left[\sum_{t=0}^{T} \gamma^t r_t\right]$$ 三个关键词：试错学习、探索与利用（ε-贪婪/Softmax/UCB）、价值评估（"化大为小"地把长序决策拆成可优化的局部目标）。

| 维度 | 监督学习 | 强化学习 | |------|---------|---------| | 目标 | 拟合标签分布 | 最大化累积奖励 | | 数据来源 | 静态标注集 | 与环境交互**动态生成** | | 反馈方式 | 即时、逐样本 | **延迟、稀疏**（对错要到最后才知道） | | 学习方式 | 一次前向修正 | 试错 + 策略更新 | 延迟稀疏奖励是 RL 难的根源——也是 LLM 对齐要用 RM/组内对比来"造密集信号"的原因。

```text 强化学习 ├── Model-based（有环境模型）：Dyna-Q / MPC / PILCO └── Model-free（无模型） ├── 基于价值：Q-learning / SARSA → 深度化 DQN ├── 基于策略：Policy Gradient / REINFORCE └── Actor-Critic：A2C / TRPO / PPO（离散动作） 连续动作：DDPG / TD3 / SAC ``` 选型依据：离散/连续动作、样本效率要求、稳定性要求。

PPO（Proximal Policy Optimization）——RLHF 时代的主力，特点是**通过裁剪更新幅度提高策略稳定性**。 PPO-clip 目标（工程常用）： $$J(\theta) = \mathbb{E}\left[\min\left(r(\theta)A,\ \text{clip}(r(\theta), 1-\varepsilon, 1+\varepsilon)A\right)\right], \quad r(\theta)=\frac{\pi_\theta}{\pi_{old}}$$ PPO-penalty 变种：$J(\theta)=\mathbb{E}[r(\theta)A] - \beta \cdot D_{KL}(\pi_\theta \| \pi_{old})$，β 按 KL 自适应。 优势估计 GAE： $$A_t = \sum_{l\geq 0} (\gamma\lambda)^l \delta_{t+l}, \quad \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$$

RLHF（基于人类反馈的强化学习）三步： ```text ① SFT：人工写示范回答，有监督微调出"会聊天"的底座 ② RM：人工对同一 prompt 的多个回答排序 → 训练奖励模型 ③ RL：用 RM 的打分作奖励信号，PPO 优化策略 （目标 = RM奖励 − β·KL(π_RL‖π_SFT) + 预训练混合项 PPO-ptx 防遗忘） ```

SFT（Supervised Fine-Tuning）：用有标签（示范）数据微调预训练模型。 - 作用：提性能、省标注（相对从零训练）、任务灵活 - 流程：数据准备 → 加载底座 → 训练配置 → 训练 → 评估 - 缺点：过拟合风险；**强化某能力可能导致整体推理能力下降**（对齐税）

RM 训练细节（instructGPT 配方）： - 每个prompt采4个回答，人工排序 → 转成两两pair - pairwise 损失（比打分稳，打分噪声大）： $$L = -\mathbb{E}\left[\log \sigma\left(r(x, y_w) - r(x, y_l)\right)\right]$$ - RM 通常比 policy 小一档（instructGPT 用 6B），够用且省资源

- **传统路线** RLHF/RLAIF：RM + PPO（工程重：要同时跑 policy/value/ref/RM 四个模型） - **简化路线** DPO/RPO：免奖励模型，直接从偏好对优化（Qwen2.5-VL 后训练即用 DPO，见千问页） instructGPT 关键结论：**1.3B 的 PPO 模型优于 175B 的 GPT-3/SFT**——对齐比堆参数更划算；成本上 175B PPO-ptx 约 60 petaflops/s-days（GPT-3 预训练 3640）。 大模型 RL 三步（另一表述）：收集比较数据 → 训练 RM → PPO 策略优化。