CMU 11-768 AI Agents 课程第 12 讲「Reinforcement Learning Systems」讲义与视频公开

CMU 秋季最新课程 11-768: AI Agents
主讲：@dan_fried @gneubig

第 12 讲「Reinforcement Learning Systems」讲义和视频已公开

这一讲从强化学习系统的框架开始讲起、再到推理侧和训练侧的分别优化、训练-推理交互、Agentic RL 的实战踩坑经验、RL 框架设计等，完整系统了讲述了强化学习系统的理论和实战。

讲义：https://www.cmu-agents.com/slides/lecture-12-rl-systems.pdf
视频：https://www.youtube.com/watch?v=dwR6NP9nI-8

在课程中看到几个最核心的观点：
1. RL 框架的本质是两种异质负载（训练和推理）的耦合，而非一套统一计算图
2. “前缀复用”是贯穿 agentic RL 系统效率的不变量
3. Token-In-Token-Out：一个微小设计错误曾造成全行业的训练不稳定
4. 权重同步与 R3：双引擎之间的隐藏成本
5. 架构演进终点：一切皆服务 + 在线 RL