《强化学习导论》

这本书讲什么？

这本书把“学习如何行动”提炼成一个统一的问题：智能体在与环境反复交互中，通过奖励信号改进策略。它从多臂赌博机讲到时序差分与策略梯度，用极少的数学包袱把这一领域的核心直觉讲透。

为什么值得读？

强化学习是理解“目标、反馈与探索”三者关系的标准语言，而这三者远不止用于游戏。它也是当下 AI 与认知科学对话最活跃的接口——从对齐问题到习惯的形成，都能在这里找到精确的表述。

核心思想

• 学习的信号是奖励，而奖励的延迟使信用分配成为核心难题。
• 价值函数把“长期回报的期望”变成可估计的量，从而把远见转化为可计算的更新。
• 探索与利用的张力无法回避，任何策略都在为信息付出短期回报的代价。
• 时序差分学习说明，可以在不知道环境模型的情况下，通过自举估计逼近最优策略。

这本书试图回答什么？

• 一个智能体如何在只得到延迟奖励的情况下，判断哪个动作是好的？
• 在探索未知与利用已知之间，应当如何权衡？

适合谁？

适合有概率与微积分基础、想理解“从反馈中学习”这一范式的读者；书中例子以直觉优先，数学门槛低于多数同类教材。