文章目录

• 强化学习——概述
• • 组成
  • • 策略：行为函数
    • 价值函数：状态和行为的得分
    • 模型：整个世界的表达

强化学习——概述

组成

策略：行为函数

​ 分为两种：

​ 概率型策略：从策略$\pi$中，按照概率$\pi (\mathrm{a}\mid \mathrm{s})=\mathrm{P}\left({\mathrm{a}}_{\mathrm{t}}=\mathrm{a}\mid {\mathrm{s}}_{\mathrm{t}}=\mathrm{s}\right)$采样一个a。

​ 确定型策略：从策略$\pi$中，选择一个最大概率的策略$a^{\ast }=\arg {\max }_a\pi (a\mid s)$

价值函数：状态和行为的得分

​ 已知$\pi$的时候能得到多少奖励（期望平均值）

​ 分为两种：

​ 状态价值函数：衡量一个状态的价值（其实是一个状态采取所有行为后的一个价值的期望值）

$v_{\pi }(s)\doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=s\right]={\mathbb{E}}_{\pi }\left[{\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid S_t=s\right],\text{ for all }s\in \mathcal{S}$

​ Q-函数：衡量一个状态采取一个动作后的价值（是强化学习的一个目标，最高的Q-函数值对应的a就是最有策略采取的动作）

$q_{\pi }(s,a)\doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=s,A_t=a\right]={\mathbb{E}}_{\pi }\left[{\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid S_t=s,A_t=a\right]$

模型：整个世界的表达

​ 预测下一个环境（世界，状态）

​ 两部分组成：

​ 1 状态s采取了一个策略a，有多少概率到达$s^{\prime }$。

​ 2 状态s采取了一个策略a，能得到多大的奖励
$$\begin{array}{rl}& \text{ Predict the next state: }{\mathcal{P}}_{s{s}^{\prime }}^a=\mathbb{P}\left[S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right]\\ & \text{ Predict the next reward: }{\mathcal{R}}_s^a=\mathbb{E}\left[R_{t+1}\mid S_t=s,A_t=a\right]\end{array}$$

总结

以上是生活随笔为你收集整理的强化学习1——策略，价值函数，模型的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。