|
|
<
论文称号：Playing Atari with Deep Reinforcement Learning
论文地点：http://www.cs.toronto.edu/~vmnih/docs/dqn.pdf
相关论文：Human-level control through deep reinforcement learning
论文地点：https://storage.谷歌apis.com/deepmind-data/assets/papers/DeepMindNature14236Paper.pdf
强化进修正在天然言语处理的文本天生标的目的上有很多的使用，本篇专客次要触及对强化进修道理的剖析。
《Playing Atari with Deep Reinforcement Learning》是2013年DeepMind揭晓正在NIPS上的论文，为深度强化进修的开山之做，次要讲解了怎样基于游戏数据帧（一幅幅游戏图象），利用深度强化进修正在游戏上通闭。《Human-level control through deep reinforcement learning》是对上一篇论文的改良，2015年揭晓于nature。
目次
1、强化进修的底子道理
1.甚么是强化进修
我们给出一堆白苹果战青苹果的照片（每张照片中只要一个苹果），经由过程图象识别能够分辨图片中苹果的白绿，由于我们事前曾经对苹果的照片停止了标注。比如白苹果标识表记标帜为1，青苹果标识表记标帜为0，机器从我们事前标识表记标帜的照片中教得疑息，再用于此外苹果照片（监视进修）。可是如许存正在一个题目，那些苹果的初初标注是怎样去的，出有初初标注怎样进修标注同类物体的才能？我们人类正在取状况不断的交互，不断的停止试错才进修获得分辨物体的才能。强化进修能从无标注的某类物体中进修常识，并能由此采纳长处最年夜化的决议计划。
强化进修取我们人类的教会走路方法类似，一开端跌跌碰碰，正在跌倒那个痛的状况反应下，我们走下一步会愈来愈好。感化机造以下图所示，我们先察看状况形态(state)，然后采纳动作(action)，获得反应（reward）。经由过程上一步的动作，我们进进新状况，按照reward中教到的常识采纳下一步行动。能够那么以为，强化进修便是智能体（agent）正在取状况的交互过程当中经由过程进修战略以告竣报答最年夜化或完成特定目标的历程。
2.强化进修的要素
（1）状况形态 S {\rm{S}} S， t t t时分状况形态为 S t {S_t} St。
（2）个别(例子中是人，也能够是此外，凡是称为agent智能体）的行动A， t t t时分采纳的行动为 A t {A_t} At。
（3）状况的嘉奖的 R {\rm{R}} R， t t t时分正在状况形态 S t {S_t} St，采纳 A t {A_t} At行动,获得的嘉奖 R t + 1 {R_{{\rm{t + 1}}}} Rt+1(某个行动采纳后，下一时分才华获得报答）。嘉奖可为正嘉奖战背嘉奖（处罚）。
（4）个别的战略(policy)π，是个别采纳行动的按照。 π ( a ∣ s ) = P ( A t = a ∣ S t = s ) \pi (a|s) = P({A_t} = a|{S_t} = s) π(a∣s)=P(At=a∣St=s)表示正在 t t t时分形态 S t {S_t} St下，个别按照π战略采纳行动 A t {A_t} At的几率，普通最大要率行动便是我们采纳的下一步行动。
（5）个别正在战略π战形态 S {\rm{S}} S时，采纳动作后的代价（value），普通用 v π ( s ) {v_\pi }(s) vπ(s)表示。当然我们曾经有了一个延时嘉奖 R t + 1 {R_{{\rm{t + 1}}}} Rt+1，可是许多状况下我们不克不及仅仅只看当前的报答。比如我们的目标是让我们糊口温馨，如今我们拿了一万块钱人为，头几天年夜吃年夜喝会让我们相称舒适，但后边的日子便会相称难过。即我们不克不及仅仅考虑下一步的嘉奖，借得考虑后绝的嘉奖。 v π ( s ) {v_\pi }(s) vπ(s)可用公式表示：
v π ( s ) = E π ( R t + 1 + γ R t + 2 + γ 2 R t + 3 + . . . ∣ S t = s ) = E π ( R t + 1 + γ v π ( S t + 1 ) ∣ S t = s ) {v_\pi }(s) = {E_\pi }({R_{t + 1}} + \gamma {R_{t + 2}} + \gamma 2{R_{t + 3}} + ...\mid {S_t} = s){\rm{ = }}{E_\pi }({R_{t + 1}} + \gamma {v_\pi }({S_{t + 1}})|{S_t} = s) vπ(s)=Eπ(Rt+1+γRt+2+γ2Rt+3+...∣St=s)=Eπ(Rt+1+γvπ(St+1)∣St=s)
E π {E_\pi } Eπ表示的是后n步的数教希冀； γ \gamma γ是嘉奖衰加果子，正在[0,1]区间。 γ \gamma γ=0为只考虑下一步的贪心算法， γ \gamma γ=1后绝n步战下一步的划一主要。 γ \gamma γ普通与(0,1)，表示下一步的嘉奖最主要，可是其他后绝嘉奖一样不成疏忽。
（6）行动代价函数 q π ( s , a ) {q_\pi }(s,a) qπ(s,a)，表示正在每一个形态s下采纳行动a带去的代价影响，计较公式以下：
q π ( s , a ) = E π ( G t ∣ S t = s , A t = a ) = E π ( R t + 1 + γ R t + 2 + γ R t + 3 + . . . ∣ S t = s , A t = a ) = E π ( R t + 1 + γ q π ( S t + 1 , A t + 1 ) ∣ S t = s , A t = a ) {q_\pi }(s,a) = {E_\pi }({G_t}|{S_t} = s,{A_t} = a) = {E_\pi }({R_{t + 1}} + \gamma {R_{t + 2}}{\rm{ + }}\gamma {R_{t + 3}}{\rm{ + }}...|{S_t} = s,{A_t} = a) = {E_\pi }({R_{t + 1}} + \gamma {{\rm{q}}_\pi }({S_{t + 1}},{A_{t + 1}})|{S_t} = s,{A_t} = a) qπ(s,a)=Eπ(Gt∣St=s,At=a)=Eπ(Rt+1+γRt+2+γRt+3+...∣St=s,At=a)=Eπ(Rt+1+γqπ(St+1,At+1)∣St=s,At=a)
（7）形态转换机，正在形态s下采纳行动a,转到下一个形态s′的几率，表示为 P s s ′ a {\rm{P}}_{ss'}^a Pss′a。
（8）探究率ϵ，我们正在动作时普通会采纳最有益的，可是如许也会招致一些陌生的动作方法出有被我们考虑到。此时我们有必然的几率采纳此外动作，该几率为ϵ。普通来讲，跟着工夫推移ϵ会愈来愈小，表示我们的动作曾经逐步长处最年夜化，采纳此外动作对我们效益逐步加小。
3.计较办法
实践中，强化进修的建模十分庞大，需求引进马我科妇历程。我们假定某个形态s转移到下一个形态s’没有取之前的形态发生干系，即某一形态仅取上一形态有闭（马我科妇性）。
正在形态s下采纳行动a，转移到下一个形态s’的几率计为 P s s ′ a {\rm{P}}_{ss'}^a Pss′a，用公式表示为：
P s s ′ a = E ( S t + 1 = s ′ ∣ S t = s , A t = a ) {\rm{P}}_{ss'}^a = E({S_{t + 1}} = s'|{S_t} = s,{A_t} = a) Pss′a=E(St+1=s′∣St=s,At=a)
假定正在形态s时采纳行动仅取当前形态s有闭（一样是马我科妇性），公式表示为：
π ( a ∣ s ) = P ( A t = a ∣ S t = s ) \pi (a|s) = P({A_t} = a|{S_t} = s) π(a∣s)=P(At=a∣St=s)
按照行动代价函数 q π ( s , a ) {q_\pi }(s,a) qπ(s,a)战形态代价函数 v π ( s ) {v_\pi }(s) vπ(s)的界说，随便获得他们之间的转化干系公式：
v π ( s ) = ∑ a ∈ A π ( a ∣ s ) q π ( s , a ) {v_\pi }(s) = \sum\limits_{a \in A} {\pi (a|s){q_\pi }(s,a)} vπ(s)=a∈A∑π(a∣s)qπ(s,a)
反过去，我们也随便获得形态代价函数 v π ( s ) {v_\pi }(s) vπ(s)表示行动代价函数 v π ( s ) {v_\pi }(s) vπ(s):
q π ( s , a ) = R s a + γ ∑ s ′ ∈ S P s s ′ a v π ( s ′ ) {q_\pi }(s,a) = R_s^a + \gamma \sum\limits_{s\prime \in S} {P_{ss\prime }^a{v_\pi }(s\prime )} qπ(s,a)=Rsa+γs′∈S∑Pss′avπ(s′)
其实两个公式能够用一句话归纳综合：某一个形态的代价能够用该形态下一切行动的代价表述；某一个行动的代价能够用该形态后绝形态的代价表达。
代价函数 v π ( s ) {v_\pi }(s) vπ(s)公式的变体:
v π ( s ) = ∑ a ∈ A π ( a ∣ s ) ( R s a + γ ∑ s ′ ∈ S P s s ′ a v π ( s ′ ) ) {v_\pi }(s) = \sum\limits_{a \in A} {\pi (a|s)(R_s^a + \gamma \sum\limits_{s\prime \in S} {P_{ss\prime }^a{v_\pi }(s\prime )} )} vπ(s)=a∈A∑π(a∣s)(Rsa+γs′∈S∑Pss′avπ(s′))
行动代价函数 v π ( s ) {v_\pi }(s) vπ(s)的变体：
q π ( s , a ) = R s a + γ ∑ s ′ ∈ S P s s ′ a ∑ a ′ ∈ A π ( a ′ ∣ s ′ ) q π ( s ′ , a ′ ) {q_\pi }(s,a) = R_s^a + \gamma \sum\limits_{s\prime \in S} {P_{ss\prime }^a\sum\limits_{a' \in A} {\pi (a'|s'){q_\pi }(s',a')} } qπ(s,a)=Rsa+γs′∈S∑Pss′aa′∈A∑π(a′∣s′)qπ(s′,a′)
4.最劣代价函数
强化进修的枢纽正在于找到一个最劣战略，让智能体取状况的交互过程当中获得最年夜支益，我们记那个最劣战略为 π ∗ {\pi ^*} π∗。
寻觅最劣战略也便是找最劣代价函数，我们记载该函数为 v ∗ ( s ) {v_*}(s) v∗(s)，计较办法以下：
v ∗ ( s ) = max π v π ( s ) {v_*}(s) = \mathop {\max }\limits_\pi {v_\pi }(s) v∗(s)=πmaxvπ(s)
同理可得最劣战略函数:
q ∗ ( s , a ) = max π q π ( s , a ) {q_*}(s,a) = \mathop {\max }\limits_\pi {q_\pi }(s,a) q∗(s,a)=πmaxqπ(s,a)
最劣战略，基于行动代价函数我们能够界说为：
π ∗ ( a ∣ s ) = { 0 e l s e 1 i f a = a r g m a x a ∈ A q ∗ ( s , a ) {\pi _ * }(a|s) = \left\{ {_{0{\rm{ }}{\kern 1pt} {\rm{else}}}^{1{\rm{ }}{\kern 1pt} if{\kern 1pt} {\rm{ }}a = \mathop {argmax}\limits_{a \in A} {\rm{ }}{\kern 1pt} q * (s,a)}} \right. π∗(a∣s)={0else1ifa=a∈Aargmaxq∗(s,a)
利用形态代价函数战行动代价函数之间的干系，可得最劣形态代价函数：
v ∗ ( s ) = m a x a q ∗ ( s , a ) {v_*}(s) = \mathop {max{\rm{ }}}\limits_a {q_*}(s,a) v∗(s)=amaxq∗(s,a)
反过去，最劣行动代价函数为:
q ∗ ( s , a ) = R s a + γ ∑ s ′ ∈ s P s s ′ a v ∗ ( s ′ ) {q_*}(s,a) = R_s^a + \gamma \sum\limits_{s' \in s} {P_{ss'}^a{v_*}(s')} q∗(s,a)=Rsa+γs′∈s∑Pss′av∗(s′)
最劣形态代价函数 v ∗ {{v_*}} v∗公式的变体:
v ∗ ( s ) = max a ( R s a + γ ∑ s ′ ∈ s P s s ′ a v ∗ ( s ′ ) ) {v_*}(s) = \mathop {\max }\limits_a (R_s^a + \gamma \sum\limits_{s' \in s} {P_{ss'}^a} {v_*}(s')) v∗(s)=amax(Rsa+γs′∈s∑Pss′av∗(s′))
最劣行动代价函数 q ∗ ( s , a ) {q_*}(s,a) q∗(s,a)公式的变体：
q ∗ ( s , a ) = R s a + γ ∑ s ′ ∈ s P s s ′ a max a ′ q ∗ ( s ′ , a ′ ) {q_*}(s,a) = R_s^a + \gamma \sum\limits_{s' \in s} {P_{ss'}^a\mathop {\max }\limits_{a'} } {\rm{ }}{{\rm{q}}_*}(s',a') q∗(s,a)=Rsa+γs′∈s∑Pss′aa′maxq∗(s′,a′)
5.使用举例
形态转换图以下，设置左上、右边、中心战右侧的圆圈别离为v1、v2、v3、v4，正圆形为m。如今的使命是供v2到m的R之战最年夜化的途径。
为了便利，我们假定衰加果子 γ = 1 \gamma {\rm{ = 1}} γ=1, π ( a ∣ s ) = 0 . 5 \pi {\rm{(a|s) = 0}}{\rm{.5}} π(a∣s)=0.5。
基于公式 v π ( s ) = ∑ a ∈ A π ( a ∣ s ) ( R s a + γ ∑ s ′ ∈ S P s s ′ a v π ( s ′ ) ) {v_\pi }(s) = \sum\limits_{a \in A} {\pi (a|s)(R_s^a + \gamma \sum\limits_{s\prime \in S} {P_{ss\prime }^a{v_\pi }(s\prime )} )} vπ(s)=a∈A∑π(a∣s)(Rsa+γs′∈S∑Pss′avπ(s′))，能够列出圆程组：
v1地位：v1=0.5∗(−1+v1)+0.5∗(0+v2)
v2地位：v2=0.5∗(−1+v1)+0.5∗(−2+v3)
v3地位：v3=0.5∗(0+0)+0.5∗(−2+v4)
v4地位：v4=0.5∗(10+0)+0.5∗(1+0.2∗v2+0.4∗v3+0.4∗v4)
解出那个圆程组能够获得v1=−2.3,v2=−1.3,v3=2.7,v4=7.4, 即每一个形态的代价函数以下图：
此时我们经由过程 v ∗ ( s ) {{v_*(s)}} v∗(s)战 q ∗ ( s , a ) {q_*}(s,a) q∗(s,a)代价公式(即每次皆走最劣途径，然后更新v战q），不断迭代可获得以下终极形态图，幻想途径为v2->v3->v4->m。
2、深度强化进修
1.代价函数的挑选
我们很多使命皆经由过程深度进修去完成，比如图象识别战语音处理。但强化进修正在之前适用于单一范围（特性脚工提与）或低维数据，易以使用正在下维数据范围(图象或语音等）。
易以使用的一个主要缘故原由是代价函数易以肯定，我们常常只妙手工设定，没法包管精确性。天然而然有了用神经收集来拟开代价函数的设法，而那也是DeepMind论文的重面。
用神经收集猜测代价有三种常睹方法，以下图所示。第一种方法(右边收集)，我们输进当前形态获得当前形态的形态代价；第两种方法(中心收集)，输进形态战行动，输出行动代价；第三种方法(右侧收集)，输进形态，输出每一个能够行动的行动代价。
论文彩用第三种方法，以下图，我们输进一张图片，输出一切能够行动的代价。其中箭头表示背某个标的目的挪动；红色的面能够表示为射击或腾跃，不同游戏组开形态纷歧定不异。
2.代价函数参数的更新
普通而行，游戏脚色存活越暂其相对得分越下。以下图游戏为例，飞机有背敌军射击战背某一边挪动两种行动，我们飞机存活的越暂，得分也响应越下。
那末响应得出一个设法结论，我们方案目标代价函数时，当下一形态我们的飞机为毁灭形态，设置代价报答较低，便可到达有用更新收集的目标。记当前形态代价为 Q ( φ j , a j ; θ ) Q({\varphi _j},{a_j};\theta ) Q(φj,aj;θ)，采纳最劣战略后下一形态代价为 Q ( φ j + 1 , a ′ ; θ ) Q({\varphi _{j + 1}},{a_{}}';\theta ) Q(φj+1,a′;θ)。则我们的目标代价计较办法以下图所示( r j {r_j} rj表示得分变革，比如我们多活一个形态便减1分)，当我们飞机下一形态被击誉时，代价为 r j {r_j} rj，此市价值最小，表示游戏结束。我们界说丧失函数为 ( y j − Q ( φ j , a j ; θ ) ) 2 {({y_j} - Q({\varphi _j},{\rm{ }}{a_j};\theta ))^2} (yj−Q(φj,aj;θ))2，经由过程取最小代价形态的交互，收集可不断支敛。
3.整体方案
处理了年夜题目，仍存正在很多此外艰难。
次要艰难：
- DL需求大批带标签的样本停止监视进修；RL只要reward返回值，并且伴随着噪声，提早（过了几十毫秒才返回），稠密（许多state的reward为0）等题目。
- DL的样本自力；RL前后形态相关。
- DL目标散布牢固；RL的散布不断变革。比如玩一个游戏，一个闭卡战下一个闭卡形态散布纷歧致，以是我们经由过程一闭锻炼的收集，到下一闭又要从头锻炼。
- 过往的研讨表白，利用非线性收集表示值函数呈现没有稳定等题目。
处理法子：
- 深度强化进修利用reward去机关标签，处理报答提早题目(对应题目1)。
- 经由过程经验池的办法处理RL前后形态相关战散布牢固的题目(对应题目2战3)。我们把已经放进锻炼的数据，锻炼后的成果战下一形态数据投进经验池，然后再从经验池随机与数据。也便是道我们没有再像从前一样一闭闭的锻炼，而是不断寄存我们锻炼过的片段，再随机抽与，系统的锻炼。那部分战人类回想机造相关联，正在2015年的nature论文中以至引见了该机造战年夜脑海马体的类似的地方。
- 引进target-netword(对应题目4)，目标收集没有再及时更新，而是每过一段工夫将代价收集的参数复造给它。也便是道目标收集战代价收集架构完整分歧，只是为了避免目标战代价联系关系过于亲密，而通过分隔赋值的办法，那也是2015的nature论文对2013的nips论文改良的一个处所。此处能够举一个简朴的例子，有一个跳火活动员正在停止锻炼，裁判停止评分，跳火活动员按照裁判的评分改良本人的行动。可是一开端我们并出有裁判，那该怎样办呢？我们将跳火活动员的常识灌注贯注到一个战跳火活动员少得如出一辙的克隆体身上，让他当裁判。一开端跳火活动员每次锻炼完，教练评完分，跳火活动员便立即将本人教到的常识传给教练。那相称于每次活动员锻炼完，教练立即改目标，会呈现一小我私家既当教练又当裁判的题目，如许没法包管公允性。以是我们每隔一段工夫再把活动员锻炼完的感悟传给教练，教练正在那一段工夫内乱评分尺度稳定，就能够包管公平性的题目了（前期强化进修的Actor-Critic也取之类似，可是Actor战Critic分隔的更完全）。
次要艰难处理后，引进具体算法流程：
初初化replay memory D(影象回放，也叫经验池)，容量为N用于存储锻炼的样本。
初初化举动代价收集函数Q的卷积神经收集，参数 θ \theta θ随机初初化。
初初化target举动代价收集函数的卷积神经收集(简写为target-Q)，构造战Q不异，参数 θ ∗ {\theta _*} θ∗初初即是Q的参数 θ \theta θ。
For episode=1,M do（统共锻炼M个回开）
初初化形态序列s1，并对其停止预处理获得4*84*84的视频帧（处理历程简写为 φ 1 = φ ( s 1 ) {\varphi _1} = \varphi (s1) φ1=φ(s1)，4代表输进数据是最初四帧，84*84表示输进图片巨细）
for t=1,T do（一次最多锻炼T个工夫片的数据，避免降进部分最劣解）
以几率ϵ（探究率）挑选一个一个随灵活做 a t {a_t} at，不然挑选最劣代价行动（此处ϵ是衰加的，能够以为是模拟退水算法的退水率，工夫越少现有收集越好，降进部分最劣解几率越小，探究此外地区的几率也应越小）
施行行动 a t {a_t} at能够获得嘉奖 r t {r_t} rt和新图象 x t + 1 {x_{t + 1}} xt+1（比如我们让飞机背上飞， x t + 1 {x_{t + 1}} xt+1是飞翔完后的游戏图象）。游戏往前挪动一帧，仍然是4帧的图象，再次处理获得新的收集输进。
把（ φ t {\varphi _t} φt， a t {a_t} at， r t {r_t} rt， φ t + 1 {\varphi _{t + 1}} φt+1）数据放进经验池D。
从经验池中随机抽与小批次（ φ t {\varphi _t} φt， a t {a_t} at， r t {r_t} rt， φ t + 1 {\varphi _{t + 1}} φt+1）数据用于下一次锻炼。
利用target-Q获得目标代价 y j {y_j} yj，利用丧失函数 ( y j − Q ( φ j , a j ; θ ) ) 2 {({y_j} - Q({\varphi _j},{\rm{ }}{a_j};\theta ))^2} (yj−Q(φj,aj;θ))2计较loss，反背传播锻炼收集。
每迭代C次，将Q收集的参数复造给target-Q收集。
end
end
下图是nips论文的算法流程，nature对此停止了改良：
总结：论文构建一个齐新智能体，构建深度进修Q战target-Q收集，能从下维数据中进修到常识，停止端到真个强化进修锻炼。正在2013的NIPS论文，做者将该办法使用于7款俗达利游戏，它正在其中6个游戏上劣于一切之前的办法，正在3个游戏上超越了人类专家。2015的nature论文，做者将该办法用于49款游戏，它正在43款游戏中表示出超于之前一切强化进修算法，超越一半的游戏中智能体玩游戏的才能下于75%的人类。表示出RL壮大的进修才能。
免责声明：假如进犯了您的权益，请联络站少，我们会实时删除侵权内乱容，感谢协作！ |
1、本网站属于个人的非赢利性网站，转载的文章遵循原作者的版权声明，如果原文没有版权声明，按照目前互联网开放的原则，我们将在不通知作者的情况下，转载文章;如果原文明确注明“禁止转载”，我们一定不会转载。如果我们转载的文章不符合作者的版权声明或者作者不想让我们转载您的文章的话，请您发送邮箱：Cdnjson@163.com提供相关证明，我们将积极配合您！
2、本网站转载文章仅为传播更多信息之目的，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证信息的正确性和完整性，且不对因信息的不正确或遗漏导致的任何损失或损害承担责任。
3、任何透过本网站网页而链接及得到的资讯、产品及服务，本网站概不负责，亦不负任何法律责任。
4、本网站所刊发、转载的文章，其版权均归原作者所有，如其他媒体、网站或个人从本网下载使用，请在转载有关文章时务必尊重该文章的著作权，保留本网注明的“稿件来源”，并自负版权等法律责任。
|
游戏
1636 人阅读
|
0 人回复
