900字范文 > （ICLR ）COMPOSING TASK-AGNOSTIC POLICIES WITH DEEP REINFORCEMENT LEARNING

（ICLR ）COMPOSING TASK-AGNOSTIC POLICIES WITH DEEP REINFORCEMENT LEARNING

时间：2020-06-30 11:52:43

出处：The Advanced Robotics and Controls Lab (ARClab) at UCSD

The Advanced Robotics and Controls Lab (ARClab) at UCSD is dedicated to the design of novel surgical and biomedical robots and machine learning for contextually aware robots. We apply these technical developments to solving problems in medicine and surgery.

Policy Ensemble Composition

/view/compositional-rl

Abstract

\quad 构建 intelligent machines 的关键点之一在于通过基本行为（elementary behaviors）的组合来解决具有挑战性的迁移学习问题。到目前为止，已经有大量的学习特定任务的工作，但是关注组合necessary, task-agnostic skills来找到新问题的solution 的工作较少。本文提出了一中新的基于深度强化学习的 skill transfer and composition method ，该方法采用agent的 primitive policies 来解决 unseen tasks。我们在 difficult cases 测试了我们的方法，在这种情况下通过 standard reinforcement learning (RL) 或是 hierarchical RL 是不可行的，或是显示高度的样本复杂性。我们的方法，不仅能够将 skills 转移到新的问题，而且能够解决具有挑战性的环境，同时 task planning 和 motion control 数据利用率较高。

解决的问题：

元素级行为（elementary behaviors）的组合来解决迁移学习问题；提出一种基于深度强化学习的 skill transfer and composition method，利用 primitive policies 来解决 unseen tasks。

1 INTRODUCTION

(机翻)

\quad 复合性是指将原始函数整合成新的复杂函数，这些新函数可以进一步组合成更复杂的函数来解决新问题(Kaelbling & Lozano- P erez, )。来自神经科学和行为生物学研究的证据表明，人类和动物具有将其基本技能转移到新领域，并将其分层次组成复杂行为的天生能力(Rizzolatti等人，2001)。在机器人技术中，主要关注的是获取新的行为，而不是组合和重用已经获得的技能来解决新颖的、看不见的任务(Lake等，)。

\quad 在本文中，我们提出了一种新颖的策略集成组合方法1，该方法采用基本的、任务不可知的机器人策略，将它们转移到新的复杂问题，并通过标准或分层的rl (Schulman et al.，; ; Haarnoja等，b; Vezhnevets等人，; Florensa等人，; Nachum等人，)。我们的模型有一个编码器-解码器架构。该编码器是一个双向递归神经网络，它将给定的技能集嵌入到潜在状态中。解码器是一个前馈神经网络，以给定的任务信息和技能的潜在编码输出混合权重，用于技能集的组合。我们展示了我们的组合框架可以根据给定任务的需要同时组合给定的技能(和-操作)和顺序(或-操作)。我们评估我们的方法在具有挑战性的情况下，包括问题与稀疏奖励和基准与最先进的标准和层次RL方法。我们的结果表明，所提出的组合框架能够解决非常困难的rl问题，其中标准和分层的rl方法样本效率低下，或者失败或产生不满意的结果。

2 RELATED WORK

\quad 大部分做 task-specific policies，但是不composing necessary, task-agnostic skills。神经科学中，很多将基本的技能transfer到新的领域，然后将之组合，但是robotic中很少。

\quad (1 )Mcp（multiplicative composition policies，多重组合策略）: Learning composable hierarchical control with multiplicative compositional policies。

\quad mcp 包括了了 :

a set of 可训练的高斯原子策略，输入为状态，输出为动作分布a gating function, 输入为额外的目标信息和状态，输出为composition的混合权重。

\quad 一开始使用rl一起训练，之后transfer的时候，固定原子策略，训练gate function。mcp没有latent encoding of primitive actions， performance不行

\quad (2)最近的层次强化（Hierarchical RL）自动将复杂的任务分解为子任务，然后最优化给定的目标；

Data-efficient hierarchical reinforcement learning

\quad (3)另外option framework使用 temporal abstraction , 包括 option critic, 学习很多option，高层次的policy。但是这种学到的option一般一个timestep就是一个option，或者整个episode是一个option

3 BACKGROUND

Compositionality: 将primitive functions 整合为复杂的函数

\quad agents 有很多原子策略 ∏={πi}i=0N\prod=\{ \pi_i\}^N_{i=0}∏={πi}i=0N 对应于 agent’s skills, controller, or motor-primitives。我们假定每一个 sub-policies {πi}i=0N\{\pi_i\}^N_{i=0}{πi}i=0N 能够解决由元组 {S^,A,P^,R^i}\{\hat{\mathcal{S}}, \mathcal{A}, \hat{\mathcal{P}} , \hat{\mathcal{R}}^i \}{S^,A,P^,R^i} 定义的 MDP。因此，S^\hat{\mathcal{S}}S^， P^\hat{\mathcal{P}}P^ 和 R^i\hat{\mathcal{R}}^iR^i 分别是状态空间（state-space）、转移概率、primitive policy πi\pi_iπi 的 rewards。每一个元素级策略 πi:S^×A→[0,1],∀i∈[0,1,...,N]\pi_i:\hat{\mathcal{S}} \times \mathcal{A} \to [0,1], \forall i \in [0,1,...,N]πi:S^×A→[0,1],∀i∈[0,1,...,N] ，输入一个状态 s^∈S^\hat{s} \in \hat{\mathcal{S}}s^∈S^ ，输出 agent 的动作空间 A\mathcal{A}A 上的一个分布。

\quad 我们将我们的组合模型定义为组合策略（composite policy）πθc:S×AN+1×A→[0,1]\pi_\theta^c : \mathcal{S} \times \mathcal{A}^{N+1} \times \mathcal{A} \to [0,1]πθc:S×AN+1×A→[0,1] ，参数为 θ\thetaθ ，根据环境的当前状态 s∈Ss \in \mathcal{S}s∈S 输出动作空间上的一个分布 {a^i∈A}i=0N∽∏\{\hat{a}_i \in \mathcal{A}\}^N_{i=0} \backsim \prod{a^i∈A}i=0N∽∏。组合模型的状态空间是 S=[S^,G]\mathcal{S} = [\hat{\mathcal{S}},\mathcal{G}]S=[S^,G] 。空间 G\mathcal{G}G 可能包含任务信息，例如，目标位置。所以在我们的框架中，primitive policies ∏\prod∏ 和 composite policy πθc\pi_\theta^cπθc 的 state输入是不同的。

\quad 在本节的其余部分中，我们将展示我们的组合模型解决了一个MDP问题。为了避免混乱，我们假设原始策略集合和组合策略具有相同的状态空间 S，i.e.，G=∅\mathcal{S}，i.e.，\mathcal{G} = \emptysetS，i.e.，G=∅ 。组合模型从由 sub-level policies 的actions 和环境的state s∈Ss \in \mathcal{S}s∈S 参数化的分布中采样出一个action。因此，我们可以将给定的状态空间 S\mathcal{S}S 扩大为 Sc:AN+1×S\mathcal{S}^c:\mathcal{A}^{N+1} \times \mathcal{S}Sc:AN+1×S，其中 AN+1:{Ai}i=0N\mathcal{A}^{N+1}:\{\mathcal{A}^i\}^N_{i=0}AN+1:{Ai}i=0N 是 sub-level policies 的输出。所以，compositional MDP 定义为 {Sc,A,Pc,R}\{\mathcal{S}^c, \mathcal{A}, \mathcal{P}^c, \mathcal{R}\}{Sc,A,Pc,R} ，其中 Sc=AN×S\mathcal{S}^c=\mathcal{A}^N\times \mathcal{S}Sc=AN×S 是 the new composite state-space，A\mathcal{A}A 是 the action-space， Pc:Sc×Sc×A→[0,1]\mathcal{P}^c:\mathcal{S}^c \times \mathcal{S}^c \times \mathcal{A} \to [0,1]Pc:Sc×Sc×A→[0,1] 是转移概率函数，R\mathcal{R}R 是给定任务的 reward function。

4 POLICY ENSEMBLE COMPOSITION

Encoder network 接收 primitive policies ，将他们编码为隐状态（latent spaces）；Decoder network 接收环境的 current state sts_tst 和 Encoder network 的 latent embeddings，来参数化 attention network；Attention network 输出 primitive low-level policies 的概率分布，来表示各个policy的权重。

4.1 ENCODER NETWORK

\quad 由 bidirectional recurrent neural network (BRNN) 实现，包括 Long Short-Term

Memory units。

\quad 接收各个 primitive policies 的输出 {a^i}i=0N\{\hat{a}_i\}^N_{i=0}{a^i}i=0N，将他们编码为 forward RNN 和 backward RNN 的隐状态，分别表示为 {hif}i=0N+1\{h^f_i\}^{N+1}_{i=0}{hif}i=0N+1 和 {hib}i=0N+1\{h^b_i\}^{N+1}_{i=0}{hib}i=0N+1，其中 hif,hib∈Rd;∀i∈[1,2,...,N+1]h^f_i, h^b_i \in \mathbb{R}^d;\forall i \in [1,2,...,N+1]hif,hib∈Rd;∀i∈[1,2,...,N+1] 。 forward and backward RNN 的 N+1N+1N+1 个 state 对应于他们 last hidden states ，表示为 hfh^fhf 和 hbh^bhb。

4.2 DECODER NETWORK

\quad 由 simple feed-forward neural network 实现，输入为 encoder network 的最后的隐状态 hfh^fhf 和 hbh^bhb、环境的当前状态 sss，映射到一个 latent space h∈Rdh \in \mathbb{R}^dh∈Rd。

\quad decoder network 的输入定义为 s:[s^,g]s:[\hat{s},g]s:[s^,g]，其中 s^∈S^\hat{s} \in \hat{\mathcal{S}}s^∈S^是输入到 low-level policy ensemble 的state，g∈Gg \in \mathcal{G}g∈G 可以是任意的与给定任务相关的information，例如，目标agent要达到的目标的位置。

输入：BRNN的两个隐状态hfh^fhf 、 hbh^bhb；当前状态 sss

处理：将三个信息进行编码

输出：latent space h∈Rdh \in \mathbb{R}^dh∈Rd

4.3 ATTENTION NETWORK

\quad 组合权重 {wi∈[0,1]}i=0N\{w_i \in [0,1]\}^N_{i=0}{wi∈[0,1]}i=0N 由attention network决定：

\quad 其中，Wf,Wb,Wd∈Rd×dW_f,W_b,W_d \in \mathbb{R}^{d \times d}Wf,Wb,Wd∈Rd×d，W∈RdW \in \mathbb{R}^dW∈Rd。

\quad composite policy 的权重 {wi∈[0,1]}i=0N\{w_i \in [0,1]\}^N_{i=0}{wi∈[0,1]}i=0N 用 gumbel-softmax 计算，softmax(q/T)softmax(q/T)softmax(q/T)，其中T是temperature term。

4.4 COMPOSITE POLICY

\quad 给定 primitive policy ensemble ∏={πi}i=0N\prod=\{ \pi_i\}^N_{i=0}∏={πi}i=0N ，composite action 就是所有 primitive policies outputs 的加权和，即：

\quad 我们假定 primitive policies 为 Gaussian distributions，所以每一个 primitive policy 的输出都是一个均值 μ\muμ 和一个方差 δ\deltaδ :

\quad 这样 composite policy 可以表示为：

\quad 其中 N(.)\mathcal{N}(.)N(.) 表示 Gaussian distribution，∑iwi=1\sum_iw_i=1∑iwi=1。

\quad 有了混合权值，其他类型的原始策略，如DMPs (Schaal et al.， )，也可以由其归一化输出的加权组合组合在一起。

4.5 COMPOSITE MODEL TRAINING OBJECTIVE

目标函数、更新方向：

使用RL和HRL的方式进行训练。

4.5.1 STANDARD REINFORCEMENT LEARNING

\quad 本文采用 off-policy soft-actor critic (SAC) method 的方法来训练 policy function：

\quad 其中 λ\lambdaλ 是超参数。使用这个方法是因为能够更好地探索（最大化熵）。

4.5.2 HIERARCHICAL REINFORCEMENT LEARNING

分层的解决手段大体分两种：

基于目标的(goal-reach)，主要做法是选取一定的goal，使agent向着这些goal训练，可以预见这种方法的难点就是如何选取合适的goal；多级控制(multi-level control)，做法是抽象出不同级别的控制层，上层控制下层，这些抽象层在不同的文章中可能叫法不同，如常见的option、skill、macro action等，这种方式换一种说法也可以叫做时序抽象(temporal abstraction)

本文用的是第二种，具体的用 HIRO（HIerarchical Reinforcement learning with Off-policy correction） algorithm。

分层强化学习 Data-Efficient Hierarchical Reinforcement Learning（HIRO）（NeurIPS ）

\quad 与标准HIRO类似，我们用两级策略结构。在每一个时间步 ttt，高层 policy πθ′hi\pi^{hi}_{\theta '}πθ′hi 参数为 θ′\theta 'θ′，观察一个状态 sts_tst 给出 state-space 中的一个 goal gt∈Sg_t \in \mathcal{S}gt∈S ，低层 policy πθc:low\pi^{c:low}_\thetaπθc:low 的目标就是实现这个这个goal。 πθc:low\pi^{c:low}_\thetaπθc:low 输入为状态 sts_tst ，目标 gtg_tgt ，primitive actions {a^i}i=0N\{\hat{a}_i\}^N_{i=0}{a^i}i=0N ，通过 an agent 与环境交互，预测一个组合action ata_tat 。

\quad The high-level policy 训练目标是最大化 the expected task rewards；the composite low-level policy 训练目标是最大化 the expected intrinsic reward， intrinsic reward定义为当前状态与目标状态的距离的负数，例如：

\quad 为了符合 HIRO 的设置，我们对高层policy 采用 off-policy方法，并且用 TD3 对高层、低层policy进行训练。