在上周四的 第一期线上分享
中，清华计算机系博士后黄文炳为大家详细解读了大会接收的这篇 Spotlight 论文《Imitation Learning from Observations by Minimizing Inverse Dynamics Disagreement》。
以下是本期视频回顾：
引言
观测模仿学习（Imitation learning from observations）是示教学习（Learning from demonstrations，模仿学习）的前沿发展方向，目前的示教学习是在给出一定数量的专家（称为示教者）示教轨迹的前提下，通过监督学习、强化学习等机器学习方法训练智能体（称为学习者）控制策略，让智能体的行为尽可能与专家相似，进而使得智能体表现出专家行为的过程。
模仿学习主要分为两类，一类是行为克隆（Behavioral Clone），另一类是逆强化学习（Inverse Reinforcement Learning）, 标准的行为克隆方法是一类通过监督学习方法实现模仿学习的途径，是模仿学习中最简单最直观的方式，这类方法可以理解成智能体接受专家提供的示教样本并转换成状态-动作对形式，采用分类器（离散控制策略）或回归器（连续控制策略）拟合专家策略的过程。然而这类方法中智能体不进行环境交互与探索，训练的策略往往存在累积误差，而且性能受限于专家样本。
因此有更多的研究人员关注到通过逆强化学习实现示教学习问题，通过示教样本学习奖惩函数（动作好坏的规则），进而利用强化学习方法让智能体在学到的奖惩函数下探索环境并利用探索样本学习控制策略，学习性能在大多场景下往往超过行为克隆方法。
在逆强化学习实习的模仿学习中，GAIL[1] 算法首次将对抗训练机制引入模仿学习中，本文在 GAIL 的方法基础上，进一步探讨当专家示教不完备情况下如何完成模仿学习，特别是在实际机器人学习场景中最常见的【专家样本中不包含动作信息】情况，我们称这类模仿学习为观测模仿学习。本文理论上发现了观测模仿学习与常规的模仿学习之间的鸿沟差异，证明了该鸿沟差异存在优化上界，并提出了一种模型无关的优化方法。
模仿学习，特别是观测模仿学习，高效地让机器人学会人所掌握的技能或处理任务的能力，是未来智能机器人得以广泛应用的保证。
- 论文链接： https://arxiv.org/pdf/1910.04417.pdf
- Website： https://sites.google.com/view/neurips19-iddm/home
方法
基于逆强化学习的模仿学习代表性工作 Generative Adversarial Imitation Learning (GAIL)，将对抗训练过程引入智能体模仿学习中，其中判别器用于区分智能体探索样本（Fake Sample）与专家样本（Real Sample），进而利用判别器描述的奖惩函数探索环境并通过强化学习训练智能体策略。提供专家样本为：
，其优化目标可以表示为：
该优化目标直接将状态-动作占用率度量替换为状态转移占用率度量，在后面的证明中会说明这样的优化目标仅能适用于特定的动力学系统的情形，在更多的动力学系统情况下这样的优化方法将会失效。
具体步骤
首先，对于专家与智能体具有相同动力学系统的情形，可以证明观测模仿学习与常规的模仿学习之间存在一定的关联（证明过程请查看文章附录）：定理1：如果智能体与专家之间共享相同的动力学系统模型，那么常规的模仿学习、朴素的观测模仿学习与逆动力学系统差异之间的关联可以表示成以下形式：
推论1：当动力学模型为单射变换时，朴素的观测模仿学习等效于常规的模仿学习。
然后，建立了观测模仿学习与常规模仿学习的关系后，可以看出对于模仿学习问题，除了优化朴素的观测模仿学习目标（公式（2））外，还需要进一步去优化 IDD 这一项，可以证明 IDD 的优化上界可以表示为：
实验
在实验中，研究者先设计了一个 GridWorld 的导航任务，用于说明 IDD 在观测模仿学习中的存在性，如下图所示，网格中相邻位置之间的转移动作方式由 1 到 11 种变化，当只有 1 种动作转移方式的时候，也就是环境的动力学为单射变换的情况，GAIL，GAIfO 以及本研究的方法表现相当的性能，与推论 1 中的结论一致，随着相邻位置之间的转移动作方式逐渐增多时，GAIfO 的性能逐渐下降，但本项研究的方法仍能较好提升观测模仿学习效果。
另外，研究者在 Gym 下的 Mujoco 实验中 6 个任务中进一步验证了本研究方法的模仿效果，相比于其他观测模仿学习方法（关于其他观测模仿学习方法的具体介绍，可以查看论文的 Related Work 部分），本研究方法均取得了最好效果。更多消融实验与参数敏感性分析实验可以查看论文及论文附录。
图 2. 策略可视化运行结果图，左边为专家示教样本（通过强化学习训练得来），中间为朴素的观测模仿学习优化结果，右边是本研究方法的表现结果。