论文推荐|语义驱动的家庭服务机器人技能学习综述

欢迎引用

张梦洋,田国会.语义驱动的家庭服务机器人技能学习综述[J].机器人技术与应用,2024,No.217(01):18-21

摘要：

基于语义信息的知识学习是人类提高自身技能的重要途经。作为一种存储于网络的大规模共享资源，语义信息同样能够用于辅助机器人进行家庭服务，形成机器人服务技能，为解放人力、提高机器人智能水平和自主学习能力提供可能。语义驱动的家庭服务机器人技能学习包括机器人对语义信息的理解、学习和转化三个阶段，是涉及知识构建领域、策略生成领域以及机器人任务规划领域的综合性技术，具有重要的科学意义和应用价值。本文阐述了语义驱动的家庭服务机器人技能学习的最新进展，为机器人基于语义信息的技能学习研究工作提供借鉴和参考。

关键词： 家庭服务机器人，语义驱动, 服务技能学习，知识构建，策略生成，任务规划

引言

家庭服务机器人的研究与应用是国家科技发展的战略需求，也是社会发展的必然趋势，对提高人民生活质量、缓解大陆人口老龄化社会问题具有重要意义。不同于工业机器人等其它种类的机器人，家庭服务机器人面临动态的家庭环境与多样的服务请求，需要在适应环境的前提下完成复杂家政作业。但目前家用机器人智能水平有限，服务技能不足，多数情况下只能完成过程简单、动作单一的服务任务（如地面清洁、食物加热、家电控制等），对于一些过程复杂、动作繁多的家政作业任务（如桌面整理、食品加工、饮品调制等）还远不能胜任。因此，增强家用机器人的技能学习能力，使其通过自主学习服务技能完成家政作业，是机器人融入家庭生活的关键。

基于语义信息的知识学习是人类提高自身技能的重要途经，人类通过结合自身知识，对服务相关自然语言进行理解、学习和转化，最终获得相应服务技能。受上述过程启发，语义驱动的家庭服务机器人技能学习获得各国研究者普遍关注。语义驱动的家庭服务机器人技能学习具体含义指通过对家庭服务相关语义信息进行理解、学习和转化，最终形成机器人任务规划，辅助机器人完成不熟悉的服务任务，提升机器人的服务技能。本文重点围绕机器人知识构建、服务策略生成、机器人任务规划生成三个方面对语义驱动的家庭服务机器人技能学习研究进行介绍。

1.机器人知识构建

家庭服务机器人在语义驱动的技能学习过程中需要明确物品、动作等语义要素的概念，而机器人知识构建是提高机器人语义理解能力的基础。国内外学者针对机器人知识构建进行了大量的研究工作，其中具有代表性的工作是RoboEarth项目研究计划。该项目致力于为机器人提供可扩展的知识库，机器人可以通过RoboEarth获得RoboEarth云端的行动处方(Action Recipe)、目标信息、地图信息等知识。对于RoboEarth中缺省的知识，机器人可以利用知识处理系统KnowRob推理获得，辅助服务机器人完成物品搜索、导航等任务。斯坦福大学的机器人学家Ashutosh及其团队宣布了名为RoboBrain的在线服务项目，允许机器人完成对知识的学习和分享，RoboBrain能够对信息进行整理、归类和调用。中国科学技术大学陈小平教授团队自主研发了智能服务机器人“可佳”，该机器人能够通过网络手段学习相关服务知识。近年来，YAN等人提出基于卷积神经网络的图形知识构建方法，在知识构建过程中完成对知识实体与关系的自动式嵌入，并通过设计激励函数对嵌入结果进行自主评价，提高知识构建的自主性。RUSSO等人提出基于无监督学习的机器人知识构建方法，根据机器人获取的视觉特征进行语义聚类，实现知识库自主构建。山东大学田国会教授团队利用本体技术构建家庭环境知识，环境知识支持上下文信息的查询和推理，能够辅助机器人完成家庭服务。该团队还研究了机器人知识的共享与重用方法，解决了数据的异构性造成的知识融合困难。HERNANDEZ等人结合先验贝叶斯与深度学习技术构建家庭环境下的目标物品先验概率模型，以概率的形式关联目标物品与家庭环境下的房间类型，为机器人执行物品搜寻任务提供语义知识。GóMEZ等人通过整合本体知识提出服务机器人交互系统 。

上述工作对机器人的知识构建由最初围绕机器人的动作编程发展为当前更细致的物体、环境等语义知识的设计和表示，这标志着机器人知识层面和服务范围的扩增。当前针对机器人知识构建多是在任务层面，通过研究者的监督和干预对单任务或多任务知识进行构建，能够为机器人理解复杂多变的家庭服务相关语义信息提供基础。

2.服务策略生成

机器人基于语义信息学习服务技能需要根据不同的服务主题生成服务策略，而利用自然语言处理技术使机器人通过识别人类语言进行策略自主学习是提高机器人语义学习能力的保证。TENORTH等人提出对不同的网络文本资源采取不同的处理方式，将自然语言指令自动转化为机器人可执行规划，在后续研究中，还构建了语义知识库Open-BASE，利用知识库特有的检索语言和推理工具为机器人学习家庭服务语义信息提供基础。HUANG等人提出构建面向机器人物品定位的通用性自然语言接口，对文本中的语言歧义性进行去模糊，辅助对目标物品的定位，该接口为机器人学习人类语言提供了基础。SUDDREY等人针对机器人语义学习提出构建行为树接口，对复杂的自然语言指令进行细粒度划分，并应用于新的执行环境。AZAGRA等人提出基于增量学习的语义学习算法，通过结合视觉特征与自然语言特征对多模、异构的语义交互指令进行处理，辅助机器人定位任务中的目标物品。

在机器人语义学习过程中，上述工作需要手动构建语义学习规则，且对研究数据的应用范围进行了限定，这导致方法的自主性降低。为提高机器人策略学习的自主性，研究者探索服务策略的自主式生成方法。ZHANG等人引入强化学习算法进行服务策略生成，根据服务主题生成相应物品信息，并基于此生成服务策略，在后续研究中，还提出以物品的使用顺序作为策略执行逻辑，引导模型生成逻辑性策略信息。WANG等人提出将策略表达为句子级树形结构，在结构表征的基础上完成策略的生成与检索，并基于此生成高质量策略。LIU等人提出基于交叉注意力机制的策略生成方法，以任务驱动注意力模型对策略信息特征进行关注。BROWN等人提出利用大规模语料训练大型语言模型，该模型能够针对多领域问题进行策略回答，还可进行翻译、对话等任务。同样，作为大型语言模型的代表，ChatGPT不仅能够在多领域进行策略回答，而且模型本身还具备了很好的意图理解能力，能够根据用户指令进行准确推理，并结合大规模语料生成具备逻辑性的答案，但该模型训练成本高，对生成策略的应用环境考虑不充分，并且存在一定几率生成非事实回答。陈浩然等人提出一种具备环境适应性的服务策略生成方法，对服务环境进行知识表征并嵌入神经网络，该方法能在一定程度上生成具备静态环境特征的策略信息。

上述工作能够帮助机器人实现根据不同的服务主题生成相应的服务策略信息。但机器人在服务策略生成的过程中并没有充分考虑自身服务执行环境，特别是环境动态性对服务执行产生的影响，导致生成策略的应用价值降低。

3.机器人任务规划

机器人基于服务相关自然语言生成任务规划体现了机器人对服务相关语义信息的转化能力，是语义驱动的机器人技能学习的重要环节。在早期研究中，为降低自然语言复杂度，机器人任务规划研究主要通过手动设计规则对结构化自然语言进行语义元素提取，并基于提取元素进行模板填充，形成任务规划。LIU等人提出构建面向物品搜索的任务规划框架，围绕家庭服务构建知识形式的指导规则，辅助机器人根据目标物品特征规划搜索路径。PRAMANICK团队针对家庭服务相关的用户对话提出任务规划模板范式，利用自然语言解析器预处理文本信息，并通过认知服务主题提取自然语言中的服务要素，形成任务规划。在此基础上，该团队针对复杂任务提出DeComplex框架，完成对复杂任务的子任务分解，并根据任务间的依赖关系形成任务排序，在形成任务规划过程中，还构建了识别服务主题与指令动作关系的依赖关系识别器。

上述工作通过手动构建映射规则将自然语言映射为机器人任务规划。此外，为降低任务规划的生成难度，研究采用的语义信息多为结构化或半结构化信息。随着深度学习技术的发展，以数据驱动的方式引导机器人自主生成任务规划获得越来越多研究者的关注。BLUKIS等人结合强化学习算法，以端到端的方式将导航相关自然语言映射为机器人动作，形成导航任务规划。其中，导航动作包含平移（前、后、左、右）和旋转（左转、右转），因此规划生成过程中涉及的动作空间简单。在此工作的基础上，他们引入视觉特征，通过分层训练方式增强模型自主生成任务规划的能力。WANG等人结合语义知识与概率推理提出线下机器人的任务规划方法，在语义信息和概率知识的指引下帮助机器人对家庭环境中物品进行定位，并基于此提高任务规划效率。在后续工作中，他们提出了线上-线下混合任务规划方法，根据接收到环境反馈对任务规划进行实时调整。

上述研究主要对文本策略进行分解与排序，但机器人所处环境的差异性对任务规划的有效执行同样具有很重要的影响。针对此问题，研究者尝试将环境反馈引入机器人任务规划。MURRAY等人利用家庭仿真环境产生环境反馈信息，并基于此去除由自然语言模糊性产生的信息缺失。IRSHAD等人构建虚拟仿真环境为机器人提供视觉特征，帮助机器人完成导航任务下的物品搜寻。YANG等人提出一种基于人机交互的机器人任务规划方法，首先针对服务执行动作构建语义解析接口，之后以动作执行效果对任务规划进行修正，最终获得具备适应性的任务规划。赵振杰等人提出基于元强化学习的机器人任务规划方法，并在ALFWORLD虚拟环境下进行仿真，获得较好的执行效果。WANG等人提出基于逻辑推理和物品可供性分割的机器人操作规划方法，能够生成面向机器人物品操作层面的更加精细的任务规划。目前，规则设计、神经网络模型搭建、以及环境信息引入作为机器人任务规划的重要元素，相关研究主要侧重于单一元素，而如何在考虑家庭服务执行需求的前提下将上述元素综合考虑仍需进一步研究。

4.总结与展望

语义驱动的家庭服务机器人技能学习涉及机器人知识构建、服务策略生成、任务规划等领域，是具有重要的科学意义和应用价值的综合性学科。本文以家庭服务机器人基于语义信息的技能学习过程（对服务相关语义信息的理解、学习与转化）为顺序展开综述，总结了机器人要合理利用语义信息进行技能学习要面临的问题：机器人在技能学习过程中需要将语义信息与环境变化有效结合，形成具备环境适应性的高效任务规划。

文章来源：机器人技术与应用