本文是 ICLR 2022入選論文《VAT-Mart: Learning Visual Action Trajectory Proposals for Manipulating 3D ARTiculated Objects》的解讀。該論文由北京大學前沿計算研究中心董豪課題組與斯坦福大學、騰訊人工智能實驗室合作完成。
文章提出了一種新型的物體功能可操作性表示，設計了一個通過互動進行感覺學習的架構以學習這個表示，并在多樣的物體上完成操作任務
。
論文連結：https://arxiv.org/pdf/2106.14440.pdf
項目首頁：https://hyperplane-lab.github.io/vat-mart/
一、研究背景
未來的家庭助理機器人，需要具備感覺和操作人類環境中大規模多樣性 3D 物體的能力。在 3D 物體中，3D 鉸接物體包含具有重要的功能和語義資訊的鉸接部件（例如，櫥櫃的門和抽屜），人類和家庭助理機器人經常與它們進行互動，是以值得我們的關注。然而，與隻有6個自由度（DoF）的普通剛性物體相比，鉸接物體具有更高的自由度，更難以被機器人了解和互動。
先前的工作，大多數使用估計 3D 鉸接物體的關節、部件姿态、動力學模型等的方法來了解和操作 3D 鉸接物體。在這篇論文裡，我們通過預測目标物體鉸接部件上每個點的可操作性分數，以及提出每個點上完成目标任務的多樣性軌迹，提出了一種新型的可操作性視覺表示（圖1）。這樣的視覺可操作性表示，可以泛化到不同形狀的物體上，且和操作物體的機器人型号無關。為了獲得這種視覺可操作性先驗表示，我們設計了一個通過互動進行感覺學習的架構 VAT-Mart。
圖1. 輸入一個3D鉸接物體，我們的方法輸出了每個點的可操作性分數，以及多樣的操作軌迹
二、方法
我們提出的 VAT-Mart 架構（圖2），由兩個子產品構成：基于強化學習的互動式操作軌迹探索子產品，以及視覺可操作性感覺子產品。軌迹探索子產品為感覺子產品提出可操作性和多樣的操作軌迹資料，感覺子產品從軌迹探索子產品的資料中整合可操作性和操作軌迹資訊，并且利用好奇心機制，為軌迹探索子產品的軌迹多樣性提供指導。
具體而言，互動式操作軌迹探索子產品，使用基于目标物體狀态的強化學習方法，生成不同物體、不同鉸接部件上可以完成不同任務的軌迹以及互動點的可操作性。為了收集多樣性的軌迹，操作軌迹探索子產品使用的強化學習方法的獎勵由兩部分構成：軌迹是否可以完成任務的外部獎勵，以及感覺子產品提供的、目前軌迹是否新穎多樣的内部獎勵。感覺子產品由可操作性預測子產品、軌迹提出子產品、軌迹打分子產品這三個子子產品構成，它們分别預測每個點的可操作性、提出多樣化的可以完成指定任務的軌迹、預測軌迹是否可以完成指定任務。軌迹打分子產品的輸出，同時會被作為内部獎勵，激勵軌迹探索子產品以探索多樣性的軌迹。
圖2. 架構結構
三、實驗
我們使用 SAPIEN 模拟器，在大規模 PartNet-Mobility 資料集上進行實驗。我們選取了2類常見的關節類型：門（旋轉）和抽屜（平移），選取開關門或抽屜作為4類任務，選取了7類物體，對于每個任務，我們把物體分為訓練類别（train-cat）和在訓練中沒有出現的新類别（test-cat）。對于每個任務，我們的架構預測出物體上每個點的可操作性分數，以及提出多樣的操作軌迹（圖3）。
圖3. 在不同任務和不同物體上，每個點的可操作性分數，以及多樣的操作軌迹
進一步地，我們在真實世界掃描的 3D 物體（Google Scan, RBO, Our Scan）上進行了實驗（圖4的左半部分），并且使用 franka panda 機械臂進行了真機實驗（圖4的右半部分）。
在大規模資料集和真實世界資料、真機上，我們的方法展現能夠高效地預測可操作性和提出動作軌迹，并且在新環境、新類别物體上展現出了不錯的泛化能力。
圖4. 在真實世界資料上（左），以及真機實驗（右）的效果
四、總結
在這篇論文中，為了感覺和操作 3D 鉸接物體，我們提出了一個新穎的可泛化的視覺可操作性表示，并且設計了 VAT-Mart 架構，預測目标物體鉸接部件上每個點的可操作性，以及提出可以完成目标任務的多樣性操作軌迹。在大規模 PartNet-Mobility 資料集和真實世界資料、真實機械臂上的實驗，證明了我們提出的架構的高效性。
本文來自：公衆号【北京大學前沿計算機研究中心】
作者：PKU Hyperplane
Illustration by Tatyana Krasutskaya from icons8
-The End-
掃碼觀看！
本周上新！
關于我“門”
▼
将門是一家以專注于發掘、加速及投資技術驅動型創業公司的新型創投機構，旗下涵蓋将門創新服務、将門技術社群以及将門創投基金。
将門成立于2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬建構而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。
如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，
歡迎發送或者推薦項目給我“門”:
⤵一鍵送你進入TechBeat快樂星球