IROS 2019 Manipulation相关文章选读

IROS刚刚结束，我整理了我看到的比较有意思的文章列表。标题前的数字是文章序号。本文里列出的26篇文章及视频可以在百度网盘下载：

https://pan.baidu.com/s/1GwDHN6VctLjPPeI1Cbqj2g 

提取码：ew3s

Perception机器人感知

2216 Hand-eye calibration with a remote centre of motion

Krittin Pachtrachai, Francisco Vasconcelos, George Dwyer, Stephen Hailes, Danail Stoyanov

Calibration是机器人开发者永远的痛。虽然说方法说起来几十年前就有，但每一个要用摄像头的人都还是要经过一番痛苦的踩坑，没有轻轻松松拿来就效果好的包。而且这个方向虽然属于CV，但是很难发CV方面的论文，因为CV大佬们觉得这是solved problem。。。

所以这次IROS看到有专门的calibration session还是很开心的。这篇解决的是怎么在手术机器人上做常见的手眼校准，就是在机械臂末端装一个摄像头，怎么得到摄像头相对于机器人tool frame 的位姿。

微创手术机器人在通过小洞进入人体后，所有的运动都必须经过洞这个点，所以没法像一般手眼校准那样大范围运动采数据。这篇很有意思的是它本来是要处理这样一个麻烦的约束，结果发现有这个约束后，反而让校准算法变得更简单，位置和姿态可以解耦分别计算。

1890    Self-Supervised Transfer Learning for Instance Segmentation through Physical Interaction

自动训练图像分割。采数据时，每次摄像头拍过照之后机器人会随机地推一下桌上的物体，根据造成的光流来自动计算mask来生成标签，就不需要人手动标定了。

省事，但准确度不如纯手工标定的高。

Motion Planning

1108 Sampling-Based Motion Planning of 3D Solid Objects Guided by Multiple Approximate Solutions

Vojtech Vonasek, Robert Pěnička

经典的collision-free path planning问题。环境固定，移动物体到目标位置。这篇有两个好玩之处：

1. 提出了一种解决运动规划中狭窄通道的思路：先把物体缩小到很小，用RRT找到多个初始解；再对每一条解逐步把物体放大到原本大小。这样可以大大增加发现可行路径的能力。

2. 为了防止找到的多个解在同一个Homotopy class中，每次找到一条解就把这条轨迹当做新的障碍物（物体沿着轨迹扫过的空间）。

1424    Context-Dependent Search for Generating Paths for Redundant Manipulators in Cluttered Environments

改进版Bi-RRT，在一些非常困难的运动规划问题上找到解的概率远超最流行的RRT-Connect。

几个特点：

1. Grow tree的时候不是完全随机选择一个树（那样容易让在较困难位置的树难以长开），而是根据当前树的大小，优先选较小的树来grow；

2. 用Cartesian path来引导树生长的方向，因为Cartesian Path比较容易计算。

1616 Volumetric Tree*: Adaptive Sparse Graph for Effective Exploration of Homotopy Classes

Donghyuk Kim, Mincheul Kang, Sung-eui Yoon

还是路径规划问题。先用sampling-based method在free space里采样，用随机采的高维球的连通性组成一个图来表示free-space，以求获得对空旷区域比较简单的描述。

然后路径规划问题就变成了比较稀疏的图搜索问题；他们还提出了一个优化策略来refine轨迹以及探索不同的homotopy class。

1878 Multilevel Incremental Roadmap Spanners for Reactive Motion Planning

Jeffrey Ichnowski, Ron Alterovitz

现在对于固定环境的运动规划往往会采用离线计算的策略，算出一个非常详尽的roadmap，这样在线就进行图搜索就行，绝对不会错过解。

然而这种离线得到的图往往极其巨大（比如下图G0层），在其上图搜索也非常花时间（二维问题超过5秒）。

这篇文章提出了一个对复杂图逐步简化的方法，在线求解时可以根据允许的计算资源选择不同复杂度的图来求近似的最优解。

806 MT-RRT: A General Purpose Multithreading Library for Path Planning

Andrea Casalino, Andrea Maria Zanchettin, Paolo Rocco

一个功能实用的库：使用多线程来加速RRT。多个线程来造同一棵树，在一些情况下可以获得超线性的加速。

超线性有点神奇，其实我不在乎这个，只要能加速，又是适用于一般的RRT算法，又有现成的code，肯定要mark一下。

Task Planning

1703    Representing Robot Task Plans As Robust Logical-Dynamical Systems

Nvidia 内部使用的Task Planning方法。是一种改进的Behavior Tree，相比传统的状态机，这种方法不需要枚举所有状态，并且用于reactive planing很方便。

Manipulation机器人操作

643 Planning Reactive Manipulation in Dynamic Environments

Philipp Sebastian Schmitt, Florian Wirnshofer, Kai M. Wurm, Georg v. Wichert, Wolfram Burgard

大会最佳论文。标题很有意思，他们的报告人太多我没挤进去。。。不过今年ICRA他们有篇poster标题是Modeling and Planning Manipulation in Dynamic Environments

是在做planning的同时也解出一个controller，可以以200HZ的速度更新motion plan。感觉IROS这篇是ICRA的延续。

Mark一下回头看。

1396 Achievement of Online Agile Manipulation Task for Aerial Transformable Multilink Robot

Fan Shi, Moju Zhao, Tomoki Anzai, Keita Ito, Xiangyu Chen, Kei Okada, Masayuki Inaba

石兄大作，用可变形无人机当作一个manipulator来操作物体，甚至可以打乒乓球。在没有办法严格位置控制的情况下，如何利用闭环控制完成操作是个挑战。潜在应用领域是建筑和太空操作。

896 A Convex-Combinatorial Model for Planar Caging

Bernardo Aceituno-Cabezas, Hongkai Dai, Alberto Rodriguez

我非常喜欢的一篇文章，Caging是机器人操作里的经典问题，意思是通过几何约束把一个物体的位置限定在一个有限区域内（当这个有限区域只有一个点时，就是抓取）。

这篇文章第一次把caging的条件以一个凸优化问题的形式写了出来，这样可以根据物体形状和手指数目自动求解能够形成caging的手指位置。

这一部分的数学非常漂亮。

更进一步，文章提出使用逐渐缩小可行域的caging来实现“有保证的抓取（Certified Grasping)”，也即在闭合手指的整个过程中都满足caging。这可能有点反直觉：即使手指放开和合上时都是caging，也不能一定说明在合上的过程中一直是caging。

而Certified Grasping就是做到了对于最初caging范围内所有的可能物体姿态都一定是成功的而不会漏掉。

目前找出这样一个Certified Grasping求解问题的复杂度是指数级的，但是对于二维问题手指不太多物体不太复杂的情况，计算时间也要不了几秒。

1515    Dynamic Flex-And-Flip Manipulation of Deformable Linear Objects

Chunli Jiang, Syed Abdullah Nazir, Ghasem Abbasnejad, Jungwon Seo

提出了一个 design + motion primitive 来解决一个很有意思操作问题：捡起一张贴在桌面的纸。

1431 Object Rearrangement with Nested Nonprehensile Manipulation Actions

用pushing在clutter中做单层的packing。特点是用吸盘吸住一个物体来推其他的物体。规划出让两物体同时到达目标位置的最短路径。

看实验似乎是今年ICRA best manipulation paper得主那个实验室的工作。

1558 Criteria for Maintaining Desired Contacts for Quasi-Static Systems

Yifan Hou, Matthew T. Mason

厚着脸皮来推销一下我自己的工作。多接触操作里最怕的就是接触状态意外改变，一改变就很难恢复，所以最好有办法一直维持规划的接触状态contact mode。

我们探讨了接触状态发生意外改变的四种情况，对每一种都提出了一个打分函数，可以用来衡量一个给定的机器人动作的质量，分越高，这个动作对这种意外情况的抗扰动能力就越强。这样就可以用我们的打分来选择鲁棒的机器人动作，做多接触任务的控制或者规划。

Robot Learning

1386 Pixels to Plans: Learning Non-Prehensile Manipulation by Imitating a Planner

我觉得这次看到的robot learning里最有意思的一个工作：

任务是用末端装着钩子的机器人去拿起任意款式的鞋。用supervised learning来训练一个神经网络作为策略。牛逼之处是这个策略输出不是一个两三个数，甚至不是一个位姿，而是9个位姿，一个108维的向量。每个位姿用3D位置和9D旋转矩阵表示。

没有任何人工的约束、滤波、prior，就是supervised learning而且数据量也不是特大，唯一hand Engineered的是把输出的9D向量投影成一个真正的旋转矩阵。

然后训练出来的策略没有任何奇怪的多余动作，9个位点看上去很靠谱，并且在抓取鞋子测试里达到90%成功率，还能泛化到没见过的鞋子款式。

1325 Deep Reinforcement Learning for Robotic Pushing and Picking in Cluttered Environment

Yuhong Deng, Xiaofeng Guo, Yixuan Wei, Kai Lu, Bin Fang, Di Guo, Huaping Liu, Fuchun Sun

感觉是Andy Zeng的push-grasping工作的拓展，DRL使用多种motion primitive做无序抓取。这个工作除了机械手还加入了吸盘。

1610 Variable Impedance in End-Effector Space: An Action Space for Reinforcement Learning in Contact-Rich Tasks

Roberto Martín-Martín, Michelle Lee, Rachel Gardner, Silvio Savarese, Jeannette Bohg, Animesh Garg

这篇文章探讨了robot learning里一个被忽略的问题：为了最大化泛化的能力，机器人的action应该怎么描述？用速度控制描述吗？还是力控制？在关节空间还是笛卡尔空间？

这篇文章针对多接触问题（contact-rich manipulation）探讨了各种选择的优劣；文章的结论是使用机器人末端笛卡尔空间的变刚度控制(variable impedance control)在此类问题中的泛化能力最强。在一台机器人上训练得到的策略成功转移到了另一台。（好像是从sawyer转到Franka上）。

很有意思的问题，美中不足是test case太简单了，擦黑板，不是特别有说服力。我怀疑如果用一些non trivial的assembly任务，选啥action都很难泛化。

2318 Toward Affordance Detection and Ranking on Novel Objects for Real-World Robotic Manipulation

Learning Affordance方面的新工作。Affordance这个词我印象中最早是MIT的Alberto Rodriguez在他们的Bin Picking方法里使用的，意思是对某种功能的适用性。Learning Affordance就是通过learning来判断场景中的适用性。比如对于抓取功能，给一张图片中各个点作为抓取点的优劣打个分得到一张Heat map，这张Heat map就是针对抓取的Affordance图。我们可以训练神经网络来自动处理图片得到Affordance map，抓取时根据这张图选热度高的点来抓即可。

这个工作是考虑了多种Affordance，不仅有抓取，还有舀，切，支撑等等。

1101    Omnipush: Accurate, Diverse, Real-World Dataset of Pushing Dynamics with RGB-D Video

Maria Bauza Villalonga, Ferran Alet, Yen-Chen Lin, Tomas Lozano-Perez, Leslie Kaelbling, Phillip Isola, Alberto Rodriguez

Planar Pushing的数据集，包括多种形状的物体。

488 Contact Skill Imitation Learning for Robot-Independent Assembly Programming

Stefan Scherzinger, Arne Roennau, Rüdiger Dillmann

为Peg-in-hole训练了一个速度到力的policy，可以避开jamming。这个问题总体来说值得研究，但文中的例子太简单了。。巨大无比的peg

1536 Learning Physics-Based Manipulation in Clutter: Combining Image-Based Generalization and Look-Ahead Planning

训练了一个pushing in clutter的策略，包括手指的控制。

其他

519 Predictive Inverse Kinematics: Optimizing Future Trajectory through Implicit Time Integration and Future Jacobian Estimation

Ko Ayusawa, Wael Suleiman, Eiichi Yoshida

一般IK只考虑位置。这篇文章提出了一个考虑速度、加速度连续性的逆运动学算法。把IK表示成QP问题。

2386    Quaternion-Based Smooth Trajectory Generator for Via Poses in SE(3) Considering Kinematic Limits in Cartesian Space

改进版SLERP，考虑速度连续性的Quaternion插值。

1766 A Real-Time Dynamic Simulator and an Associated Front-End Representation Format for Simulating Complex Robots and Environments

Adnan Munawar, Yan Wang, Radian Gondokaryono, Gregory Scott Fischer

一个仿真引擎。最大的特色是能处理closed chain，可以对并联机构、双臂操作之类进行动力学仿真。（主流的仿真器目前基本都不能处理closed chain，比如Dart，Drake等）

另外它还能处理弹簧和软物体。

缺点是好像不能处理接触，全文我都没找到关于contact model的信息，抓取和操作应该是要手动添加约束来实现。

2711    Null-Space-Avoidance-Based Orientation Control Framework for Underactuated, Tail-Inspired Robotic Systems in Flight Phase

数学很有意思的一个工作。简单说来，机器人控制的目标是消除误差。如果雅可比矩阵的逆有null space，意味着机器人对某些误差无能为力。

如果当前的误差有一部分在这个null space里，理论上来说这一时刻任何动作都不能让这部分误差减小。如果当前的误差全部在null space里，机器人就陷入了local minima，无法进一步消除误差。

这篇文章提出，给机器人的控制增加一个误差和null space 叉乘的分量。这个分量看似对消除误差没有帮助，却能够推动系统离开local minima，沿着一个螺旋轨迹收敛。文章中给出了收敛性的证明。

方法目前的缺点是只能用于三自由度系统，不然叉乘不好解释。

这是一个poster，上面的细节在poster的最后一个citation那篇文章里。

以上是我感兴趣的论文。IROS将近一千篇文章我肯定有很多没看到的，如果你有推荐的文章，欢迎留言分享。

--------END--------

机器人学家 id：GoRobotics

欢迎关注机器人学家

请点个“在看”，鼓励几个PhD小编多写一点