当人类伸出手去抓住一个特定的物体时，他们往往需要将杂波推开，以隔离它并确保有足够的空间来拾取它。即使人类并不总是完全意识到他们正在这样做，这种被称为“预抓操作”的策略允许他们更有效地掌握物体。
近年来，一些研究人员试图在机器人中重现人类操纵策略，但更少的研究集中于预抓操作。考虑到这一点，卡尔斯鲁厄理工学院(KIT)的一个研究小组最近开发了一种算法，可用于训练机器人抓握和抓握前的操纵策略。这种新方法在arXiv上发表的一篇论文中提出。
“虽然掌握是机器人技术中一项众所周知的任务，但有针对性的预掌操作仍然非常具有挑战性，”进行这项研究的研究人员之一Lars Berscheid告诉TechXplore。“这使得机器人目前很难从杂乱或狭小的空间中抓取物体。但是，随着最近机器和机器人学习的创新，机器人可以学习如何通过与环境相互作用来解决各种任务。 ，我们想要应用我们在之前的工作中提出的方法，不仅要抓住，还要抓住预先掌握的操作。
当机器人学习如何完成某项任务时，它基本上需要弄清楚如何通过最大化其奖励来解决问题。在他们的研究中，研究人员专注于从随机填充的垃圾箱中抓取物体的任务。
使用来自摄像机的输入和来自其夹具的反馈，对机器人进行了大约80小时的物体训练。当它成功地在其机器人抓手中抓住物体时，它获得了奖励。由Berscheid和他的同事开发的算法使机器人的训练更进一步，使其也可以用于预先掌握操作策略，例如移位或推动。
“我们工作的关键思想是通过引入额外的换档或推动动作来扩大抓握动作，”Berscheid解释说。“机器人可以决定在不同情况下应用什么动作。实际上训练机器人非常棘手：首先，它需要很长时间，所以训练本身需要自动化和自我监督，其次是很多意想不到的事情如果机器人探索其环境就会发生。与机器学习中的其他技术类似，机器人学习总是受到数据消耗的限制。换句话说，我们的工作与两个非常具有挑战性的研究问题相关：机器人如何能够像机器人一样快速学习可能 - 机器人可以利用发现的见解学习什么任务?“
正如Berscheid继续解释的那样，如果机器人在每次执行动作后都收到直接反馈，那么机器人可以更有效地学习，因为这可以克服稀疏奖励的问题。换句话说，提供给机器人的反馈越多(即，它为成功的行动获得的奖励越多)，它就越快，更有效地学习如何完成给定的任务。
这听起来很容易，但实施起来有时很棘手：例如，你如何定义预抓操作的质量?” Berscheid说。
研究人员提出的方法是基于之前的一项研究，该研究调查了在特定行动之前和之后抓取概率的差异的使用，重点关注行动所在的小区域。在他们的新研究中，Berscheid和他的同事们也试图发现机器人应尽可能快地学习的动作。
这是机器人学习中众所周知的探索问题，”Berscheid解释道。“我们定义了一种探索策略，既可以最大化自我信息，也可以最大限度地降低行动的不确定性，并且可以非常有效地进行计算。”
研究人员提出的算法允许机器人学习抓取动作(例如夹紧或移位)的最佳姿势，以及如何执行这些动作以增加成功抓取的概率。他们的方法使得一个特定的动作(即移位)依赖于另一个(即抓握)，这最终消除了对稀疏奖励的需要并且使得能够更有效地学习。
研究人员将他们的算法应用于Franka机器人手臂，然后评估其在一项任务中的表现，该任务涉及从仓中拾取物体直到它完全为空。他们使用25,000种不同的抓握力和2,500次换挡动作训练系统。他们的研究结果非常有希望，机器人手臂成功地抓住并归档了它熟悉的物体以及之前从未遇到的其他物体。
我发现我们工作的两个结果特别令人兴奋，”Berscheid说。“首先，我们认为这项工作确实展示了机器人学习的能力。我们不是编程如何做某事，而是告诉机器人该做什么 - 它需要弄清楚如何自己做。在这方面，我们能够应用和概括我们为掌握预抓取操作而开发的方法。其次，更具实用意义，这对于许多工业任务的自动化非常有用，特别是对于机器人应该进行的箱子拾取能够完全自己清空垃圾桶。“
在未来，Berscheid及其同事开发的方法可以应用于其他机器人平台，增强他们的抓握和抓握操作技能。研究人员现在正计划进一步研究其他研究问题。
例如，到目前为止，他们的方法只允许弗兰克机器人手臂用直立的手抓住物体，使用所谓的“平面抓握”。研究人员希望扩展他们的算法，通过引入更多参数和使用额外的训练数据来实现横向抓取。根据Berscheid的说法，尝试实现这一目标时的主要挑战将是确保机器人获得侧向抓握，同时在训练阶段保持抓握尝试的次数不变。
“此外，抓取物体通常是高级任务的一部分，例如我们希望将物体放置在特定位置，”Berscheid说。“我们怎样才能准确地放置一个未知物体?我认为这个问题的答案对于解决服务机器人的工业和新应用非常重要。在我们的项目中，我们希望将重点放在现实世界的机器人学习上，将研究中的玩具示例与复杂的现实应用之间存在差距。
