Real2sim2real:一种应用于平面机器人铸造的自监督学习技术

Real2sim2real:一种应用于平面机器人铸造的自监督学习技术
在 Planar Robot Casting (PRC) 中,握住电缆一端的机器人手腕的单个平面运动会导致电缆的另一端滑过平面并停在所需的目标点,该目标点可能位于机器人工作空间之外。(A) 显示了带有电缆和平面工作空间的 UR5 机器人的侧视图,(B) 说明了电缆 1 对 16 个目标的测试性能。金色内扇区代表机器人工作空间,而灰色外扇区代表电缆可到达的工作空间。(C,D) 显示在使用学习策略进行 PRC 动作后机器人和电缆的多个叠加俯视图,在 (C) 中为低错误示例,在 (D) 中为高错误示例

在接下来的几十年里,机器人可能会被引入人类环境,包括家庭、办公室和零售空间。除其他外,机器人系统可用于整理空间并使其对人类更安全。

虽然到目前为止机器人已经取得了非常有希望的结果,但它们还不能可靠地操纵可变形结构,例如电力电缆、绳索和软管。此外,大多数机器人系统也不能有效地操纵二维可变形物体,如衣服、餐巾和床上用品,或三维可变形物体,如枕头、产品、食品和袋子。

加州大学伯克利分校 AUTOLAB 的研究人员正在与丰田研究所 (TRI) 的研究人员合作,以增强机器人操纵可变形物体的能力;特别是,解开电缆和处理织物。在最近发表在 arXiv 上的一篇论文中,他们介绍了一种用于平面机器人铸造的新的自我监督深度学习技术,这项任务涉及在平面上操纵电缆。

“虽然我们之前的工作更多地关注(准)静态操作,但该项目探索了动态运动对可变形对象操作的效率和有效性,”进行这项研究的研究人员之一肯戈德伯格说,“在之前的一篇论文中,我们专注于动态电缆动作,例如“拱顶”以操纵一端固定在墙上的电缆。我们的新论文侧重于在平面上操纵自由端电缆。”

最近研究的主要目标之一是确定一种新的动态电缆操作任务,他们称之为“平面机器人铸造干涉”。

在他们的论文中,他们提出了用于解决此任务的特定管道,称为“real2sim2real”。他们还评估了可以模拟平面机器人铸造任务的不同模拟环境。

“我们的自我监督学习技术 real2sim2real 可以加速训练并提高性能,”Raven Huang 和 Vincent Lim 解释说。“为了加快学习速度,我们希望使用真实的物理模拟。然而,这种情况下的物理模拟并不代表现实。为了解决这个问题,机器人首先以自我监督的方式收集一些真实数据,利用预先记录重置动作,以免获得人为干预。”

real2sim2real 管道使用 Huang 和 Lim 及其同事收集的真实数据来调整平面机器人铸造任务的模拟,使其尽可能接近现实。随后,它计算了大量的模拟数据,更安全,并且比在现实世界中收集的速度要快得多。

为了学习机器人系统的控制策略,该模型结合使用了真实数据和模拟数据。该数据集包含真实数据和模拟数据,然后还用于解决真实环境和模拟环境中性能之间的差异,进一步增强其处理平面机器人铸造任务的能力。

“与使用纯模拟数据或纯真实数据学习的其他方法相比,我们的方法平衡了使模拟尽可能准确(我们称之为减少 sim2real 差距)和尽可能高效学习的需要,”Lawrence Chen说过。“我们的框架还允许机器人长时间自主收集数据。”

Real2sim2real:一种应用于平面机器人铸造的自监督学习技术
中国的 Real2Sim2Real 管道。我们以自我监督的方式收集物理数据集。我们对物理数据集进行子采样以生成调整数据集,并使用它来调整模拟参数,使其轨迹与使用差分进化 (B) 的真实轨迹匹配,然后使用调整后的模拟器生成大型模拟数据集 (C)。我们使用模拟数据集和物理数据集的加权组合来训练策略 (D) 并在实际 (E) 中评估策略。图片来源:Lim 等人。

Goldberg 和他的团队在一系列测试中评估了他们开发的自我监督工具。值得注意的是,real2sim2real 的表现优于他们与之比较的所有基线方法,以及仅在模拟数据或仅在真实数据上训练的技术。

“我们对 real2sim2real 管道的效率感到惊讶,”TRI 的 Mike Laskey 说。“我们证明了它能够有效地学习可变形物体的动态操作策略并实现相对较高的准确性。将模拟数据和真实数据相结合的混合方法都显着提高了性能和数据效率。”

与其他方法相比,新方法需要的真实数据减少了 96%。其余数据由研究人员的模型在可靠调整的模拟环境中创建。这最终可以促进使用机器人系统来管理家庭、船只、工厂和其他环境中的电缆。未来,团队希望将real2sim2real框架应用到其他机器人操控任务中。

“我们未来的研究方向之一将是将我们的方法扩展到更复杂的可变形物体,例如织物或袋子,”戈德伯格说。“对于这样的物体,我们有一个更高的维度,具有更复杂的动态特性,促使我们将动态运动与(准)静态运动结合起来。”

本文为作者 麻永峰 独立观点,并不代表 我是CIO 立场。

发表评论

登录后才能评论