项目背景

对于机器人来说，诸如穿扎带或插入电池等精细操作任务是众所周知的困难，因为它们需要精确度、接触力的仔细协调以及闭环视觉反馈。执行这些任务通常需要高端机器人、精确的传感器或仔细的校准，这些可能既昂贵又难以设置。学习能否使用低成本且不精确的硬件来执行这些精细的操作任务？

我们提出了一种低成本系统，可以直接从通过自定义远程操作界面收集的真实演示中执行端到端模仿学习。然而，模仿学习也面临着自身的挑战，特别是在高精度领域：策略中的错误可能会随着时间的推移而复合，而人类的演示可能是不稳定的。

为了应对这些挑战，我们开发了一种简单而新颖的算法，即 ActionChunking  with  Transformers  (ACT)，它学习动作序列的生成模型。  ACT 使机器人能够在现实世界中学习 6 项困难任务，例如仅需要 10 分钟的演示打开半透明调味品杯和插入电池，成功率高达 80-90%。

项目网站:http://rosrobot.cn/?tags=73

视频介绍：

相关论文：

我们引入了Action Chunking with Transformers（ACT）。下面的视频展示了学习策略的实时展示，每项任务仅模仿 50 个演示。 ACT 在给定 RGB 图像和本体感觉的情况下预测一系列目标关节位置。对于以下三项任务，ACT 分别获得了 96%、84%、64% 的成功率。

相关资料参考：

WidowX-250s(6DOF)机械臂教程

ViperX-300s(6DOF)机械臂教程

项目合作单位：