2024年1月，谷歌 DeepMind 联合斯坦福推出了ALOHA 的增强版本 ——ALOHA 2。与一代相比，ALOHA 2 具有更强的抓持性能、更符合人体工程学设计和更强的稳健性，并且在国内就可以直接采购，整套成本还不到20万元人民币。

可订购的套装件（建议工作桌自己配置，其他设备都可以采购）

多样化的演示数据集推动了机器人学习的重大进步，但此类数据的灵活性和规模可能受到硬件成本、硬件鲁棒性和远程操作难易程度的限制。推出ALOHA的增强版本，ALOHA 2开源了所有硬件设计，并附有详细的教程，以及具有系统识别功能的ALOHA 2 MuJoCo模型。

了解更多资讯请参阅项目网站

· 论文地址：https://aloha-2.github.io/assets/aloha2.pdf

· 项目主页：https://aloha-2.github.io/

· 智能佳机器人知识社区：http://rosrobot.cn/

上图：ALOHA 2机器人每天能够收集1000次演示数据。下图：具有重力补偿功能的ALOHA 2工作单元详细配置图（重新设计的引导和跟随夹具以及安装摄像机的框架图像）

ALOHA 2实验室建设

让我们先来一睹升级后的 ALOHA 2 能做些什么吧！！！

可以快速分拣不同玩具并放进三个不同碗里

左右手投掷物体

开可乐瓶并将可乐倒进别的杯子里

还可以开酸奶盒

给熊猫玩偶戴上美瞳

更难以想象的是，它还能变身扒手，悄无声息拿走你的钱包，并给你放回去

ALOHA为什么要升级呢？

ALOHA 2由一个带有双手动平行爪夹持器的工作单元组成，该工作单元带有两个ViperX 6-DoF 手臂（“从动臂”），以及2个较小的WidowX 6-DoF手臂（“引导臂”） ）。 WidowX包含与ViperX相同的运动结构，但外形较小。从动关节与引导臂同步，用户通过反向驱动或“操纵”引导臂来远程操作从动臂。该装置还包含从多个视点生成图像的摄像机，允许在远程操作期间收集RGB数据。机器人可以安装在48" x 30"的桌子上，采用铝型材搭建的支撑架，为摄像机和重力补偿系统提供额外的安装点。

为了支持复杂操作任务的研究，扩大ALOHA 2平台上的数据收集规模，包括正在使用的机器人数量、每个机器人的数据小时数以及数据收集的多样性。还针对以下领域进行了进一步改进：

性能和任务范围：增强 ALOHA 性能的关键组件，包括夹持器和控制器，以实现更广泛的操控任务。

用户友好性和人体工学：为了优化大规模数据收集，优先考虑用户体验和舒适度，包括改进用户界面系统的响应性和人体工学设计。

系统鲁棒性：团队简化了机械设计，确保在更大规模机器人集群训练的易维护性，提高系统的鲁棒性，减少因故障诊断和修理导致的停机时间。

ALOHA2具体都升级了哪些内容

夹具：为引导臂夹具和从动臂夹具创建了新的低摩擦导轨设计。对于引导臂来说，这提高了远程操作的人体工程学和响应能力。对于从动臂来说，这可以改善延迟时间和夹具的力输出。此外，还升级了手指上的抓握胶带材料，以提高耐用性和抓握小物体的能力。

重力补偿：使用现成的组件搭建一套被动重力补偿机制，与ALOHA的原始橡皮筋系统相比，提高了耐用性。

框架：简化了工作单元周围的框架，同时保持了相机安装点的刚性。这些变化为人机协作者和机器人交互的道具提供了空间。

摄像头：使用使用更小的英特尔 RealSense D405 相机和定制3D打印摄像头支架，以减少从动臂的占地面积，从而减少对操作任务的阻碍。与上一代消费级网络摄像头相比，这些摄像头还具有更大的视野、提供深度、全局快门，并允许更多定制。

仿真：在MuJoCo Menagerie的MuJoCo模型中对ALOHA 2机器人的精确规格进行建模，从而改进了数据收集、策略学习和模拟评估，以应对具有挑战性的操纵任务。

这些升级使得远程操作具有挑战性的任务变得更加容易，例如折叠T恤、打结、投掷物体或具有严格公差的工业任务。这些升级使得每天可以更轻松地收集每个机器人数百个有关这些任务的演示数据。

ALOHA2 部件升级介绍

(1) 人体工程学夹具

为了实现更顺畅的远程操作和改进的人体工程学设计，采用低摩擦导轨设计取代了 ALOHA原来的剪刀头夹具设计，降低了机械复杂性。为了进一步减少应变，还将原引导臂的夹具电机(XL430-W250-T)替换为低摩擦(XC430-W150-T) 来降低反向驱动摩擦，该电机具有较低的齿轮比并使用较低的摩擦与之前的 ALOHA 剪刀设计相比，新设计打开和关闭所需的力大约减少 10 倍。较低的摩擦力可减少操作员在长时间数据收集过程中的手部疲劳和紧张，特别是负责打开夹具的手部肌肉。

操作员在打开夹具时需要克服的摩擦力，就减少了10倍之多！

设计和制造低摩擦从动臂夹具，取代了ALOHA的原始设计。较低的摩擦力减少了引导臂夹具和从动臂夹具之间的感知延迟，改善远程操作期间的用户体验。通过测试，新的夹具还能够施加比旧设计多两倍的力，从而可以更牢固、更稳定地抓取物体。

在放慢16倍速度情况下，这两个抓手的响应速度，很明显ALOHA 2更快，一代ALOHA才一点点合并。

ALOHA 2比初代抓手能力提升了2倍，峰值为30.1N

此外，通过去除原来的PLA+亚克力结构，并用3D打印碳纤维尼龙代替，提高了夹具机构的顺应性。夹爪手指和支撑结构在负载时都会变形，从而提高了系统的安全性。

从动臂夹具和引导臂夹具设计的效果图。左：采用英特尔D405的从动夹具、定制3D打印相机支架和低摩擦从动导轨设计。右：带有可更换手指安装座和低摩擦引导导轨设计的引导夹具。

(2) 重力补偿

为引导臂设计了更强大的被动重力补偿，以减轻操作员在远程操作过程中的磨损。使用现成的组件构建此系统，包括可调节的悬挂伸缩器，允许操作员将负载平衡力调整到舒适水平。

通过恒力牵引器和弹簧滑轮配合实现重力补偿功能，使得手臂可以在大多数地方“漂浮”。比起原来的橡皮筋，它可耐用多了！

(3) 框架

重新设计了支撑框架并使用 20x20mm 铝型材建造。该框架为引导臂、从动臂、重力补偿系统提供支撑，并为高架摄像机和虫眼摄像机提供安装点。与ALOHA相比，去掉了与遥控操作器相对的桌子一侧的垂直框架。增加的空间允许多种风格的数据收集。例如，人类协作者可以更轻松地站在工作空间的另一侧并与机器人交互，从而收集人机交互数据。此外，可以在桌子前面放置较大的道具，供机器人与之互动。

重新设计的框架，提供重力补偿结构和相机安装点。

(4) 相机

将ALOHA系统中使用的摄像头升级为4个RealSense D405摄像头。这些相机能够以较小的外形尺寸实现高分辨率RGB和深度，并提供全局快门。虽然深度和全局快门对于一代ALOHA系统上演示的结果来说不是必需的，但它们可能被认为是“必备的”，可以实现不同的实验和推动性能。为腕式摄像机以及俯视图和虫眼视图设计了新的摄像机支架。手腕上摄像头的轮廓较低，减少了碰撞状态的数量，并改善了某些细粒度操作任务的远程操作，特别是那些需要手臂之间紧密接触或在狭小空间中导航的任务。

为人机协作收集数据提供了空间。

(5) 机械手臂

ViperX 300 6DOF和WidowX 250 6DOF都具有6个自由度手臂和一个360°的夹持器，该手臂具有扭矩大、精度高、散热快、抗疲劳等特点。采用U2D2微处理器，可以使用DYNAMIXEL软件和ROS进行编程开发。

(6) 远程操作

使用ROS2运行远程操作软件堆栈。启动后，引导臂和从动臂均初始化至初始位置。操作员可以通过使用任一引导臂上的手指附件关闭夹具来开始数据收集会话。操作员可以使用位于工作单元下方的脚踏板保存或放弃会话。

在远程操作会话期间，记录来自机器人的传感器流，包括图像、引导臂和从动臂关节位置以及ROS2系统提供的其他辅助数据。可采取多项措施确保下游管道收到完整、高质量的数据，因为这对于机器人学习管道至关重要。操作员在收集过程中可以看到传感器可用性和延迟等会话统计信息，以确保可靠地记录数据。如果数据丢失，会话会自动关闭，以确保下游学习管道始终收到完整的数据。记录会话时，会记录操作员用户名、时间和机器人标识符以及来自机器人的原始传感器流。如果在一段时间内发现某些机器人存在问题，包含附加数据可以过滤下游数据。并以50Hz记录引导臂和从动臂联合数据。

在真实工作单元上进行远程操作期间记录的四个摄像机视图。从左到右：俯视摄像头、虫眼摄像头、左手腕摄像头、右手腕摄像头。所有四个摄像头均记录848x480RGB图像。

(7) 仿真模拟系统

ALOHA 2工作单元的 MuJoCo Menagerie模型，对于远程操作和模拟学习非常有用。与之前发布的 ALOHA模型相比，新模型的物理精度更高，视觉保真度更高。使用真实ALOHA 2 设置中记录的轨迹来执行系统识别，以设置MuJoCo模型中的物理参数。特别是，使用前导臂收集11个真实轨迹，并使用非线性最小二乘求解器最小化真实轨迹和模拟轨迹之间的残差。真实轨迹由针对从动臂中电机的控制极限的正弦运动组成。该优化调整所有位置控制执行器的比例增益、阻尼、电枢、关节摩擦和扭矩限制。使用位置控制的线性致动器对夹具进行建模，并在夹具手指之间具有等式约束。为了获得更高的视觉保真度，将相机内部结构尽可能与真实设置相匹配，并导入工作台、工作台拉伸件和从动夹具的资源。

MuJoCo模型的渲染。该模型包含带有腕式摄像头的ViperX机器人，安装在铝型材上。对ALOHA 2规范的所有摄像机和机器人位置进行精确建模，并执行系统识别以确保与真实行为相似。

模拟中的远程操作任务。展示了使用Google扫描对象数据集（Downs 等人，2022）中的对象进行模拟收集运行期间记录的4个摄像机视图。

逼真的模型允许使用ALOHA 2 WidowX引导臂设置快速、直观且可扩展的模拟数据收集。具有系统识别功能的开源、高质量模型能够实现跨机构共享远程操作模拟数据，并加速模拟中政策学习的研究。

温馨提示

为了确保用户在远程操作期间的舒适度。重申一些功能，并添加了一些新的考虑因素，以最大限度地提高人体工程学效益：

•低摩擦夹具可减少远程操作期间手指和手腕的压力。

•被动重力补偿抵消引导臂的重量，以减少长时间远程操作过程中肩膀和手臂的磨损。

•引线上具有不同尺寸的可交换手指附件，可以为不同手部尺寸的用户进行定制。

•高度可调的椅子允许用户在远程操作期间调整到最佳高度。

•建议用户休息时间至少2分钟，并避免长时间连续工作，至少每10分钟休息一次可以最大限度地减少重复运动造成的磨损，并在休息之间混合任务进行远程操作，以避免单个任务的连续重复动作。

结论

一种用于双手遥控操作的低成本系统，与之前的ALOHA系统相比，该系统提高了性能、用户友好性和鲁棒性。对夹具、重力补偿、框架和相机等硬件进行了具体改进，同时还提供了高质量的仿真模型。希望ALOHA 2能够实现大规模数据收集以进行细粒度的双手操作，以推进机器人学习的研究。

参考文献

L. Downs, A. Francis, N. Koenig, B. Kinman, R. Hickman, K. Reymann, T. B. McHugh, and V. Vanhoucke. Google scanned objects: A high-quality dataset of 3d scanned household items, 2022. URL https://arxiv.org/abs/2204.11918.

L. Keselman, J. Iselin Woodfill, A. Grunnet-Jepsen, and A. Bhowmik. Intel realsense stereoscopic depth cameras. In Proceedings of the IEEE conference on computer vision and pattern recognition workshops, pages 1–10, 2017.

S. Macenski, T. Foote, B. Gerkey, C. Lalancette, and W. Woodall. Robot operating system 2: Design, architecture, and uses in the wild. Science Robotics, 7(66):eabm6074, 2022. doi: 10.1126/ scirobotics.abm6074. URL https://www.science.org/doi/abs/10.1126/scirobotics. abm6074.

E. Todorov, T. Erez, and Y. Tassa. Mujoco: A physics engine for model-based control. In 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 5026–5033. IEEE, 2012. doi: 10.1109/IROS.2012.6386109.

K. Zakka, Y. Tassa, and MuJoCo Menagerie Contributors. MuJoCo Menagerie: A collection of high- quality simulation models for MuJoCo, 2022. URL http://github.com/google-deepmind/mujoco_menagerie.

T. Z. Zhao, V. Kumar, S. Levine, and C. Finn. Learning fine-grained bimanual manipulation with low-cost hardware, 2023.

ALOHA 2 Team (2024)作品贡献

•核心团队（核心贡献者；领导项目工作；领导平台的设计、实施和/或研究）：Travis Armstrong、Chelsea Finn、Pete Florence、Spencer Goodrich、Thinh Nguyen、Jonathan Tompson、Ayzaan Wahid 和Tony Zhao。

•硬件（从事硬件设计和制造；系统组装）：Jorge Aldaco、Kenneth Draper、Pete Florence、Spencer Goodrich、Torr Hage、Thinh Nguyen、Jonathan Tompson、Ayzaan Wahid 和Tony Zhao。

•软件（运行远程操作和模型的软件系统；DevOps）：Jeff Bingham、Sanky Chan、Debidatta Dwibedi、Pete Florence、Spencer Goodrich、Wayne Gramlich、Alexander Herzog、Ian Storz、Jonathan Tompson、Sichun Xu、Ayzaan Wahid、Ted Wahrburg、 谢尔盖·亚罗申科和托尼·赵。

•数据（收集和处理数据的软件和基础设施）：Robert Baruch、Pete Florence、Jonathan Hoech、Ian Storz、Ayzaan Wahid 和Sergey Yaroshenko。

•模拟（致力于创建和改进模拟模型）：Baruch Tabanpour、Ayzaan Wahid 和Kevin Zakka。

•HRI/用户研究（致力于HRI、人体工程学并进行用户研究）：Travis Armstrong、Spencer Goodrich、Leila Takayama 和Jonathan Tompson。