智能佳机器人知识社区

【论文推荐】FACTR：面向接触密集型策略学习的力感知课程训练

Fri, 11 Sep 2026 09:00:00 +0800

原文题目：FACTR: Force-Attending Curriculum Training for Contact-Rich Policy Learning

作者：Jason Jingzhou Liu、Yulong Li、Kenneth Shaw、Tony Tao、Ruslan Salakhutdinov、Deepak Pathak

单位：卡内基梅隆大学（Carnegie Mellon University）

说明：Jason Jingzhou Liu 与 Yulong Li 贡献相同。本文公式、图号、表号和参考文献编号均与原论文保持一致。

图 1　FACTR。左：低成本主从遥操作装置通过驱动主端机械臂与夹爪的舵机实现力反馈，提高遥操作成功率、完成速度和易用性。右：FACTR 行为克隆策略利用机器人力信息，在接触密集型任务中提升对不同几何形状和纹理物体的性能与泛化能力。

摘要

人类执行的许多接触密集型任务——例如搬起箱子或擀面团——都依赖力反馈来保证可靠完成。然而，虽然大多数机械臂都能直接提供这类力信息，它在遥操作和策略学习中却并未得到普遍利用。因此，机器人的行为往往局限在不需要复杂力反馈的准静态运动学任务上。

本文首先提出一套低成本、直观的双向遥操作装置：它把从端机械臂受到的外力反馈到主端机械臂，从而便于采集复杂接触密集型任务的数据。随后，作者提出策略学习方法 FACTR。该方法在训练过程中以逐渐减弱的强度破坏视觉输入，形成一种课程。它可以避免基于 Transformer 的策略过拟合视觉输入，并引导策略正确关注力模态。

实验表明，充分利用力信息后，与没有课程的基线方法相比，FACTR 对未见物体的泛化能力提升了 43%。

一、引言

从搬箱子、擀面团，到磕鸡蛋、开门，接触密集型任务无处不在。它们看似简单，实际却涉及复杂的力交互，并要求操作者根据力反馈进行精确调整。人类高度依赖这种反馈，因此能跨任务、跨物体泛化，并自然适应外观和几何形状的变化。

但在机器人学习中，力信息仍未被充分利用，即使 Franka Panda、KUKA LBR iiwa 等现代机械臂本身就能提供它。包括行为克隆在内的大多数数据驱动方法，在数据采集和策略学习阶段主要依赖视觉反馈，忽略了力的关键作用。这限制了纯视觉策略对新物体的泛化。例如，双臂抬箱子时，决定动作的主要因素是箱体几何形状，颜色和纹理并不重要。此时，力反馈能够清楚地提示模式切换——比如是否已经建立接触——因此比单纯依赖视觉更有利于物体泛化。

力反馈利用不足，一个重要原因是缺少既直观、低成本，又能在采集数据时记录力反馈的遥操作系统。近年来，低成本主从系统开始流行：操作者控制主端机械臂，从端机械臂镜像其关节运动。然而，这类系统通常是被动、单向的：主端关节没有驱动，主端也接收不到从端的信息。对于需要精确调力的动态接触任务，这会显著增加操作难度。

为此，作者提出一种低成本双向遥操作系统：从端测得外部关节力矩后，将其传给主端并驱动主端电机，从而产生力反馈。电机驱动同时支持主动重力补偿，并能处理机械臂冗余自由度带来的运动学多解问题。四项接触密集型任务的用户研究显示，这些改进带来了：

· 任务完成率提高 64.7%；

· 完成时间缩短 37.4%；

· 主观易用性提高 83.3%。

图 2　带力反馈的低成本双臂遥操作系统。系统包括两条有源主端机械臂、两条带外部关节力矩传感能力的从端机械臂、一台前视相机和两台腕部相机。

第二个挑战，是怎样把机器人力信息真正有效地纳入策略学习。扩散策略和动作分块 Transformer 等方法在精细操作上表现出色，却常常难以泛化到外观和几何形状不同的未见物体。人类在建立接触后可以忽略无关视觉细节，只依赖力反馈完成抬箱子、擀面团等任务。可是，把力直接加入策略输入并不够：策略常会过拟合视觉模态，实际上忽略力数据。原因在于，接触力信号的区分度通常较低；在机械臂尚未接触环境时，它可能长时间接近零。若训练时不加干预，策略很容易选择视觉这条“捷径”。

FACTR 通过课程训练缓解这种模态失衡。它在训练早期对视觉输入施加强高斯模糊或强下采样，随后逐渐降低破坏尺度、恢复视觉细节。这样，策略在初期被鼓励更多关注力信息，随着训练推进再逐步平衡视觉和力。作者还基于神经切线核（NTK）给出简化情形下的理论分析，并在像素空间和潜空间中测试不同算子与调度器。

本文贡献可概括为两点：

1. 带力反馈的低成本遥操作。 设计双向主从遥操作系统，提供力反馈、重力补偿和冗余解析；用户研究中，任务完成率提升 64.7%，易用性提升 83.3%。

2. 力关注课程训练。 提出 FACTR，使策略更好地学习使用力反馈，并增强对物体外观和几何形状的泛化。在四项任务上，相比同样输入力信息但不采用课程的策略，性能平均提升 40.0%。

二、相关工作

2.1 使用力信息的模仿学习

模仿学习借助示范训练机器人策略，近年来取得了显著进展。传统方法主要使用视觉和关节位置，但许多现实任务必须显式利用力反馈，才能提高稳定性、适应性与安全性。已有研究把夹爪力或触觉信号加入示范学习，使策略能够处理细小、易碎物体，或完成削蔬菜皮等强接触任务。

相比之下，机械臂自身的关节力矩数据仍研究不足。有的方法借助末端力传感器，在动觉示教中估计柔顺参数或虚拟位置目标；也有方法把力矩感知并入扩散策略，推断用于底层控制的六维力/力矩。

不过，简单地把力反馈加入策略仍可能导致策略过拟合视觉并忽略力。FoAR 通过显式预测接触/非接触阶段来调节视觉与力的融合，但需要额外标注。FACTR 则利用课程把视觉与力有效融合，无须接触阶段标签，并让策略通过力提升物体泛化。

2.2 带力反馈的低成本遥操作系统

围绕低成本、高质量数据采集，研究者提出了手持夹爪和主从系统。手持夹爪天然能让操作者感到力，但通常不直接记录力数据；近期工作通过增设力传感器缓解了这一问题。可手持设备受制于人手与机器人的运动学差异，产生的命令未必能由机器人执行。

主从系统没有这一问题，却往往缺少力反馈。Kobayashi 等人的双向系统会在主、从端关节位置存在差异时给主端附加力矩；然而，从端在无接触运动时，操作者也会感到它的惯性、摩擦等动力学作用，降低易用性和精度。本文的方法只把从端的外部关节力矩反馈给主端，使操作者感知环境约束，同时不受从端内部摩擦和惯性干扰。

三、FACTR 低成本双向遥操作系统

GELLO、ALOHA 等主从系统通过关节空间映射，让从端把主端关节位置作为目标，因而简单、直观、成本低。操作者能够自然感知从端的运动学约束；但多数系统没有力反馈，无法感知环境几何约束。其主端虽然使用可驱动舵机，却通常保持被动，还需借助外部框架、橡皮筋或绳索抵消重力，降低了便携性。

本文充分利用主端机械臂与夹爪中的舵机。主端由现成舵机和 3D 打印件组成，是从端在运动学上等价的缩小版本；主动驱动后，系统拥有力反馈、可定制的冗余解析、重力与摩擦补偿以及关节限位规避能力。低成本硬件因此获得了过去通常只见于昂贵遥操作设备的功能。

3.1 力反馈

力反馈让操作者直接感到机器人与环境的交互，尤其适合接触密集型或视觉受限任务。系统把从端感知的外部关节力矩反馈到主端：

其中，是缩放常数，是从端测得的外部关节力矩，和是力反馈的 PD 增益。按主、从端最大力矩之比计算；阻尼项可减少从端接触环境时主端的振荡。系统只传递外力，因此操作者不会感到从端运动中的内部摩擦和惯性；作者还通过缩小反馈力改善操作精度、降低认知负担。

平行夹爪没有外部力传感器，因此系统利用从端夹爪舵机的当前电流估计力反馈：

是发送给主端夹爪的反馈力矩，是从端夹爪舵机电流，是指数移动平均滤波系数。系统取=0.1。

第一个公式是：远端接触力按比例传给操作者，并加阻尼防抖。

第二个公式是：夹爪没力传感器时，用电机电流猜夹力/阻力，再平滑后反馈给主端，让操作者感觉夹到了什么。

核心目的：让人“感觉远端环境”，但只反馈外部交互力，过滤掉机器自身惯性和摩擦，并降低抖动和操作负担。

3.2 可定制的冗余解析

对运动学冗余机械臂，如果不调节关节空间，机械臂会在重力作用下漂移到不理想姿态。GELLO 用弹簧等机械部件正则化关节空间，却会在末端产生随构型变化、分布不均的力，也无法让用户指定冗余解析目标。在狭窄空间，这会限制可达性并导致碰撞。

图 3　可定制关节正则化。左：固定关节正则化目标限制可达性，在狭窄空间引发碰撞。右：用户可为主端指定静止关节构型，使从端在狭窄空间仍能到达目标。

本文用零空间投影控制律调节关节位置：

是机械臂雅可比矩阵，是用户指定的静止姿态，、是零空间投影的 PD 增益，为零空间投影矩阵。该控制能把关节稳定在任意指定姿态，又不向末端附加额外作用力。

3.3 重力补偿

为了让主端在操作者停手时保持静止，系统用递归牛顿—欧拉算法实时计算逆动力学，实现重力补偿：

其中，是质量/惯性矩阵，是科里奥利与离心项矩阵，是重力向量。

3.4 其他补偿与控制

系统还提供：用于降低主端感知摩擦的；基于人工势场、用于避免主端超出从端关节范围的关节限位控制；以及基于黎曼运动策略（Riemannian Motion Policies）的双臂动态避障。细节见附录九。

3.5 主端总控制律

各项力矩分别负责外力反馈、零空间冗余解析、重力补偿、摩擦补偿和关节限位，最终施加到主端舵机的合力矩为：

四、FACTR：力关注课程训练

简单地把机器人力数据并入策略，并不一定提升策略。非接触阶段的力信号长时间接近零，区分信息有限，所以策略容易忽略力、主要依赖视觉。FACTR 用高斯模糊或下采样逐步破坏视觉信息，并在训练中逐渐减小破坏程度。训练早期，力模态因而被迫发挥更大作用。

图 4　FACTR 在不过拟合视觉的前提下融合力信息。RGB 图像与外部关节力矩分别经视觉编码器和力编码器转为 token，再送入动作 Transformer 预测未来关节位置目标。课程可作用于像素空间或潜空间，其尺度从大到小逐渐衰减。

4.1 问题定义与基础模型

给定时刻 t 的视觉观测 I_t 与外部关节力矩 \tau_t，策略 \pi_\theta 输出长度为 k 的未来关节位置动作块 \hat q_{t:t+k}。作者从专家轨迹数据集 \mathcal D 中用行为克隆训练，损失为：

模型是融合视觉与力的编码器—解码器 Transformer。预训练 ViT 把图像编码为 M_v 个 d 维视觉 token，MLP 把关节力矩编码为一个力 token；二者拼接后由 Transformer 编码器处理。解码器接收 k 个动作 token，并通过自注意力和对编码结果的交叉注意力生成未来动作。

解码器每层中，动作 token 对视觉 token 与力 token 的交叉注意力分别记为 \alpha_V^{(l)} 与 \alpha_F^{(l)}。它们反映动作在第 l 层对两种模态的关注程度，也是后文分析“策略究竟有没有使用力”的主要依据。最后，MLP 把解码器输出投影到动作空间。

4.2 力关注课程

实验发现，训练时直接把力与视觉拼接，策略常会忽略力输入。FACTR 因而逐渐“揭开”视觉细节，让模型先学会使用力。作者定义像素空间算子 \beta_P(I,\sigma_n) 和潜空间算子 \beta_L(z,\sigma_n)；\sigma_n 是随总计 N 个梯度步骤变化的尺度，例如高斯核标准差或最大池化核尺寸。

训练时，像素空间课程把 \beta_P 施加到图像 I_t；潜空间课程把 \beta_L 施加到视觉潜 token。较大的尺度会使不同视觉输入在度量空间中更相近，从而让力模态作出更多贡献。随着 \sigma_n 下降，视觉的判别细节逐渐恢复。

4.3 课程算子

作者考察两类算子：

3. 高斯模糊。 像素空间中用标准差为 \sigma_n 的高斯核卷积图像；潜空间中对视觉 token 加入方差与尺度相关的高斯扰动。尺度越大，视觉输入越难区分。

4. 下采样。 像素空间中先把图像缩小，再恢复到原尺寸；潜空间中对 token 序列进行最大池化。尺度越大，保留的视觉细节越少。

高斯模糊的 NTK 分析表明：训练早期的大尺度模糊压制高频视觉变化，使不同视觉输入更相似，视觉分支的判别力降低，梯度因而更倾向于更新力编码器。随着尺度减小，视觉分支重新获得细粒度判别能力。

4.4 课程调度器

在第 n=1,\ldots,N 个训练步骤，调度器控制尺度 \sigma_n。论文比较常数、线性、余弦、指数和阶跃五种方案。线性调度可写为 \sigma_n=\sigma_0(1-n/N)；余弦调度平滑衰减；指数调度按指数速度下降；阶跃调度则在预设训练阶段离散减小尺度。

*算法 1：力关注课程训练（FACTR）*

给定专家数据集、动作块长度、总训练步数、像素/潜空间算子和尺度调度器。

初始化预训练 ViT、力 MLP 编码器与动作分块 Transformer。

每轮从数据集采样图像、外部关节力矩和专家动作。

按调度器得到当前尺度；若使用像素空间课程，则先处理图像。

编码视觉 token；若使用潜空间课程，则再处理视觉 token。

编码力 token，联合两种 token 预测动作块。

计算均方误差，并用 Adam 更新全部参数。

五、评估

5.1 实验设置

作者设置了四项接触密集型任务。所有任务均使用 Franka Panda 机械臂和 OpenManipulator-X 夹爪，RGB 观测来自前方 ZED2 相机或安装在夹爪附近的腕部相机。

图 5　四项任务及训练/测试物体。任务要求机器人在操纵外观和几何形状未见过的物体时，感知并响应力反馈。

· 双臂抬箱（Box Lift）：两臂抬起箱子并在空中保持平衡至少 2 秒。输入为前视图像和两臂外部关节力矩。

· 非抓取式翻转（Non-Prehensile Pivot）：机器人把物体抵住治具角点旋转，直至翻转 90° 并能稳定站立。输入为前视图像和单臂外部关节力矩。

· 水果抓取放置（Fruit Pick and Place）：抓起柔软、易损的水果并放入碗中。输入为腕部图像和夹爪外部力矩。

· 擀面团（Rolling Dough）：连续滚动面团至少 8 秒，使其成为圆柱形。输入为前视图像和机械臂外部关节力矩。

5.2 遥操作评估

作者将完整系统——有源主端、力反馈、重力补偿和冗余解析——与采用机械关节正则化的无源主从基线比较。结果显示，本文系统的完成率提高 64.7%，完成时间缩短 37.4%，主观易用性提高 83.3%。

需要机械臂与物体持续接触的任务，例如非抓取式翻转和双臂抬箱，在无源系统上经常发生接触丢失。没有力反馈时，操作者无法通过主端感知环境的几何约束，很难稳定维持接触。

此外，无源系统在持续接触中常让从端超过关节速度限制。操作者可能把主端移到与从端差异很大的姿态；一旦失去接触，关节空间误差使 PID 控制器产生大力矩，引起突然运动。本文系统则通过主端呈现环境约束，阻止操作者在接触阶段把主端移得离从端过远。

图 7　用户研究。与无源主从系统相比，FACTR 遥操作系统显著提高完成率、缩短完成时间，并让参与者主观上感觉更易使用。

5.3 策略评估

实验关注两个问题：FACTR 相比纯视觉基线、以及“使用力但不采用课程”的基线表现如何？不同课程参数又怎样影响性能？

作者用遥操作系统为每项任务收集 50 条示范，并在完全相同的超参数下比较：

· ACT（仅视觉）：只接收视觉观测的动作分块 Transformer；

· ACT（视觉+力）：同时接收视觉和力，但不使用课程；

· FACTR：使用潜空间高斯模糊与线性调度的力关注课程。

每个任务、每个物体评估 5～10 次，并分别报告训练物体与测试物体的平均成功率。

图 6　FACTR 带来更好的物体泛化。上：训练物体；下：测试物体。绿色为仅视觉 ACT，橙色为视觉+力 ACT，蓝色为 FACTR。

在大多数任务的训练物体上，三种策略表现接近。擀面团是例外：纯视觉策略只会压扁面团而不会滚动，因而完全失败。滚动过程中，相邻时刻的视觉观测非常相似，力信号却呈明显周期性；这一振荡模式能够帮助力感知策略判断运动阶段。

图 8　擀面团轨迹中的 Franka 外部关节力矩范数。蓝色是接触前阶段，紫色和绿色分别标出机械臂到达面团左右端时的力矩峰谷。周期性力矩让策略在视觉相似时仍能区分状态。

对测试物体，纯视觉策略平均成功率仅 21.3%；直接加入力但没有课程时为 61.2%；FACTR 达到 87.5%。力在“机械臂接触箱体”“夹爪抓住水果”等时刻提供了模式切换信号，而课程使策略真正学会利用这些信号。

FACTR 学会识别模式切换

作者把第一层解码器中，动作 token 对视觉与力 token 的平均交叉注意力可视化。FACTR 在执行任务时明显更关注力。抬箱子时，一旦两臂接触箱体，对力的注意力就超过对视觉的注意力，表示策略识别到了模式切换。没有课程时，策略对力关注不足，常常无法抬起或平衡新箱体。

图 9　FACTR 学会识别模式切换。左：没有课程时，策略对力关注不足。右：FACTR 在机械臂接触箱体时让力注意力超过视觉注意力，从而完成任务。

FACTR 带来更好的恢复行为

恢复实验从策略第一次成功抬箱开始，随后人为把箱子打落，再检查第二次尝试。训练物体上各策略几乎都能恢复；测试物体上，纯视觉策略的首次成功率为 31.7%，第二次跌至 13.3%，而力感知策略两次成功率接近。

纯视觉策略在箱子被打落后经常停住，不再重试，可能是因为它过拟合训练场景，对分布外物体反应不足。FACTR 则能通过外部关节力矩恢复到抬起前数值来检测接触丢失，于是返回预抬起状态并再次尝试。

方法	训练物体恢复	测试物体恢复
ACT（仅视觉）	4/5	4/30
ACT（视觉+力）	5/5	16/30
FACTR	3/3	27/30

表 1　抬箱任务的恢复行为评估。

5.4 课程消融

作者选用最难任务之一“非抓取式翻转”，只在 5 个测试物体上评估，每个物体 5 次。

调度方式	像素空间·模糊	像素空间·下采样	潜空间·模糊	潜空间·下采样
固定尺度	16/25	15/25	17/25	16/25
线性	19/25	18/25	19/25	18/25
余弦	20/25	19/25	17/25	19/25
指数	19/25	21/25	20/25	19/25
阶跃	19/25	18/25	20/25	19/25

表 2　课程训练消融。

尺度逐渐衰减的课程在所有任务上都优于固定平滑尺度。最终策略仍需要完整、未模糊的视觉细节；课程允许策略逐渐适应清晰图像，而固定平滑虽然能减少视觉过拟合，却让策略无法提取完成任务所需的细节。

像素/潜空间、高斯模糊/下采样，以及线性、余弦、指数、阶跃调度之间，没有某一组合始终占优或始终落后。这说明 FACTR 对课程参数具有相对较好的稳健性。

六、结论与局限

FACTR 是一种训练力感知策略的课程方法，目标是提升接触密集型任务的性能和物体泛化。它在训练中对视觉信息施加尺度逐渐减小的模糊，使策略在早期更多使用力，避免过拟合视觉而忽略力。在抬箱、非抓取式翻转、水果抓放和擀面团四项任务上，FACTR 都显著提高了任务完成率，并增强了对未见外观和几何形状的泛化。带力反馈和重力补偿的有源主端也带来了更直观的遥操作体验。

作者同时指出三项局限：

从端外部关节力矩传感器精度有限，细粒度操作所需的微小调力可能淹没在噪声中。未来可加入高分辨率触觉传感器或触觉手套。

方法假设从端机械臂能提供外部关节力矩。未来可适配只在末端安装六维力/力矩传感器的机械臂。

模糊算子、尺度调度等课程超参数具有任务依赖性，可能需要大量调参。自适应或自调节课程可以按任务动态改变超参数。

附录

附录七：从神经切线核视角分析 FACTR

本节给出一个理论论证框架，解释高斯模糊、下采样等 FACTR 算子为什么能帮助策略关注力输入。

7.1 神经切线核预备知识

神经切线核（NTK）用于分析神经网络，尤其是无限宽极限下的训练行为。对参数为 \theta 的网络 f_\theta(x)：

k(x_i,x_j)=\left\langle \nabla_\theta f_\theta(x_i),\nabla_\theta f_\theta(x_j)\right\rangle

在无限宽极限下，NTK 变为确定量，并在训练期间保持不变。若参数按高斯分布初始化，核收敛为对初始化取期望的确定性核。它可视作输入间的相似度：核值越大，网络对两个输入的预测越接近。对 n 个训练点，它形成半正定核矩阵 K。

使用平方误差和梯度流训练无限宽网络时，时刻 t 的残差满足：

f_{\theta_t}(x)-y=e^{-\eta Kt}\bigl(f_{\theta_0}(x)-y\bigr)

其中 \eta 是学习率。残差沿核矩阵不同特征方向，以对应特征值决定的速率指数衰减。

7.2 用 NTK 分析高斯模糊

考虑先用标准差为 \sigma 的高斯核 K_\sigma 卷积输入，再送入两层网络：

f(x)=W^T(K_\sigma*x)

其 NTK 等价于模糊后输入之间的内积。\sigma 越大，高斯卷积越强烈地抑制高频分量，不同图像因此更相似；当 \sigma\to\infty，所有模糊输入近似同一个向量，核矩阵接近缩放后的全 1 矩阵。它是秩 1 的：网络只能为所有视觉输入学习一个全局输出，只能拟合平均标签，失去视觉判别能力。

从残差分解看，只有沿全 1 特征向量的分量会快速衰减，正交分量保持不变。因此在课程早期，视觉分支无法区分样本，梯度更新会转而使用力信息，并充分更新力编码器。随后逐渐减小 \sigma，视觉输入从平滑版本过渡到原图，核重新获得判别能力，模型再学习细粒度视觉特征。这种由简单到复杂的过程，也避免了训练早期过拟合高频视觉变化。

附录八：带力反馈遥操作系统的成本分析

下表是一套主端机械臂与主端夹爪在论文提交时的物料成本。

部件	数量
Dynamixel XM430-W210-T	2
Dynamixel XC330-T288-T	6
U2D2 控制板	1
12V 20A 电源	1
PLA 3D 打印材料	不适用
合计

表 3　一套带力反馈主端遥操作设备的物料清单

附录九：遥操作系统的其他控制律

9.1 摩擦补偿

关节摩擦会引入阻力，降低响应性与直观性，并增加反驱电机所需体力。系统显式补偿静摩擦、库仑摩擦和黏性摩擦。

静摩擦通过向控制输入加入幅值较小的高频振荡信号来缓解。微振动可防止电机停留在静摩擦状态，使静止到运动的过渡更平滑：

\tau_{ss}^{(i)}=\begin{cases} \mu_s^{(i)}\cos(\omega t), & |\dot q^{(i)}|<\dot q_s^{(i)}\\ 0, & \text{其他} \end{cases} \tag{7}

其中 \mu_s 是标定的静摩擦系数，控制循环频率为 500 Hz。运动摩擦补偿为：

\tau_{ks}^{(i)}=\mu_c^{(i)}\operatorname{sgn}(\dot q^{(i)})+\mu_v^{(i)}\dot q^{(i)} \tag{8}

\mu_c 与 \mu_v 分别是库仑摩擦和黏性摩擦系数，总摩擦补偿为静摩擦项与运动摩擦项之和。

9.2 关节限位规避

系统用人工势场在接近从端关节上下限时产生排斥力矩。势能在安全区为零，在进入上下限安全边界后按距离的倒数平方增大，控制力矩为：

\tau_{limit}^{(i)}=-\nabla_{q^{(i)}}U(q^{(i)}) \tag{10}

其中 U 是排斥势函数，安全裕量决定势场开始生效的位置，缩放因子决定排斥强度。

9.3 带动态避碰的双从端控制

常见双臂主从系统直接把主端当前关节位置作为从端目标。本文改用 Isaac Lab 中实现的黎曼运动策略（RMP）：它在尽量匹配主端关节位置的同时，动态生成满足实时避碰的从端关节目标。无论操作者怎样动作，系统都能防止两条从端机械臂相互碰撞，或撞到桌面等外部障碍。

附录十：行为克隆策略架构与训练超参数

策略输入包括 RGB 图像、当前手部关节角（本体感觉）和力信息。ViT 把图像编码为 token；线性层编码本体感觉；随后由编码器—解码器式动作分块 Transformer 输出动作序列。ViT 使用 Soup 1M 权重初始化。

抬箱任务的动作空间是两条机械臂的绝对关节角；翻转和擀面团使用单臂绝对关节角；水果抓放使用单臂与夹爪绝对关节角。作者特意不把机械臂当前关节角加入本体感觉，以免模型只预测接近当前姿态的动作；这样会迫使模型从图像中提取物体信息，有利于泛化。

类别	超参数	值
策略训练	优化器	AdamW
	基础学习率	3e-4
	权重衰减	0.05
	动量 $\beta_1,\beta_2$	0.9, 0.95
	批大小	128
	学习率计划	余弦衰减
	总步数	20,000～50,000
	预热步数	500
	数据增强	RandomResizeCrop
	GPU	RTX 4090（24GB）
	训练时长	2～6 小时
ViT	Patch 大小	16
	层数 / 注意力头数	12 / 12
	隐藏维度	768
	Class token	是
	位置编码	正弦—余弦
动作 Transformer	编码器层 / 解码器层	6 / 6
	注意力头数	8
	隐藏维度 / 前馈维度	512 / 2048
	Dropout	0.1
	位置编码	正弦—余弦
	动作块长度	100

表 4　策略架构与训练超参数。

附录十一：详细定量结果

双臂抬箱

方法	训练平均	测试 Box3	Box4	Box5	Box6	Box7	测试平均
ACT（仅视觉）	100.0%	1/10	1/10	6/10	3/10	1/10	31.7%
ACT（视觉+力）	100.0%	4/10	4/10	10/10	10/10	5/10	58.3%
FACTR	100.0%	7/10	10/10	10/10	10/10	10/10	91.7%

非抓取式翻转

方法	训练平均	测试 Box3	Box4	Box5	Box6	Box7	测试平均
ACT（仅视觉）	95.0%	3/10	0/10	7/10	2/10	1/10	26.0%
ACT（视觉+力）	90.0%	1/10	2/10	9/10	4/10	5/10	42.0%
FACTR	90.0%	6/10	5/10	10/10	7/10	10/10	76.0%

水果抓取放置

方法	训练平均	测试 Obj2	Obj3	Obj4	测试平均
ACT（仅视觉）	100.0%	0/5	4/5	0/5	26.7%
ACT（视觉+力）	100.0%	3/5	4/5	4/5	73.3%
FACTR	100.0%	4/5	5/5	5/5	93.3%

擀面团

方法	训练平均	测试 Obj2	Obj3	Obj4	测试平均
ACT（仅视觉）	0.0%	0/5	0/5	0/5	0.0%
ACT（视觉+力）	80.0%	4/5	3/5	4/5	70.0%
FACTR	90.0%	4/5	4/5	4/5	80.0%

一句话总结：FACTR 的关键并不是“给策略多加一种传感器”，而是通过课程训练改变学习顺序——先让机器人学会听懂力，再逐步把清晰视觉还给它。

智能佳—XL330-M288-T舵机使用教程

Wed, 02 Sep 2026 10:26:36 +0800

XL330-M288-T是一款紧凑型智能伺服电机，适用于机器人关节和精密控制。

核心特点

高扭矩输出：堵转扭矩最高达0.6N·m（6V），齿轮比288.4:1，适合高负载场景。

轻量化设计：仅18g，尺寸20×34×26mm，适合空间受限应用。

多种控制模式：支持位置/速度/电流/PWM控制，扩展多圈位置模式（±256圈）。

高精度传感：12位无接触式绝对编码器，分辨率4096脉冲/转。

通信灵活：TTL串口（3.3V逻辑，兼容5V），波特率9600bps~4Mbps，支持多设备总线。

安全保护：过压/过温/过载自动停机，Bus Watchdog防通信中断故障。

低电压运行：工作电压3.7~6V（推荐5V），适合移动机器人或电池供电设备。

典型应用

机器人关节、小型机械臂、无人机云台等高精度、轻量化需求场景。

视频介绍：

伯克利开源低成本的示教神器GELLO-1.1.Gello-UR5硬件组装说明

Wed, 29 Jul 2026 23:00:00 +0800

采购链接

物料清单（UR5）

序号	描述	数量	链接
1	DYNAMIXEL XL330-M288-T	6	https://item.jd.com/10026901343226.html#switch-sku
2	DYNAMIXEL XL330-M077-T	1	https://item.jd.com/10152431689447.html#switch-sku
3	U2D2	1	https://item.jd.com/10152431689448.html#switch-sku
4	U2D2 Power Hub Board Set	1
5	Power Supply	1
6	Longer Cables 加长数据线	2	https://item.jd.com/10021472385991.html
7	Rubber Bands 橡皮筋	1
8	Springs	1

3D打印部件：

请访问gello_mechanical的github仓库获取用于打印的STL文件。（https://github.com/wuphilipp/gello_mechanical）需打印部件：

机器人抓取器部件

您选择的机器人部件

下面我们展示了每个机器人的3D打印部件。建议的3D打印方向如下所示。注意：大多数部件建议使用支撑。

3D打印部件（夹爪，机器人共用）

handle.stl	trigger.stl

3D打印部件（UR5）

base.stl	L1.stl	L2.stl

L3.stl	L4.stl	L5.stl

确保你面前摆放着所有必要的零件。你还需要一把小十字头螺丝刀。

3D 打印结构件

舵机

螺丝

288-T舵机用于手臂

077-T舵机用于夹持器

Dynamixels附带的螺丝有短款和长款两种：

短款螺丝用于安装在电机轴头上

长款螺丝用于将3D打印部件安装在舵机底座上

GELLO的组装十分简便

电机结构通过长螺钉固定在3D打印部件上

电机舵盘则通过短螺钉固定在3D打印部件上

最终组装的GELLO应该看起来像这样：

伯克利开源低成本的示教神器GELLO-2.软件安装

Wed, 29 Jul 2026 22:30:00 +0800

GELLO 是一个通用、低成本且直观的机器人机械臂远程操作框架。

采购

项目网站（查看GELLO 的论文和其他资源）：https://wuphilipp.github.io/gello_site/

软件库

硬件库：访问 GELLO 硬件仓库，获取 STL 文件和硬件说明

ROS 2 支持

软件安装

mkdir ~/projects

cd ~/projects

git clone https://ghfast.top/https://github.com/wuphilipp/gello_software.git

cd gello_software

虚拟环境（推荐）

首先，如果没有UV，请先安装：

curl -LsSf https://astral.sh/uv/install.sh | sh

创建并激活虚拟环境：

uv venv --python 3.11

source .venv/bin/activate

git submodule init

git submodule update

如果访问github遇到网络问题的：可以跳过git submodule init和git submodule update参考如下操作

cd /home/robot/projects/gello_software/third_party

rm -rf DynamixelSDK mujoco_menagerie

git clone https://ghfast.top/https://github.com/ROBOTIS-GIT/DynamixelSDK.git

git clone https://ghfast.top/https://github.com/google-deepmind/mujoco_menagerie.git

cd /home/robot/projects

uv pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

uv pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

uv pip install -e third_party/DynamixelSDK/python

uv pip install rich -i https://pypi.tuna.tsinghua.edu.cn/simple

伯克利开源低成本的示教神器GELLO-3.1.遥操UR5

Wed, 29 Jul 2026 22:00:00 +0800

关节信号参考值

机器人类型	关节信号参考	自由度
UR	1 1 -1 1 1 1	6
Panda	1 -1 1 1 1 -1 1	7
FR3	1 1 1 1 1 -1 1	7
xArm7	1 1 1 1 1 1 1	7
YAM	1 -1 -1 -1 1 1	6

cd ~/projects/gello_software/

source .venv/bin/activate

ls /dev/serial/by-id

运行指令控制（复制自己的设备号，替换/dev/serial/by-id/后面部分）

python scripts/gello_get_offset.py \
--start-joints 0 -1.57 1.57 -1.57 -1.57 0 \
    --joint-signs 1 1 -1 1 1 1 \
    --port /dev/serial/by-id/usb-FTDI_USB__-__Serial_Converter_FT7WBG6

校准操作（仿真模拟测试）

对于仿真模拟测试（复制自己的设备号，替换/dev/serial/by-id/后面部分）

python3 scripts/gello_get_offset.py \
   --start-joints 0 0 0 0 0 0 \
    --joint-signs 1 1 -1 1 1 1 \
    --port /dev/serial/by-id/usb-FTDI_USB__-__Serial_Converter_FTA4B4D5-if00-port0

替换~/projects/gello_software/gello/agents/gello_agent.py代码

PORT_CONFIG_MAP部分对应joint_offsets和gripper_config部分，并核对joint_signs：

python3 experiments/launch_nodes.py --robot sim_ur

重新启动一个终端

再次将主臂处于和仿真臂一致的姿势（重点：主臂一定要虚拟的从臂姿势要一致，根据自己仿真机械臂的姿势来调整主臂初始位置，否则无法遥操作或者运动的不一致）

cd ~/projects/gello_software/

source .venv/bin/activate

python3 experiments/run_env.py --agent=gello

对于实物（参考）

手动gello_agent设置

将 GELLO 和机械臂设置为已知的匹配配置（见下图），然后运行偏移检测脚本。

伯克利开源低成本的示教神器GELLO-3.2.遥操 Franka FR3 / Panda

Wed, 29 Jul 2026 21:30:00 +0800

手动gello_agent设置

将 GELLO 和机械臂设置为已知的匹配配置（见下图），然后运行偏移检测脚本。

机器人类型	关节信号参考	自由度
UR	1 1 -1 1 1 1	6
Panda	1 -1 1 1 1 -1 1	7
FR3	1 1 1 1 1 -1 1	7
xArm7	1 1 1 1 1 1	7
YAM	1 -1 -1 -1 1 1	6

cd ~/projects/gello_software/

source .venv/bin/activate

ls /dev/serial/by-id

运行指令控制

仿真模拟测试

注意：
仿真的初始校准需要按照下图姿势进行校准和开始遥操

python scripts/gello_get_offset.py \
    --start-joints 0 0 0 0 0 0 0 \
    --joint-signs 1 1 1 1 1 -1 1 \
    --port /dev/serial/by-id/usb-FTDI_USB__-__Serial_Converter_FTB1V2HJ-if00-port0

运行上述代码将运行结果替换到gello/agents/gello_agent.py

模拟测试

python3 experiments/launch_nodes.py --robot sim_panda

注意：对于FR3要更改相应代码：https://github.com/wuphilipp/gello_software/blob/main/experiments/launch_nodes.py

elif args.robot == "sim_fr3":
        from gello.robots.sim_robot import MujocoRobotServer

        MENAGERIE_ROOT: Path = (
            Path(__file__).parent.parent / "third_party" / "mujoco_menagerie"
        )
        xml = MENAGERIE_ROOT / "franka_fr3" / "fr3.xml"
        gripper_xml = None
        server = MujocoRobotServer(
            xml_path=xml, gripper_xml_path=gripper_xml, port=port, host=args.hostname
        )
        server.serve()

python3 experiments/launch_nodes.py --robot sim_fr3

cd ~/projects/gello_software/

source .venv/bin/activate

python3 experiments/run_env.py --agent=gello

伯克利开源低成本的示教神器GELLO-3.3.遥操xArm7机器人

Wed, 29 Jul 2026 21:00:00 +0800

cd ~/projects/gello_software/

source .venv/bin/activate

ls /dev/serial/by-id

机器人类型	关节信号参考	自由度
UR	1 1 -1 1 1 1	6
Panda	1 -1 1 1 1 -1 1	7
FR3	1 1 1 1 1 -1 1	7
xArm7	1 1 1 1 1 1 1	7
YAM	1 -1 -1 -1 1 1	6

python3 scripts/gello_get_offset.py \
   --start-joints 0 0 0 0 0 0 0 \
    --joint-signs 1 1 1 1 1 1 1 \
    --port /dev/serial/by-id/复制你的设备串口号

python3 experiments/launch_nodes.py --robot sim_xarm

重新打开一个终端

cd ~/projects/gello_software/

source .venv/bin/activate

python3 experiments/run_env.py --agent=gello

伯克利开源低成本的示教神器GELLO-3.4.遥操I2RT-YAM机械臂

Wed, 29 Jul 2026 20:30:00 +0800

1. 系统概述

GELLO（Generalized End-to-End Learning for Locomation and manipulation Operations）是伯克利开源的低成本遥操作工具，可用于控制多种机械臂进行数据收集和遥控操作。本手册针对YAM机械臂的GELLO适配进行详细说明。

GELLO支持多种主流机械臂平台，包括UR、Panda、FR3、xArm7等。YAM机械臂作为6自由度协作机械臂，通过GELLO可实现直观的演示教学和遥控操作。

1.1 适用范围说明

本文档主要针对MuJoCo仿真环境下的YAM机械臂遥操作进行说明。 MuJoCo是一款高性能物理仿真引擎，可在无真实硬件的情况下进行算法验证和演示教学。

同时，本文档中的配置方法同样适用于真实YAM机械臂。使用真实机械臂时，只需将启动命令中的sim_yam改为yam，并确保机械臂与控制计算机正确连接即可。

提示：建议首次使用先在MuJoCo仿真环境中进行练习，熟悉操作后再连接真实机械臂。

1.2 相关资源链接

本文档需配合以下资源使用：

·GELLO软件安装教程：包含完整的软件安装、环境配置、依赖包安装步骤

http://rosrobot.cn/?id=657

·GELLO-YAM配置指南：YAM机械臂的关节配置和偏移量校准说明

http://rosrobot.cn/?id=709

·GELLO项目官网：论文、演示视频和其他资源

https://wuphilipp.github.io/gello_site/

·软件库GitHub：源代码和更新

https://github.com/wuphilipp/gello_software

·硬件库GitHub：STL文件和硬件说明

https://github.com/wuphilipp/gello_mechanical

2.1 硬件要求

·YAM 6自由度协作机械臂（或mujoco仿真环境） × 1

·GELLO-YAMn臂× 1

·控制用PC（Ubuntu 20.04/22.04）× 1

·USB数据线（用于连接GELLO）

·网络连接（用于下载依赖包）

2.2 软件依赖

·Python 3.8+

·ROS Noetic / ROS2（根据机械臂驱动要求）

·Git

·pip3

3. 环境配置

首先克隆GELLO软件仓库并设置Python虚拟环境：

# 进入项目目录

cd ~/projects/gello_software/

# 激活虚拟环境

source .venv/bin/activate

提示：确保每次操作前都激活虚拟环境，否则会出现依赖缺失错误。

4. 设备连接与识别

连接GELLO后，需要确认系统识别到串口设备：

# 查看串口设备列表

ls /dev/serial/by-id

正常输出示例：

警告：记录完整的设备串口号，后续步骤需要使用。如果没有任何输出，请检查USB连接和驱动。

5. 关节配置说明

不同机械臂的关节信号方向可能不同，需要根据实际机型配置关节符号参数。以下是常见机型的配置参考：

机器人类型	关节信号参考	自由度	备注
UR	1 1 -1 1 1 1	6	通用机器人
Panda	1 -1 1 1 1 -1 1	7	Franka Panda
FR3	1 1 1 1 1 -1 1	7	Franka FR3
xArm7	1 1 1 1 1 1 1	7	UFACTORY xArm7
YAM	1 -1 -1 -1 1 1	6	YAM协作臂

警告：YAM机械臂的关节符号为：1 -1 -1 -1 1 1。符号表示该关节运动方向与控制输入的关系，错误的符号会导致关节反向运动。

6. 偏移量校准

首次使用或更换机械臂后，需要进行偏移量校准。校准步骤如下：

6.1 将机械臂复位到零位

手动或使用程序将所有关节调整到0度位置。

6.2 运行校准脚本

使用以下命令运行校准程序：

python3 scripts/gello_get_offset.py \
   --start-joints 0 0 0 0 0 0 \
    --joint-signs 1 -1 -1 -1 1 1 \
    --port /dev/serial/by-id/复制你的设备串口号

参数说明：

·--start-joints：机械臂当前各关节角度（单位：度）

·--joint-signs：关节运动方向符号（根据第5节表格设置）

·--port：串口设备路径（根据第4节获取的实际路径）

提示：校准完成后，系统会输出偏移量参数，请记录下来供后续使用。

python3 scripts/gello_get_offset.py --start-joints 0 0 0 0 0 0 --joint-signs 1 -1 -1 -1 1 1 --port /dev/serial/by-id/usb-FTDI_USB__-__Serial_Converter_FTBTMMRU-if00-port0

7. 代码配置修改

根据校准结果修改GELLO代理配置文件。打开以下文件进行编辑：

gello_software/gello/agents/gello_agent.py

需要修改的内容包括：

·关节符号配置（与第5节一致）

·串口设备路径（与第4节一致）

·偏移量参数（来自第6节校准结果）

提示：修改完成后保存文件。建议先备份原始文件以防万一。

例如：

修改代码gello_software/gello/agents/gello_agent.py

注意：夹持器开合定义：默认Open在前，Close在后，官方仿真中实际相反，以自己的版本为准。

The gripper config of GELLO. This is a tuple of (gripper_joint_id, degrees in open_position, degrees in closed_position). Set to None for robots without a gripper.

8. 启动遥操作

完成以上配置后，可以启动遥操作系统。需要同时运行两个终端：

8.1 终端1：启动机器人节点

cd ~/projects/gello_software/

source .venv/bin/activate

python3 experiments/launch_nodes.py --robot sim_yam

可选的--robot参数：

·sim_yam：YAM仿真模式（测试使用）

·yam：连接真实YAM机械臂

·sim_ur：UR仿真模式

·panda：Franka Panda

·其他支持的机械臂类型

8.2 终端2：启动GELLO代理

cd ~/projects/gello_software/

source .venv/bin/activate

python3 experiments/run_env.py --agent=gello

遥操作如图

此时GELLO控制器应与机械臂建立连接，可以通过控制器进行遥操作。

警告：确保两个终端都已激活虚拟环境，否则会出现模块导入错误。

9. 常见问题排查

Q1: 无法识别串口设备

A: 检查USB连接是否牢固，尝试更换USB端口。如仍无法识别，可能需要安装FTDI驱动。

Q2: 关节运动方向相反

A: 检查--joint-signs参数设置是否正确，参考第5节的配置表格。

Q3: 校准后位置偏差大

A: 确认机械臂校准时确实处于零位，重新执行校准流程。

Q4: 启动时报模块缺失错误

A: 确认已激活虚拟环境，并检查requirements.txt中的依赖是否全部安装。

Q5: 遥操作响应延迟

A: 检查USB连接稳定性，关闭不必要的后台程序，确保控制计算机性能足够。

Q6: 机械臂无响应

A: 检查机械臂电源和急停开关状态，确认ROS节点正常运行。

10. 安全注意事项

10.1 操作前检查

·确保机械臂安装稳固，工作范围内无障碍物

·检查急停开关功能正常

·确认所有人员处于安全区域

10.2 操作过程中

·操作人员应始终监控机械臂运动状态

·发现异常立即按下急停

·禁止在机械臂运动时进入工作区域

10.3 维护保养

·定期检查USB线缆和连接器

·保持控制器清洁，避免液体溅入

·长时间不用时断开电源

10.4 故障处理

·遇到无法解决的问题，先断开电源

·记录错误信息，联系技术支持

·不要自行拆卸Gello或机械臂

警告：安全第一！遥控操作时请务必保持警觉，随时准备应对突发情况。

伯克利开源低成本的示教神器GELLO-3.5.遥操珞石AR5机械臂

Wed, 29 Jul 2026 20:00:00 +0800

注意：此遥操版本为定制版本，如果您需要，请联系我们。

1. 系统概述

GELLO 是一个通用、低成本、直观的机器人遥操作框架。本手册专门介绍如何使用 GELLO 设备对ROKAE珞石 AR5 仿真机器人（MuJoCo 物理引擎）进行遥操作。

2. 环境搭建

2.1.下载源码,克隆官方仓库

参考软件安装

2.2.安装 AR5 补丁包

将 AR5 补丁包中的文件复制到对应位置

2.3硬件连接

将 GELLO 设备通过 USB 连接到电脑，确认设备被识别：

ls /dev/serial/by-id

正常应看到类似 usb-FTDI_USB__-__Serial_Converter_FTBHZC6C-if00-port0 的设备名。

3. 左臂（AR5-5-0.8L）遥操作

3.1 校准

cd ~/projects/gello_software/

source .venv/bin/activate

机器人类型	关节信号参考	自由度
AR5	1 1 1 -1 1 1 1	7

注意：此仿真模型里面没有夹爪。

机械臂主臂如图摆放

python scripts/gello_get_offset.py \
    --start-joints 0 0 0 0 0 0 0 \
    --joint-signs 1 1 1 -1 1 1 1 \
    --port /dev/serial/by-id/usb-FTDI_USB__-__Serial_Converter_FTBHZC6C-if00-port0

将GELLO 摆到零位姿态后执行。输出结果填入 ~/projects/gello_software/gello/agents/gello_agent.py代码的 joint_offsets。

2.2 启动仿真服务器（终端 1）

cd ~/projects/gello_software/

source .venv/bin/activate

python experiments/launch_nodes.py --robot sim_ar5

此时应弹出 MuJoCo 窗口，显示 AR5 左臂模型。

2.3 启动遥操作（终端 2）

cd ~/projects/gello_software/

source .venv/bin/activate

python3 experiments/run_env.py --agent=gello

此时操控 GELLO 设备，MuJoCo中的 AR5 应跟随运动。

伯克利开源低成本的示教神器GELLO-3.6.遥操法奥FR5

Wed, 29 Jul 2026 19:30:00 +0800

构型参考UR5e
http://rosrobot.cn/?id=658

关节信号参考值

机器人类型	关节信号参考	自由度
UR5e	1 1 -1 1 1 1	6
FR5	1 1 -1 1 1 1	6
Panda	1 -1 1 1 1 -1 1	7
FR3	1 1 1 1 1 -1 1	7
xArm7	1 1 1 1 1 1 1	7
YAM	1 -1 -1 -1 1 1	6

将机械臂摆出如下造型进行标定：

具体细节参考：http://rosrobot.cn/?id=658

标定：

python3 scripts/gello_get_offset.py \
   --start-joints 0 0 0 0 0 0 \
    --joint-signs 1 1 -1 1 1 1 \
    --port /dev/serial/by-id/usb-FTDI_USB__-__Serial_Converter_FTBNWWUF-if00-port0

cd ~/projects/gello_software/

source .venv/bin/activate

python3 experiments/launch_nodes.py --robot sim_fr5

ls /dev/serial/by-id

修改参数：

cd ~/projects/gello_software/

source .venv/bin/activate

python3 experiments/run_env.py --agent=gello