腾讯机器人研究登顶刊！能帮程序员安显示器，像真人一样协同干活

国产机器人新突破：

两只各自独立的机械臂，已经可以丝滑地打配合了！

不信你看这双手拧瓶盖：

拧完再端起杯子倒水：

活灵活现，如真人。

呐，还能搭把手帮程序员安装好显示屏：

甚至接过“同事”手里的大箱子：

可以说是各种几何和物理特性的物体都能稳稳hold住。

（下一步还能干啥，不敢想）

这就是腾讯Robotics X实验室的最新成果：通用双臂协同灵巧操作框架。目前已登上机器人领域顶刊《IEEE Transactions on Robotics》。

既然是干活，抗干扰能力得有：

既然是双手干活，两胳膊就不能“搅”一起：

下面这个不明觉厉的“椅子360°翻转操作”，就展现的是它全自主的“双臂避自碰”能力。

最后，偶尔遇到人类调皮，它也可以轻松get，完成意图识别、进行动态交互：

（给我给我啊喂，算了我收手）

具体技术细节，这就揭秘～

人型双臂系统通用性实现

通用人形机器人无疑是近年来机器人与AI交叉领域的研究热点。

其中的人形双臂系统直接承载着这类机器人操作任务的执行能力。

任意抓取和操作具有各种几何和物理特性的任意物体则是这类系统通用化的技术体现。

而现有研究工作大多专注解决某一特定层级的问题，例如环境-物体的感知、推理与策略生成、机器人系统的规划或操作控制。

并且方案通常与特定的被操作物体或任务强相关，难以迁移和泛化。

腾讯Robotics X实验室指出，要想实现这样的通用化双臂系统，需要解决现有研究工作中三个关键的共性问题。

首先，如何基于视觉感知实现未知物体的双臂协同最优抓取。

其次，如何确保工作空间高度重叠的双臂机器人在动态协同过程中的系统安全性。

最后，如何将丰富的人类技能转移到仅拥有有限跟踪接口类型的机器人系统中。

在此，腾讯Robotics X实验室提出的包含两个相互耦合关联的子框架：

1、基于学习的灵巧可达感知子框架采用端到端评估网络和机器人可达性概率化建模，实现对未建模物体的最优协同抓取。

2、基于优化的多功能控制子框架则采用层级化的多优先级优化框架，并通过嵌入基于学习生成的轻量级距离代理函数和黎曼流形上的速度级跟踪控制技术。

同时实现了高精度双臂避自碰和高拟真双臂操作度椭球跟踪，保证了双臂系统的本质安全并开放了操作度椭球跟踪接口。

此外，该研究还首次系统性解决了基于视觉感知的未知物体双臂协同最优抓取，实现了工作空间高度重叠的双臂机器人本质安全并开放了可用于人机技能迁移学习的双臂协同操作度椭球跟踪接口。

最终，该系统在感知层、双手抓取、协同操作规划和底层控制等方面提供了丰富的接口，具有很高的通用性、可扩展性和兼容性。

技术细节如下：

灵巧可达感知子框架

围绕灵巧可达感知子框架，为实现对未知物体的双臂协同抓取，需要为双臂系统自主生成可执行的灵巧最优抓取对。

研究人员从数据集生成，抓取质量评估网络和双臂机器人可达性概率化建模三个层面着手，系统性设计了灵巧-可达感知双臂抓取子框架，实现视觉系统感知到的物体3D点云到灵巧-可达最优的双臂6D抓取位姿对之间的端到端映射。

1、双臂灵巧感知抓取数据集

为建立准确的输入点云与输出双臂抓取质量之间的映射关系并有效训练抓取评估网络，研究人员提出了业界首个大规模灵巧性感知的双臂抓取合成数据集（DA2 Dataset）。

该数据集包含6327个物体的Mesh和超过900万组抓取对，每一组抓取都采用抓取奇异性-抓取稳定性-抓取力兼容性三个指标做了标注。

2、双臂协同抓取质量评估网络

实际场景中一般可采用例如启发式采样等技术在感知到的物体3D点云上生成候选抓取对，为实时在线评估这些候选抓取对的质量并输出最优解。

研究人员设计了面向双臂协同抓取的质量评估网络Dual-PointNetGPD，并利用DA2数据集进行训练。

相较于基于简化接触力模型和依赖精确物体几何特征的传统分析方法而言，基于学习的Dual-PointNetGPD可以直接处理有噪声的3D点云并对候选双臂抓取构型的灵巧性和可靠性进行评估。

因而对广泛存在的视觉感知噪声具有更高的鲁棒性。

3、双臂可达性建模与最优抓取分配

Dual-PointNetGPD从视觉感知的角度输出抓取对质量评估结构，针对特定的双臂机器人系统，还需要从机器人本体角度考虑候选抓取对在机器人操作空间中的可达性问题和抓取对在双臂之间的分配问题。

研究人员采用单位四元数高斯混合模型建模技术对双臂6自由度工作空间进行建模并设计了概率最大化分配策略，实现了双臂抓取可达性与抓取灵巧性评估的融合统一。

多功能协同操作控制子框架

针对多功能协同操作控制子框架，具备协同抓取未知物体的能力是实现双臂通用化的第一步，而具备本体安全感知的协同操作运动规划是衔接通用抓取并实现通用操作的第二步。

由于人形双臂机器人系统的两条机械臂的工作空间往往高度重叠，对于执行双臂动态任务的机器人本体而言，避自碰撞需要放在运动规划中的最高优先级，在提升避碰精度的同时还需要减小在线计算代价以保证避碰实时性。

此外，作为重要的操作性能指标和机器人技能表征之一，双臂协同操作度椭球需要被连续控制以实现对机械臂构型的实时优化，从而提高双臂系统的操作灵巧度，避免因操作奇异性导致的任务失败。

研究人员为此设计了一个新型的多功能协同操作控制子框架。

该框架基于层级化的多目标多优先级优化框架，将学习得到的轻量级双臂最小距离代理函数和黎曼流形速度跟踪任务以不等式约束的形式嵌入到不同的优先级中。

从而实现了双臂操作运动规划的本质安全性与人机技能迁移学习中双臂构型优化的高拟真性。

1、双臂高精度避自碰

△ 工作空间高度交叠的人形双臂机器人

获取精确可靠的描述双臂碰撞边界的最小距离函数是将避碰约束嵌入到多优先级优化框架中并实现双臂避自碰的关键一步。

由于双臂构型空间维度高且工作空间相互交叠，使得其中的安全子空间与碰撞子空间分布严重失衡而难以分割开。

研究人员提出了一种新颖的基于主动学习的采样方法，用以生成大规模的、平衡的、信息丰富的双臂碰撞数据集。

然后通过机器学习的方式对双臂最小距离关于双臂构型的映射关系予以拟合，从而高效获取高精度的最小距离代理函数。

△基于主动学习的采样算法示意

2、基于黎曼几何的双臂协同操作度椭球跟踪

除避自碰以外，操作度椭球跟踪因其与操作技能和操作构型强相关，也是双臂系统控制中需要重点处理的问题。

双臂操作度椭球由对称正定矩阵（SPD）来描述，研究人员通过设计流形空间中的速度前馈项并结合误差控制原理，实现了双臂操作度椭球的实时跟踪以及跟踪误差的全局指数收敛，并给出了完整的理论分析与证明。

双臂操作度椭球跟踪任务以等式约束的形式嵌入到了多优先级优化框架中并以双臂操作度椭球跟踪接口的形式呈现。

3、多优先级优化与控制器设计

研究人员采用协同任务空间变量（双臂绝对运动与双臂相对运动）来描述所有的双臂协同-非协同/同步-异步任务，并基于多目标多优先级框架设计了双臂通用协同操作控制的系统框架。

该框架将上述双臂避自碰，双臂操作度椭球跟踪等多任务进行有机融合在一起，从而在运动规划与控制层面为双臂通用化扫清了障碍。

协同抓取、避自碰样样出色

为验证双臂最优协同抓取，双臂避自碰以及双臂协同操作度椭球跟踪方面的有效性，研究人员就所设计的Dual-PointNetGPD网络、学习生成的双臂最小距离代理函数以及SPD流形跟踪误差进行了定量分析。

1、双臂最优协同抓取 研究人员在物理仿真引擎中开展了大规模消融实验，结果表明所设计和训练的Dual-PointNetGPD网络有效提升了大尺寸未建模物体抓取任务中的双臂协同抓取成功率。

2、双臂避自碰
主要从双臂碰撞数据集生成与双臂最小距离代理函数两个维度做分析，考虑到双臂构型空间是14维，以20-30°为采样步长进行低精度采样，每一维分成10等分，需要的数据集规模也达到了1014。

研究人员使用基于主动学习的采样技术生成双臂碰撞数据集，200万数据规模的前提下即可实现95%以上的高预测精度，相较于目前在非平衡数据集学习中广泛使用的b-SMOTE等技术而言具有更高的数据效率和预测精度。

△平均预测误差与预测准确性分析

此外，基于学习训练生成的双臂最小距离代理函数计算一次双臂最小距离的时间约为0.072ms,显著低于被广泛使用的FCL算法库所需的5.36ms，且方差更小。

这极大地提升了该方法在实际部署时的实时性并保证了整个双臂协同运动规划的稳定可预测。

此外，代理函数展现了优异的连续性和可微性，这对于将避自碰以不等式约束的形式嵌入到平滑多目标优化框架中非常重要。

△表计算时间对比分析

△平滑性对比分析

3、双臂协同操作度椭球跟踪

通过消融实验验证了所设计并嵌入到多目标优化框架中的操作都椭球跟踪约束有效地降低了双臂实际构型与期望构型之间的差异，验证了SPD流形跟踪接口的有效性。

4、双臂协同翻转实验：

为验证自主避自碰能力，研究人员设计了需要极限扭转的协同翻转实验中。

在该实验中，双臂系统自主完成了互缠绕无碰轨迹运动规划，在不改变抓握构型的前提下实现了对椅子360°翻转操作。

物体的绝对运动在回转方向上始终保持高精度跟踪，在其他自由度上则动态地自主松弛，双臂相对运动误差低于0.003 （m 或rad），避碰安全距离被高效压缩到了2.5 cm。

同时整个多功能协同操作控制子框架在采用机械臂高精度网格模型下的典型计算时间为8.318 ms，解决了高精度和高实时性不可同时实现的困境。

以上结果也表明各级任务严格按照所给定的优先级执行。

在long-horizon重排实验中，双臂机器人系统连续抓取和操作人居环境中常见的桌面书架，储物篮和显示器支架这3个未建模物体。

实验结果表明双臂机器人在所设计的通用框架下能协同抓取大尺寸物体并能在执行复杂协同操作任务过程中全自主高精度避自碰。

总结：

可以看到，该研究首次系统性解决了基于视觉感知的未知物体双臂协同最优抓取，实现了工作空间高度重叠的双臂机器人本质安全，并开放了可用于人机技能迁移学习的双臂协同操作度椭球跟踪接口。

这一自上而下研究具身智能并至下而上研究机器人操作规划与控制的工作，有助于弥合AI与Robotics之间的技术鸿沟，提升基于AI生成的操作策略在物理世界中执行的稳定性和可靠性，加速双臂系统全自主通用化的到来。

论文地址：https://ieeexplore.ieee.org/document/10449470