布里斯托大学与比萨大学联合研发拟人化机械手，可模仿人类手势实现自适应抓握！

脑机接口社区

发布于 2024-07-17 07:28:00

2000

英国布里斯托大学工程数学与技术学院及布里斯托机器人实验室研究团队前不久受 Pisa/IIT SoftHand 的启发，提出了三种具有不同拮抗肌腱机制的新型手指，通过协调控制驱动肌腱和拮抗肌腱来实现DIP或PIP关节的主动伸展和控制。基于此设计，研究团队还开发了一种具有拮抗肌腱、触觉指尖和新型差速机构，只需两个执行器即可主动管理闭合、张开和抓握手势的新型欠驱动机械手Tactile SoftHand-A。

机械手Tactile SoftHand-A采用了双肌腱设计，允许主动控制特定的关节（远端或近端指间关节），从而调整手的抓握姿势。此外，研究团队还开发了一种新型的全3D打印触觉传感器设计，该设计无需手部组装，可直接作为机械手指的一部分进行打印。这种传感器被集成在指尖中，并与拮抗肌腱机制相结合，共同构成了一种人手引导的触觉反馈抓握系统。该系统能够主动模仿人类手势，在接触时自适应稳定抓握姿势，并在检测到滑动后调整抓握姿势以防止物体移动。

开源地址：github.com/SoutheastWind/Tactile_SoftHand_A

英国布里斯托大学工程数学与技术学院和布里斯托机器人实验室为李浩然、Christopher J. Ford、陆成华、林义炯为第一作者，意大利比萨大学“E.Piaggio”生物工程和机器人研究中心/IIT Soft Robotics for Human Cooperation and Rehabilitation的Matteo Bianchi、Manuel G. Catalano、Efi Psomopoulou、Nathan F. Lepora等为共同作者。

该研究成果的相关工作已经在GitHub上开源，接下来，一起来和机器人大讲堂深入探索这一研究成果！

▍3D打印、完全集成触觉的指尖设计与开发

研究团队在远端指骨中引入了光学触觉感应技术，成功开发出一种新颖的完全集成触觉指尖。这一设计突破性地将整个传感结构作为单个组件，通过3D打印技术直接集成到手指的物理结构中，极大地简化了制造流程，除了相机模块的插入外，无需任何手动制造步骤。

触觉指尖的构成

该触觉指尖主要包括三个核心模块：感知模块、接触模块和驱动模块。

感知模块由高清摄视觉相机和LED灯带组成，视觉相机负责捕捉高空间分辨率的触觉图像，而LED灯带则为接触模块内部提供稳定且一致的照明。

驱动模块则通过安装在指尖骨架两侧的轴承和肌腱机构，为指尖的旋转提供必要的扭矩。

接触模块由指尖骨架、透明窗口、窗口盖、软质透明填充材料、标记物和皮肤表面等多个组件组成。

全 3D 打印触觉指尖的构造和设计。（A）侧视图。（B）分解图。（C）触觉指尖的打印和构造。唯一的手工制造是将视觉相机板插入指尖顶部

指尖骨架上集成了齿轮配合区，与第二指骨形成紧密的齿轮副。感知和驱动模块也巧妙地安装在指骨骨架上，并通过两侧的螺栓进行固定。视觉相机和相机板则稳稳地固定在指尖的顶部。

当外部接触传递到皮肤表面时，位于指尖垫处的皮肤表面会将外部接触转化为内部变形，进而根据TacTip设计将附在针上的标记移动到其内表面。这些移动被相机捕捉并转化为触觉图像。同时，黑色外皮表面和窗口盖有效地隔离了外部光线的干扰，有助于产生高质量的触觉图像。而柔软透明的填充物则增加了表面的变形范围，同时提供内部支撑并帮助重置其变形。刚性透明窗口则用于支撑透明填充物并折射来自LED灯带的光线。

触觉指尖的制作

触觉指尖的感知和驱动模块组件均可廉价购买，而其余组件则全部采用多材料3D打印技术生产。这一创新使得接触模块的整个组装过程变得极为高效，接触模块组件的整个组装，包括软黑色不透明表面（软 agilus 材料）、硬白色标记（硬 verowhite 材料）、软透明填充物（软 agilus 透明与支撑材料混合）、硬透明窗口（硬 veroclear 材料）、硬黑色不透明窗口盖和硬白色骨架（硬 verowhite 材料），都可以作为一个单一组件整体成型，无需任何其他后续制造工艺。

处理模块示意图和触觉反馈抓取控制流程图，用于通过人体手势以开环方式控制手，通过触觉反馈以闭环方式控制手

这一新功能在组装和制造的可重复性方面具有显著优势。在早期版本的TacTip中，打印后需要进行多个繁琐的后续步骤才能使用。而通过使用这项新技术，研究团队可以快速生产出触觉指尖，从设计到应用仅需1小时的时间。

这一巨大进步是通过引入一项创新实现的：将支撑材料与Agilus材料混合以打印透明填充物。这一创新在保持其透明度的同时，还可以通过改变支撑材料的比例来调整其硬度。以前，打印机提供的纯Agilus材料的硬度过高，无法用作软填充物。而现在，这种混合材料的应用使得打印过程更加灵活和高效。

触觉定位模型

通过感知模型获得的视觉图像会进一步通过相应的触觉模型进行处理。在这里，研究团队主要关注的是预测和使用接触区域及其中心点，并将这些点集成到机器人手部控制中。他们采用了一系列先进的图像处理技术，包括图像预处理、标记检测和接触区域估计等步骤来实现这一目标。

D 型、P 型和 A 型手指在驱动和拮抗电机的不同控制输入下的手势

首先，相机拍摄的图像会被裁剪到标记可见的区域，并进行二值化处理以突出标记。然后采用Hessian行列式(DoH)估计方法进行标记检测，以识别图像中的白色标记。最后通过分析局部标记密度来推断接触区域的位置，并计算该区域内的最低密度点以找到接触面积的中心。这一系列的创新设计和先进技术使得研究团队成功开发出了完全集成的触觉指尖，可为机器人手部提供更加精确和灵敏的触觉感知能力。

▍触觉反馈抓握系统开发

为了简化控制复杂性并增强抓握能力，研究团队为Tactile SoftHand-A开发了先进的触觉反馈控制系统。这一系统能够模仿人类手势，并在接触时利用触觉反馈信息自动调整抓握手势，从而实现了与环境的智能互动。

该触觉反馈控制系统由四个主要组件构成：人类手势、PC、电机控制器和Tactile SoftHand-A。它通过将各种手势转换为控制命令来运行，实现了对机械手的精确操控。PC负责处理外部视觉相机捕捉到的人手原始图像以及Tactile SoftHand-A指尖的触觉图像，并利用手势和触觉模型将这些图像转换为电机控制参数，进而通过UART串行通信传输到电机控制器。电机控制器则利用PID控制来调节两个伺服电机的转动，使Tactile SoftHand-A能够与周围环境进行灵活互动。

在实验阶段，研究团队分别实施了开环和闭环控制策略来验证Tactile SoftHand-A的性能。在开环控制策略下，他们通过观察不同手指在相同电机输入下的手势，评估了不同拮抗肌腱布局对手指手势的影响，并展示了Tactile SoftHand-A对物体形状的适应性和执行各种抓握手势的能力。

而在闭环控制策略下，研究团队开发了一种集成触觉和拮抗肌腱机制的触觉反馈抓握控制系统。该系统通过触觉反馈调整Tactile SoftHand-A的抓握手势，有效防止了物体的滑落。当Tactile SoftHand-A指尖的触觉传感器未检测到接触时，它会与人类手势同步；一旦检测到接触，系统就会切换到触觉反馈闭环控制，并根据触觉模型检查滑落情况，及时调整抓握姿势以防止物体滑动。

这一创新的人机引导控制方案不仅简化了机械手的控制复杂性，还提高了其抓握能力和环境适应性，为未来的机器人技术和人机交互领域提供了新的思路和发展方向。

<strong style="color: rgb(60, 150, 156); font-family: system-ui, -apple-system, BlinkMacSystemFont, " helvetica="" neue",="" "pingfang="" sc",="" "hiragino="" sans="" gb",="" "microsoft="" yahei="" ui",="" yahei",="" arial,="" sans-serif;="" font-size:="" 16px;="" letter-spacing:="" 0.544px;="" text-wrap:="" wrap;="" background-color:="" rgb(255,="" 255,="" 255);="" outline:="" 0px;"="">▍性能测试

为了全面评估这一创新设计，研究团队设计了四个不同的实验，以检验新型手指与对抗机制相结合在控制机械手手势、自适应抓取能力以及人手引导的触觉反馈抓取能力方面的表现。

实验中，Tactile SoftHand-A展现了其出色的性能和功能。

实验A通过对比D型、P型和A型手指的关节可控性，验证了驱动肌腱和拮抗肌腱的协调控制效果。实验结果显示，D型和P型手指的DIP和PIP关节具有良好的可控性，而A型手指由于拮抗肌腱布局无法分离关节，但仍用于与其他类型手指进行比较。