JTO机器人系统解决方案：通过识别摄像头拍摄的手势来操控机器人

Japan Technology Observer 日本科技观察

JTO机器人系统解决方案

我们依托于工业机器人领域合作伙伴的软硬件技术支持，结合意展工业设计有限公司（CONNXDEGIGN）多年深耕于工程制造业领域所得的知见，对工业企业用户进行机器人系统导入，设计以及构筑提出整体方案。我们希望作为机器人领域系统集成商实现自身商业目标的同时，力图能在语言表达上做到下里巴人，案例以及产品介绍上抛砖引玉。传播机器人以及人工智能，ICT，IoT等相关领域知识，为工程科学的普及起到一些小作用。客户服务微信ID：ryusisei

通过识别摄像头拍摄的手势

并由此来操控机器人的基本动作

该系统由

AI系统和机器人操控

2个部分构成

AI系统部分

对摄像头拍摄的图像进行解析

以此完成对图像中的手势的识别

机器人操控部分

是接收识别出的手势信息

然后将对应的动作

向机器人发出指令

机器人操控与AI系统

是各自完全的独立动作

通过无线通信的方式

互相传达信息

AI模型中使用了

ResNet50进行图像分类

将ImageNet的学习数据

转用至机器人操控的学习中

用Fine Turning方式

训练手势识别数据库

此处使用的AI模型

是由3200万参数的神经网络构成

如果使用搭载

GeForce GTX 1080 Ti的PC

进行CPU处理

20ms就可以处理识别一轮手势数据

因为能够进行如此迅速的识别

所以基本可以实时的操控机器人

另外应用系统中为了

可以搭载更轻巧便宜的Raspberry Pi 3

对AI模型进行了轻便改造

压缩了1/10左右的参数（330万参数）

但是即使Raspberry Pi

没有前述GPU那样庞大的处理能力

Raspberry Pi也可以达到

1秒完成1轮的处理速度

虽然无法完成实时对接

但是可以广泛的应用于

不要求应答速度的各种系统

AI系统使用了由7万张手部图像

（学习:检验=6:4）构成的数据库

学习后的数据验证正确率达到了96%以上

但是因为使用的数据库图片

是由3名成年男性的手部照片构成

对儿童和女性的手部识别率还是相对较低

这是因为

使用于现行AI系统的

数据库相对特定

也就是说对未学习过的

手势的应用还比较困难

为了改善此缺点

需要将数据库中包含的

冗长数据（或相似数据）删除

并且新增大小形状颜色等

具有多数差异化的

手势和嵌入各种背景中的手势

进行进一步的学习

具体服务内容

潜在需求发掘，明确课题，解决方案提出；

从计划导入机器人到实际运用全盘规划，项目管理；

根据业务工作内容的不同需求来推荐机器人主机；

根据业务工作内容以及目的来设计机器人主机（机器手），的运动轨迹，生产线构建等从全面的角度进行设计；

分析导入机器人系统可能导致的风险点，根据安全安检要求， 来设置安全栅栏等保证安全的器械装置；

重新审视导入机器人的工段工序前后周边部分，对前后周边工段工序的工作内容进行合理化建议。让机器人能发挥更大作用，最终提高生产效率；

控制机器人的控制程序以及必要的传感器进行进一步的优化设计。

相关往期文章回顾