首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >北京现代工厂案例:利用智能相机解决机器人精确抓取问题

北京现代工厂案例:利用智能相机解决机器人精确抓取问题

作者头像
机器人网
发布于 2018-04-20 08:04:07
发布于 2018-04-20 08:04:07
8510
举报
文章被收录于专栏:机器人网机器人网

北京现代拥有3 座整车生产工厂、3 座发动机生产工厂和1 座承担自主研发的技术中心。北京现代拥有近300 台机器人,分别应用在车身焊接、车身冲压、发动机组装、涂装等各种关键工位中。公司依靠先进的自动化制造装备,保障100%焊接与运输自动化率,100%自动化冲压生产,确保车身焊接质量与车身强度。

在发动机生产工厂,汽车发动机的缸体搬运工作是由韩国现代公司制造的机器人来进行。在引导机器人进行缸体搬运时,采用的是由韩方定制的工业相机+视觉软件的方式。在生产过程中,遇到了棘手问题,主要是:相机拍照一次检测不成功,需要多次拍照才有可能检测成功,影响了工作效率。因此,北京现代决定进行技术改造,以实现机器人对缸体的高效精确抓取。

在改造时,这个问题一直困扰着北京现代的技术人员。在应用现场,缸体是码放在一层层的拖盘上,每隔一层缸体码放的方向不同(如图1 所示)。由于缸体只有一个抓取位置(如图2 所示),所以机器人在抓取时,会自动将爪具旋转0 度、90 度、180 度或270 度,然后根据每层托盘上每个缸体的大概位置去拍照抓取,同时相机也会跟着爪具进行旋转。这样,得到的图像都是一个方向的,而相机却跟着机器人改变了拍照方向,这直接影响了抓取的准确性。

图1

图2

因此,要成功实现技改,就要搬掉这个拦路虎,北京现代的技术人员详细分析了迫切需要解决的两个技术难点。

第一:机器人坐标系与图像坐标系的对应关系(N 点校准)。

从理论上来说,如果机器人旋转0 度、90 度、180 度或270 度时的旋转中心是一致的,那么,就可以只针对0 度时的坐标对应关系做N 点Calibrate,其他三个角度时的坐标系对应只是象限不一样。

1)机器人坐标系与图像坐标系都是0 度时,两个坐标系是重合的(如图3 所示)。这时,在做完N 点Calibrate 后,机器人坐标与图像坐标可直接一一对应。 2)机器人坐标分别旋转90 度、180 度和270 度时,图像坐标系虽然没有改变,但是却与机器人坐标系的其他象限有了对应关系(如图4、图5、图6 所示)。 3)如果机器人的旋转中心是一样的,就可以得到一个拟合圆(如图7 所示)。

图3

图4

图5

图6

图7

需要注意的是:机器人在抓取位置旋转四个方向拍照时,必须是以同一固定点为圆心进行旋转,只有这样四个方向(象限)的点才能对应起来,这时只要在一个方向做9 点标定即可。否则,如果机器人在抓取位置旋转四个方向拍照时,不是以同一点为圆心进行旋转,那每个方向(象限)都要重新做9 点标定,因为每个方向的点是不能对应。

最终经过确认,机器人夹具在旋转0 度、90 度、180 度和270 度时的旋转中心很难保持一致,所以只校准一次并对应象限的方法就不能使用了。这样,四个角度时都要分别做N 点Calibrate。

第二:拍照后,必须确定图像特征的旋转中心的偏移量,图像特征旋转中心与偏移量的和,必须与机器人夹具的旋转中心保持一致,否则抓取时就会产生很大误差。

为解决技术改造中遇到的这些难点,并选择一个令人信任的技术解决方案,北京现代的技改部门在综合比较技术实力、产品性价比、售后服务能力和服务质量等多种考虑下,决定选择机器视觉领域内的领军企业——康耐视公司。

虽然康耐视In-Sight 产品支持多种工业通讯协议,但是在本次应用中与机器人只是采用最简单的RS-232 串口通讯方式(见图10)。

图8

在现场,机器人有两个位置比较重要,一个是拍照位置,另一个是抓取位置,这两个位置都有固定坐标。对关键的图像定位问题,康耐视In-Sight 产品有其创新的解决方案。

1)得到基准模型图像。机器人由拍照位置走到抓取位置,然后把缸体移到夹具正好能够正确抓到的位置,这个位置就是抓取的基准位置。固定好缸体后,机器人从抓取位置回到照相位置,然后进行拍照,得到的这张图像就可以作为基准模型图像。

2)得到两张抓取位置旋转某个角度的图像。在得到基准模型图像后,机器人由拍照位置再走到抓取位置,抓住缸体逆时针或顺时针旋转某个角度(例如CCW-10 度或CW-10 度),然后松开缸体,再回到拍照位置进行拍照,得到第二张图像。同样再按此步骤操作得到第三张图像。

3)得到这三张图像后,就可以在这三张图像上用PatMax 工具查找同一特征点,根据得到的三个点就可以拟合出一个圆,这个圆的圆心坐标就是机器人夹具的旋转中心。

具体如图9、图10 所示。

图9

图10

In-Sight 相机与机器人实现了完美的无缝配合,具体工作过程如下。

1)工件分层码放在旁边,每次只将一层工件放到拍照与抓取位置(如图11 所示)。

图11

2)机器人在拍照前会事先知道这一层是如何摆放的。每个工件的拍照位置都是在机器人程序中事先设置好的。例如:抓取工件(0 度)时,机器人不需要旋转,直接到拍照位置进行拍照后抓取。在抓取工件(180 度)时,机器人会自动旋转180 度,然后再到拍照位置进行拍照后抓取。同理,下一层的工件是以90 度和270 度进行摆放的。

3)机器人到达拍照位置后,首先向相机发送START1,让相机进行拍照检测。如果定位成功,相机给机器人返回OK。机器人在收到OK 后,再向相机发送SHIFT8。相机再把定位坐标和角度返回给机器人。如果定位失败,相机给机器人返回NG。机器人会自动微调当前位置,然后再次发送START1,让相机重新拍照。直到检测成功。相机拍照后,会把工件的当前坐标与当初训练的基准抓取位置坐标相减,然后把坐标差值和角度传送给机器人,机器人以当初训练的基准抓取位置坐标为基础进行调整,然后再去抓取工件。

经过一系列的现场测试,北京现代采用康耐视的In-Sight 智能相机后,成功解决了令人挠头的技术难题。“康耐视的PatMax 工具提出了视觉行业最佳的定位算法,即使在比较复杂的情况下也能提供非常准确的定位。而且还提供了非常丰富的通讯方式,便于集成到现有系统中。”北京现代保全部的沈剑表示。

他对In-Sight 智能相机的表现给出了极高的评价,“经过改造后,机器人工作很流畅,且抓取都很准确,几乎没有定位不到的情况。在调试过程中,PatMax 工具的优越性得到了淋漓尽致的体现,我们非常满意。”

沈剑最后表示,在现场还有四台现代机器人,情况与被改造工位很相似。“在这台机器人调试完毕时,我们就已经开始准备改造其他四台机器人的视觉系统了。”

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2015-11-12,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器人网 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
基于 AMFITRACK 的机器人末端高精度追踪控制方案
在智能制造、柔性装配、人机协作等机器人应用场景中,末端执行器(End Effector)位姿的高精度实时反馈是实现精密控制、误差补偿与示教编程的关键技术环节。
Scivaro_科采通
2025/07/16
840
基于 AMFITRACK 的机器人末端高精度追踪控制方案
【手眼标定篇】九点标定
4点法、9点法、N点法都可以将图像坐标与机械手坐标联系起来。综合考虑调试难度、标定精度等因素,9点法标定是工业上使用广泛的二维手眼标定,常用于从固定平面抓取对象进行装配等工业应用场景。
threeQing
2021/06/15
18.8K0
【手眼标定篇】九点标定
相机标定——张正友棋盘格标定法
其中,R为旋转矩阵,t为平移向量,因为假定在世界坐标系中物点所在平面过世界坐标系原点且与Zw轴垂直(也即棋盘平面与Xw-Yw平面重合,目的在于方便后续计算),所以zw=0,可直接转换成式1的形式。其中变换矩阵
全栈程序员站长
2022/08/24
7.6K0
相机标定——张正友棋盘格标定法
四轴平面机器人的手眼标定
在实际的机器人应用中,通常会给机器人配备视觉传感器,视觉传感器用于感知周围环境。但是,通过视觉传感器获取的场景坐标是基于视觉坐标系下的,机器人并不能直接使用,要获取机器人可以直接使用的坐标信息,必须将坐标转换到机器人坐标系下。因此,机器人手眼标定的目的是为了获取从视觉坐标系转换到机器人坐标系的转换矩阵。 机器人手眼标定问题可以分为两类:
全栈程序员站长
2022/08/28
1.1K0
四轴平面机器人的手眼标定
机器视觉-相机内参数和外参数
一句话就是世界坐标到像素坐标的映射,当然这个世界坐标是我们人为去定义的,标定就是已知标定控制点的世界坐标和像素坐标我们去解算这个映射关系,一旦这个关系解算出来了我们就可以由点的像素坐标去反推它的世界坐标,当然有了这个世界坐标,我们就可以进行测量等其他后续操作了~上述标定又被称作隐参数标定,因为它没有单独求出相机的内部参数,如相机焦虑,相机畸变系数等~一般来说如果你仅仅只是利用相机标定来进行一些比较简单的视觉测量的话,那么就没有必要单独标定出相机的内部参数了~至于相机内部参数如何解算,相关论文讲的很多~
小白学视觉
2022/02/14
1.1K0
机器视觉-相机内参数和外参数
手眼标定_全面细致的推导过程
第一步:眼睛观察到三维世界,并将其转换到视网膜平面(三维空间转换到二维平面)传送信息给大脑;
小白学视觉
2020/07/09
5.2K0
手眼标定_全面细致的推导过程
基于RGB-D相机的机械臂无序抓取系统
利用奥比中光科技集团股份有限公司提供的Zora P1开发板、 RGBD相机,以及深圳大学物理与光电工程学院智能光测研究院提供的川崎机器人(6轴)开发出了一款RGB-D相机结合机械臂对任意摆放的复杂加工零件的三维重建及无序抓取系统。
3D视觉工坊
2021/01/28
2.2K0
基于RGB-D相机的机械臂无序抓取系统
如何实现智能视觉测量系统-为什么原木智能检尺需要高精度3D相机
智能视觉测量是指用计算机视觉技术实现对物体的尺寸测量,它在工业、林业、物流等领域有重要的应用。一般做法是用相机或激光雷达对物体拍照/扫描,然后识别图像中的待测量物体,得到其边界或形状信息,最后在坐标系中计算物体的尺寸。本文将以原木智能检尺(直径测量)为例,介绍智能视觉测量系统的技术原理,以及需要解决的难点问题。
SIGAI学习与实践平台
2023/10/16
9530
如何实现智能视觉测量系统-为什么原木智能检尺需要高精度3D相机
3D视觉技术在机器人抓取作业中的应用实例
摘要:近年来,机器人自动化领域越来越多地应用3D视觉技术对目标物体进行定位。本文主要研究3D视觉技术在机器人抓取作业中的应用,总结了3D视觉技术在识别、定位物体时面临的挑战,给出了抓取作业机器人3D视觉系统的设计方法,归纳了现有的3D表面成像方法和视觉处理算法,最后给出一个结合3D视觉技术对白色抽屉纸盒进行抓取分拣的实际应用案例。
小白学视觉
2019/11/14
3.4K0
工业机械臂(机器人)视觉定位引导系统
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 计算机视觉研究院专栏 作者:Edison_G 随着工业的发展,在生产中对自动化的要求越来越高,视觉技术已被广泛引入工业(工业机械臂)机器人行业,具备视觉的工业(工业机械臂)机器人能更快、更准、更灵活地完成定位抓取、对位组装等。 1 概括 ‍ 基于图像分析的视觉技术在(工业机械臂)机器人引导相关应用中的主要作用是精确获取对象物(待抓取物体)和目标物(待组装物体)的坐标位置和角度
计算机视觉研究院
2022/06/13
1.7K0
工业机械臂(机器人)视觉定位引导系统
3D深度视觉与机械臂无序抓取
今天我记录使用myCobot320 M5跟FS820-E1深度相机进行一个无序抓取物体的分享。
大象机器人
2023/05/04
1.9K0
3D深度视觉与机械臂无序抓取
3D线激光成像数学模型简析与实现
点云的获取方式有多种,比如三维成像传感器、Lidar激光探测与测量、逆向工程等... 对于寻常百姓家,后2者的成本是十分昂贵的,所以我们可以尝试玩一下自己搭建三维成像传感器中的一种——3D线激光,一个单目相机,一个激光足矣。
计算机视觉
2021/09/17
1.5K0
3D线激光成像数学模型简析与实现
重磅!大象机器人发布第二代人工智能套装,深度学习协作机器人、先进机器视觉与应用场景,人工智能实验室与职业教育必备
2023 年1月18日,工业和信息化部、教育部等十七部门印发《“机器人+”应用行动实施方案》(以下简称《方案》)。
大象机器人
2023/02/03
1K0
遮挡重叠场景下|基于卷积神经网络与RoI方式的机器人抓取检测
抓取物体堆叠和重叠场景中的特定目标是实现机器人抓取的必要和具有挑战性的任务。在本文中,我们提出了一种基于感兴趣区域(RoI)的机器人抓取检测算法,以同时检测目标及其在物体重叠场景中的抓取。我们提出的算法使用感兴趣区域(RoIs)来检测目标的分类和位置回归。为了训练网络,我们提供了比Cornell Grasp Dataset更大的多对象抓取数据集,该数据集基于Visual Manipulation Relationship Dataset。实验结果表明,我们的算法在1FPPI时达到24.9%的失误率,在抓取我们的数据集时达到68.2%的mAP。机器人实验表明,我们提出的算法可以帮助机器人以84%的成功率掌握多物体场景中的特定目标。
3D视觉工坊
2020/12/11
2.5K0
遮挡重叠场景下|基于卷积神经网络与RoI方式的机器人抓取检测
水星Mercury X1轮式人形机器人结合openc算法&STag标记码视觉系统实现精确抓取!
本案例展示了如何利用视觉系统提升机械臂的抓取精度,成功实现了人形机器人的双臂抓取不在局限于单臂抓取。
大象机器人
2024/08/12
2330
水星Mercury X1轮式人形机器人结合openc算法&STag标记码视觉系统实现精确抓取!
一文读懂视觉传感器的工作原理、应用和选型
视觉传感技术是传感技术七大类中的一个,视觉传感器是指通过对摄像机拍摄到的图像进行图像处理,来计算对象物的特征量(面积、重心、长度、位置等),并输出数据和判断结果的传感器。视觉传感器是整个机器视觉系统信息的直接来源,主要由一个或者两个图形传感器组成,有时还要配以光投射器及其他辅助设备。视觉传感器的主要功能是获取足够的机器视觉系统要处理的最原始图像。
小白学视觉
2022/09/28
1.1K0
AGV智能引导系统八大品牌排行榜!2025年工业级导航方案深度横评
在新能源汽车焊接车间,AGV定位偏移0.5mm会使焊枪损毁率激增300%;在3C电子洁净厂房,5cm的导航偏差可导致精密元件碰撞报废率上升45%。工业级引导系统正是解决这些隐形成本的核心技术。本文基于200+工厂实测数据,解析8大主流系统的真实性能边界。
用户11696116
2025/07/07
1080
简述:机器人BEV检测中的相机-毫米波雷达融合
论文:Vision-RADAR fusion for Robotics BEV Detections: A Survey
一点人工一点智能
2023/10/21
9090
简述:机器人BEV检测中的相机-毫米波雷达融合
讲讲机器视觉引导类有关应用总结(包括标定)
机器视觉引导类有关应用总结(包括标定) 1、机器人座标系 定位引导方法 单相机引导: 1)Stdx Stdy的方法及适用性:取料前调整姿态;相机固定安装或装在机器人上,先拍照后取料; 2)旋转
苏州程序大白
2021/08/13
1.1K0
讲讲机器视觉引导类有关应用总结(包括标定)
工业视觉引导基础及项目评估流程
• 产品对位一个产品固定,另一产品由机械手/模组带着移动,相机分别得到两组产品的位置,计算对位的坐标。
苏州程序大白
2021/08/13
8360
工业视觉引导基础及项目评估流程
推荐阅读
相关推荐
基于 AMFITRACK 的机器人末端高精度追踪控制方案
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档