本发明涉及机器人视觉技术领域，具体涉及一种智能机器人视觉自动化抓取系统。

背景技术：

机器人手臂大量运用与工业生产，大大提高了产业效率，节约了资源。仿人服务机器人也在特殊行业得到很大发展，对于服务机器人的运用来说，其抓取识别系统是主要关键。基本原理是同过视觉识别产品轮廓获得物体位置与抓取位置控制机械手臂内的伺服电机去完成抓取动作。

机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。正是由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。

目前的机器人视觉抓取系统中，视觉传感器能直观反映物体的外部信息，但单个摄像头只能获得物体的二维图像，立体视觉虽能提供三维信息，但对于外形相同，仅深度有差别的物体难以识别包括带有孔、槽或阶梯状的待夹取工件。

技术实现要素：

解决的技术问题

针对现有技术的不足，本发明提供了一种智能机器人视觉自动化抓取系统，解决了现有的视觉系统对于外形相同，仅深度有差别的物体难以识别的问题。

技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种智能机器人视觉自动化抓取系统，包括上位机、机器人、执行终端和工件，还包括工件图像获取系统和工件深度获取系统，所述工件图像获取系统和工件深度获取系统分别设置在执行终端的前端，且分别与上位机进行数据通信，所述上位机可实时显示工件图像获取系统的采集画面。

更进一步地，所述工件图像获取系统包括CCD双目相机、图像采集卡和光源，所述CCD双目相机固定在执行终端上，图像采集卡通过RS232串口电缆与上位机相连，光源选用LED环形光源。

更进一步地，所述工件深度获取系统包括超声波收发探头和单片机系统，所述单片机系统与上位机采用无线串口通信，将超声距离信息发送至上位机。

更进一步地，所述机器人通过执行终端抓取工件包括以下操作步骤：

S1：图像预处理；

S2：通过区域处理求矩的方法确定工件的形心坐标；

S3：精确确定工件的轴向，使机械手能以正确的姿态抓取物体；

S4：引导机械手到达待测点，对工件深度进行测量，建立工件场景的三维信息；

S5：进行图像分割，并融合视觉信号与超声信号，可得到较完整的工件信息进行特征计算，获得工件在三维空间内的精确姿态；

S6：建立与CCD双目相机关联的世界坐标系，并控制机械手进行工件抓取。

更进一步地，所述图像预处理中，依次包括图像畸变矫正、图像边缘提取和周线跟踪，提取物体图像边缘后，采用周线跟踪进行边缘细化，去除伪边缘点及噪声点，并对组成封闭曲线的边缘点进Freeman编码，记录每一条链码方向和曲线上各点的X-Y坐标值。

更进一步地，所述执行终端设有传感器系统，用于对执行终端动作进行监控并反馈给机器人控制器，所述机器人控制器外部连接有语音警示模块。

更进一步地，所述超声波收发探头为了提高检测精度，在接收单元电路中，采用可变阈值检测、峰值检测、温度补偿和相位补偿。

有益效果

本发明提供了一种智能机器人视觉自动化抓取系统，与现有公知技术相比，本发明的具有如下有益效果：

1、通过在机械手的执行前端上设置工件图像获取系统和工件深度获取系统，融合二维图像信息与深度信息进行工件识别与抓取的方法，可准确对物体进行识别与定位，具有算法简单、计算量小、实时性好、可靠性高等特点，可为机器人与环境交互提供物体形状、类别及大小等信息，使机器人装配作业能适应各种复杂的环境与工艺过程，对实现工业生产过程的自动化、柔性化、智能化有良好的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统结构示意图；

图2为本发明的执行终端抓取工件流程示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

本实施例的一种智能机器人视觉自动化抓取系统，参照图1：包括上位机、机器人、执行终端和工件，还包括工件图像获取系统和工件深度获取系统，工件图像获取系统和工件深度获取系统分别设置在执行终端的前端，且分别与上位机进行数据通信，上位机可实时显示工件图像获取系统的采集画面。

工件图像获取系统包括CCD双目相机、图像采集卡和光源，CCD双目相机固定在执行终端上，图像采集卡通过RS232串口电缆与上位机相连，光源选用LED环形光源。

工件深度获取系统包括超声波收发探头和单片机系统，单片机系统与上位机采用无线串口通信，将超声距离信息发送至上位机。

参照图2：机器人通过执行终端抓取工件包括以下操作步骤：

S1：图像预处理；

S2：通过区域处理求矩的方法确定工件的形心坐标；

S3：精确确定工件的轴向，使机械手能以正确的姿态抓取物体；

S4：引导机械手到达待测点，对工件深度进行测量，建立工件场景的三维信息；

S5：进行图像分割，并融合视觉信号与超声信号，可得到较完整的工件信息进行特征计算，获得工件在三维空间内的精确姿态；

S6：建立与CCD双目相机关联的世界坐标系，并控制机械手进行工件抓取。

在S3中确定工件的轴向时，对于一些简单形状的物体,可采用如下简单轴向估计算法：a.确定物体的形心坐标；b.确定物体边缘轮廓闭合曲线前半段中离物体形心最近的点,用最小二乘法估算该点的切线方向,设其与图像平面X轴正方向夹角为α1；c.用同样方法确定下半段曲线中对应的切线方向α2；d.物体轴向可粗略估计为θ＝(α1+α2)/2；该算法仅对物体边缘轮廓点进行处理,使运算时间大为减少。

图像预处理中，依次包括图像畸变矫正、图像边缘提取和周线跟踪，提取物体图像边缘后，采用周线跟踪进行边缘细化，去除伪边缘点及噪声点，并对组成封闭曲线的边缘点进Freeman编码，记录每一条链码方向和曲线上各点的X-Y坐标值。

工件图像边缘的提取，仅利用一个灰度阈值无法提取有意义的边缘。因此采用Sobel算子提取边缘，不仅实现容易、运算速度快，而且可提供最精确的边缘方向估计。Sobel算子由两个3×3相差90°的算子构成，由这两个算子同图像卷积，可得到图像的边缘及其方向。对于数字图像{f(i，j)}，Sobel算子可表示为：

Gx(i，j)＝f(i-1，j-1)+2f(i-1，j)+f(i-1，j+1)-f(i+1，j-1)-2f(i+1，j)-f(i+1，j+1)；

Gy(i，j)＝f(i-1，j-1)+2f(i，j-1)+f(i+1，j-1)-f(i-1，j+1)-2f(i，j+1)-f(i+1，j+1)。

采用G1＝|Gx|+|Gy|得到梯度幅值后，为减少所抽取的边缘数目，可设置一个幅度门限，即只考虑对应灰度变化较大的那些边缘。再利用边缘点具有局部幅度最大的特点，将边缘细化。

执行终端设有传感器系统，用于对执行终端动作进行监控并反馈给机器人控制器，机器人控制器外部连接有语音警示模块。

超声波收发探头为了提高检测精度，在接收单元电路中，采用可变阈值检测、峰值检测、温度补偿和相位补偿。

工作原理：CCD双目相机获取的物体图像经处理后，可提取对象的某些特征，如物体的形心坐标、面积、曲率、边缘、角点及短轴方向等。根据这些特征信息，可得到对物体形状的基本描述，在图像处理的基础上，由视觉信息引导超声波传感器对待测点的深度进行测量，获取物体的深度信息，或沿工件的待测面移动，超声波传感器不断采集距离信息，扫描得到距离曲线，根据距离曲线分析出工件的边缘或外形。计算机将视觉信息和深度信息融合推断后，进行图像匹配、识别，并控制机械手以合适的位姿准确地抓取物体。

通过在机械手的执行前端上设置工件图像获取系统和工件深度获取系统，融合二维图像信息与深度信息进行工件识别与抓取的方法，可准确对物体进行识别与定位，具有算法简单、计算量小、实时性好、可靠性高等特点，可为机器人与环境交互提供物体形状、类别及大小等信息，使机器人装配作业能适应各种复杂的环境与工艺过程，对实现工业生产过程的自动化、柔性化、智能化有良好的应用前景。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

1.一种智能机器人视觉自动化抓取系统，包括上位机、机器人、执行终端和工件，其特征在于，还包括工件图像获取系统和工件深度获取系统，所述工件图像获取系统和工件深度获取系统分别设置在执行终端的前端，且分别与上位机进行数据通信，所述上位机可实时显示工件图像获取系统的采集画面。

2.根据权利要求1所述的一种智能机器人视觉自动化抓取系统，其特征在于，所述工件图像获取系统包括CCD双目相机、图像采集卡和光源，所述CCD双目相机固定在执行终端上，图像采集卡通过RS232串口电缆与上位机相连，光源选用LED环形光源。

3.根据权利要求1所述的一种智能机器人视觉自动化抓取系统，其特征在于，所述工件深度获取系统包括超声波收发探头和单片机系统，所述单片机系统与上位机采用无线串口通信，将超声距离信息发送至上位机。

4.根据权利要求1所述的一种智能机器人视觉自动化抓取系统，其特征在于，所述机器人通过执行终端抓取工件包括以下操作步骤：

S1：图像预处理；

S2：通过区域处理求矩的方法确定工件的形心坐标；

S3：精确确定工件的轴向，使机械手能以正确的姿态抓取物体；

S4：引导机械手到达待测点，对工件深度进行测量，建立工件场景的三维信息；

S5：进行图像分割，并融合视觉信号与超声信号，可得到较完整的工件信息进行特征计算，获得工件在三维空间内的精确姿态；

S6：建立与CCD双目相机关联的世界坐标系，并控制机械手进行工件抓取。

5.根据权利要求4所述的一种智能机器人视觉自动化抓取系统，其特征在于，所述图像预处理中，依次包括图像畸变矫正、图像边缘提取和周线跟踪，提取物体图像边缘后，采用周线跟踪进行边缘细化，去除伪边缘点及噪声点，并对组成封闭曲线的边缘点进Freeman编码，记录每一条链码方向和曲线上各点的X-Y坐标值。

6.根据权利要求1所述的一种智能机器人视觉自动化抓取系统，其特征在于，所述执行终端设有传感器系统，用于对执行终端动作进行监控并反馈给机器人控制器，所述机器人控制器外部连接有语音警示模块。

7.根据权利要求2所述的一种智能机器人视觉自动化抓取系统，其特征在于，所述超声波收发探头为了提高检测精度，在接收单元电路中，采用可变阈值检测、峰值检测、温度补偿和相位补偿。