[成功案例] 齐轩智能无序分拣机器人

d视觉技术已经应用于制造业当中，通过d视觉定位识别物体并引导机器人抓取，实现无序工件的分拣、上下料、装配和拆码垛任务。在实际操作过程中，视觉软件系统起着重要作用，是连接d相机和机器人控制系统的重要桥梁。 目前，市场上d视觉公司开发的视觉控制软件专业性非常强，更适合专业的视觉工程师使用，需要了解复杂的图像处理算法，需要具备一定的专业知识。常见的视觉控制软件系统的缺陷在于：一方面，专业性很强，需要专业的技术人员使用，对于工厂的普通工人学习成本非常高，很难大规模推广应用；另一方面，易用性很低，即使是专业的技术人员，创建一项任务也需要很长的调试时间，影响生产效率。 我们研发了一种基于d视觉的无序堆叠工件抓取系统及交互方法，提升视觉软件系统的易用性，降低终端用户的使用门槛和学习成本，缩短创建无序工件抓取任务的时间。 基于d视觉的无序堆叠工件抓取机器人特征包括： 图像采集模块，图像采集模块用于获取工件和场景的深度图像，图像采集模块采用d相机，d相机包括双目d相机、tofd相机、单目结构光d相机、双目结构光d相机； 任务执行模块，任务执行模块用于无序工件的抓取操作，任务执行模块采用机器人，机器人包括直角坐标机器人、圆柱坐标机器人、并联机器人、串联多关节机器人，还包括配合机器人执行任务的多种末端执行器； 信息交互模块，信息交互模块用于在d视觉控制系统中嵌入信息输入接口和信息输出接口；其中，信息输入接口用于接收图像采集模块和任务执行模块的状态信息，以及图像采集模块获取的图像数据信息；信息输出接口用于将任务管理模块处理得到的抓取位姿数据及抓取控制指令发送至任务执行模块，将拍照控制指令发送至图像采集模块； 任务管理模块，任务管理模块用于支持无序工件抓取任务的创建，用于接收用户的输入信息、图像采集模块提供的图像数据信息，并向任务执行模块输出抓取位姿数据及抓取控制指令； 其中，任务管理模块包括：用户交互单元、图形渲染单元、点云计算单元、匹配识别单元、路径规划单元、避障控制单元、数据管理单元； 系统管理模块，系统管理模块用于图像采集模块、任务执行模块的连接状态管理及完成图像采集模块和任务执行模块间的标定工作； 其中，系统管理模块包括：图像采集模块状态监控单元、任务执行模块状态监控单元、相机参数配置单元、手眼标定单元、相机标定单元。 用户交互单元用于用户通过输入设备和流程化的交互界面操作，进行无序抓取任务的创建，包括三维点云模型编辑、工具模型编辑、抓取坐标系编辑、工作区域设置、工件抓取规则设定、运动路径设置以及任务的启停控制；图形渲染单元用于工件或场景的三维点云模型及末端执行器或末端工具模型的显示和编辑；点云计算单元用于将图像采集模块获取的深度图像进行处理，获得工件或场景的三维点云模型；匹配识别单元通过工件三维点云模型与场景的三维点云模型进行匹配，识别场景中的目标工件并计算得到目标工件位姿数据；路径规划单元用于规划机器人末端执行器或末端工具抓取目标工件时进入工作区域和离开工作区域过程中经过的路径点；避障控制单元用于在机器人运动过程中使末端执行器或末端工具避开障碍物；数据管理单元用于管理工件三维点云模型数据、工具模型数据及用户交互单元输入的数据。 图像采集模块状态监控单元用于监控d相机的连接状态；任务执行模块状态监控单元用于监控机器人的连接状态；相机参数配置单元用于调整相机参数，如曝光时间、帧率、增益、伽玛校验、背光补偿、白平衡，使相机采集图像效果达到最佳；手眼标定单元用于获取d相机坐标系和机器人坐标系的关系，将视觉识别的目标工件位姿变换为机器人坐标系中的抓取位姿数据；相机标定单元用于获取d相机的内参、外参和畸变系数，对d相机拍摄的图像进行矫正，消除图像的畸变，同时建立图像坐标系与世界坐标系之间的关系。 一种基于d视觉的无序堆叠工件抓取系统的交互方法，包括以下步骤： 通过任务管理模块提供的任务创建界面，按照任务创建步骤完成无序工件抓取任务创建；用户通过输入设备和交互界面进行无序工件抓取任务的创建，包括三维点云模型创建、抓取坐标系编辑、工具模型编辑、工作区域设置、工件抓取规则设定、运动路径设置和任务启停控制； 其中，信息交互模块的信息输入接口接收图像采集模块获取的待抓取工件深度图像，通过点云计算单元生成工件三维点云模型，通过图形渲染单元的图像显示界面在工件三维点云模型上设置抓取坐标系，带有抓取坐标系的工件三维点云模型通过数据管理单元进行存储； 其中，工件三维点云模型作为场景中工件识别的模板，场景中工件被识别的同时计算得到工件的d位姿，通过工件的d位姿确定机器人末端执行器或末端工具抓取工件时的位姿； 其中，信息交互模块的信息输入接口接收图像采集模块获取的待抓取工件堆叠场景的深度图像，经过点云计算单元生成场景的三维点云模型，通过图形渲染单元的图像显示界面在场景的三维点云模型中设置抓取操作的工作区域，并设置装有工件的料筐的三维线框图来表示工作区域，工作区域外点云将被去除，不用于匹配识别计算，提高匹配识别速度，同时，料筐的三维线框图作为工件抓取过程中的障碍物； 其中，基于图形渲染单元的图像显示界面显示、编辑机器人末端执行器或末端工具模型，用户根据实际使用的机器人末端执行器的类型和尺寸编辑工具模型，该模型用于避障控制单元在工件抓取过程中的避障控制； 其中，基于匹配识别单元，在场景中识别多个可抓取的工件时，根据工件的匹配度得分和工件xyz坐标位置的大小排序来确定工件被抓取的优先级，使抓取任务有序执行； 其中，运动路径设置基于提供的示例程序，在机器人示教器中加载示例程序，移动机器人设置home点、接近点、回撤点、拍照点和目标点，并在程序中记录这些路径点处工具的位姿，机器人末端执行器或末端工具抓取工件时的位姿由路径规划单元计算获得； 在软件界面启动无序工件抓取任务，无序抓取系统处于待命状态，在机器人示教器中启动示例程序，d视觉即可引导机器人执行抓取任务。 进一步地，基于任务管理模块提供的任务创建界面，按照如下任务创建步骤完成无序工件抓取任务的创建： 确定机器人执行抓取任务中的待抓取工件，通过d相机为待抓取工件建立三维点云模型； 确定机器人执行抓取任务中使用的末端执行器或末端工具，设置末端执行器或末端工具模型的类型和尺寸； 确定机器人末端工具抓取工件时的位姿，在工件三维点云模型上设置抓取坐标系； 确定待抓取工件所处的区域，利用场景的三维点云模型构建工作区域； 确定机器人抓取工件的规则，设置场景中被识别工件的抓取优先级； 确定机器人抓取工件的路径，设置机器人运行中经过的home点、接近点、回撤点、拍照点和目标点； 启动任务，d相机引导机器人执行工件抓取任务。 进一步地，三维点云模型的获取方法为： 将待抓取工件或装有工件的料筐置于d相机视野正中央； 用户在任务创建界面中触发创建三维点云建模指令； d视觉软件系统发送指令给d相机，d相机触发拍照，获取待抓取工件或者装有工件的料筐的深度图像，并传输至点云计算单元； 点云计算单元处理深度图像生成三维点云模型，通过图形渲染单元显示在软件界面图像显示区。 进一步地，通过三维点云模型确定抓取坐标系的步骤为： 点云计算单元生成待抓取的工件三维点云模型，经过图像渲染单元显示在软件界面的图像显示区； 用鼠标点击工件三维点云模型相应位置作为抓取点，建立抓取坐标系，用鼠标拖动旋转、平移抓取坐标系粗调位姿，位姿数值实时显示在界面中； 在界面中，通过改变位姿数值大小来微调抓取坐标系位姿，调整到合适数值后锁定位姿。 进一步地，避障控制单元在工件抓取过程中的避障控制过程为： 根据机器人末端执行器或末端工具类型，选择相应的工具模型，工具模型显示在图像显示区；根据实际工具的尺寸，通过键入数值调整工具模型的尺寸，同时通过鼠标点击工具模型的相应部位确定tcp的位置，建立工具模型坐标系，通过改变数值大小微调工具模型坐标系，并与机器人工具坐标系关联； 在图像显示区同时显示工具模型和工件三维点云模型，在d视觉软件界面触发对齐指令，将工具模型坐标系与工件抓取坐标系自动对齐； 目标场景的三维点云模型显示在d视觉系统软件界面的图像显示区，用鼠标框选、拖拽生成三维线框图，调整三维线框图尺寸，使其与料筐内壁尺寸一致； 匹配识别单元利用工件三维点云模板识别场景中的工件，确定工具模型在抓取点处的位姿； 路径规划单元规划出接近点与抓取点、抓取点与回撤点间的运动路径，工具模型按照规划的路径运动，避障控制单元监测工具模型与料筐的三维线框图之间的位置关系，保证规划的运动路径中无碰撞发生。 进一步地，还包括一工控设备，工控设备包括：处理器、存储器、通讯模块；该工控设备的处理器、存储器和通讯模块可以通过总线或者其他方式连接。 处理器通过运行存储在存储器中的d视觉软件程序、指令以及模块，执行d视觉系统的各种功能及图像数据处理；通讯模块提供硬件接口和通讯协议，用于与图像采集模块和任务执行模块间的数据传输； ​存储器包括存储程序区和存储数据区，其中，存储程序区用于存储操作系统和相应的应用程序；存储数据区用于存储用户创建的数据以及设备生成的数据。