【机器视觉】基于机器视觉的工业机器人定位系统；机器视觉技术在印刷包装行业中的应用

2018 年 4 月 2 日 产业智能官 机器视觉检测

建立了一个主动机器视觉定位系统,用于工业机器人对零件工位的精确定位。

采用基于区域的匹配和形状特征识别相结合的图像处理方法,该方法经过阈值和形状判据,识别出物体特征。经实验验证,该方法能够快速准确地得到物体的边界和质心,进行数据识别和计算,再结合机器人运动学原理控制机器人实时运动以消除此误差,满足工业机器人自定位的要求。

1. 引言

目前工业机器人仅能在严格定义的结构化环境中执行预定指令动作，缺乏对环境的感知与应变能力，这极大地限制了机器人的应用。利用机器人的视觉控制，不需要预先对工业机器人的运动轨迹进行示教或离线编程，可节约大量的编程时间，提高生产效率和加工质量。

Hagger 等人提出通过基于机器人末端与目标物体之间的误差进行视觉反馈的方法；Mezouar 等人提出通过图像空间的路径规划和基于图像的控制方法。国内这方面主要应用于焊接机器人对焊缝的跟踪。

本文利用基于位置的视觉伺服思想，以六自由度垂直关节型喷涂机器人为载体，提出一种基于机器视觉的工业机器人自定位控制方法，解决了机器人末端实际位置与期望位置相距较远的问题，改善了喷涂机器人的定位精度。

2. 视觉定位系统的组成

机器人视觉定位系统构成如图 1 所示，在关节型机器人末端安装喷涂工具、单个摄像机，使工件能完全出现在摄像机的图像中。系统包括摄像机系统和控制系统：

（1）摄像机系统：由单个摄像机和计算机（包括图像采集卡）组成，负责视觉图像的采集和机器视觉算法；

（2）控制系统：由计算机和控制箱组成，用来控制机器人末端的实际位置；经 CCD 摄像机对工作区进行拍摄，计算机通过本文使用的图像识别方法，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置误差值，最后控制高精度的末端执行机构，调整机器人的位姿。

　图1 喷涂机器人视觉定位系统组成

3. 视觉定位系统工作原理

3.1 视觉定位系统的工作原理

使用 CCD 摄像机和1394 系列采集卡，将视频信号输入计算机，并对其快速处理。首先选取被跟踪物体的局部图像，该步骤相当于离线学习的过程，在图像中建立坐标系以及训练系统寻找跟踪物。学习结束后，图像卡不停地采集图像，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置给定值，最后控制高精度的末端执行机构，调整机器人的位姿。工作流程如图2 所示。

图 2 视觉定位系统软件流程图

3.2 基于区域的匹配

本文采用的就是基于区域的相关匹配方法。它是把一幅图像中的某一点的灰度领域作为模板，在另一幅图像中搜索具有相同（或相似）灰度值分布的对应点领域，从而实现两幅图像的匹配。在基于区域相关的算法中，要匹配的元素是固定尺寸的图像窗口，相似准则是两幅图像中窗口间的相关性度量。当搜索区域中的元素使相似性准则最大化时，则认为元素是匹配的。

定义P (i, j) P 是模板图像中一点，取以P (i, j) P 为中心的某一邻域作为相关窗口K ，大小为(2w +1)，假设K 在原始图中，水平方向平移Δu ，垂直方向平移Δu 后，K 所覆盖下的那块搜索区域叫做子图S k ，若K 和S k 相同，则它们的差为零，否则不为零。由此定义K 和S k 的相关函数为：

当D(K, S k )达到最小，K 与S k 达到最佳匹配。

3.3 图像的特征提取

工作台上的工件与工作台背景在颜色方面具有很大的差别，即工件呈现为黑色，将这一信息作为识别工件的重要特征。

工件的边缘处灰度有急剧的变化，可以以此判断出工件的边界点。采用扫描线的方法，扫描方向上灰度剧变的像素点就是边界点。最后，通过最小二乘法把找到的边界点拟合出圆周，并计算出圆心位置。

3.4 实验与分析

实验目的是通过机器视觉，快速识别出工件的特征（这里是圆孔的圆心）。

（1）首先在原始图像（图3）选取被跟踪工件的局部图像作为模板图像template(图4)。

（2）以局部图像template 为模板，在原始图像中进行基于区域的匹配，并以template 的左

下角为原点，建立坐标系。然后定义一个搜索区域ROI(region of interest)，根据要提取的特征选择区域的形状，这里选择环形区域。搜索区域必须包含全部目标特征。在ROI 中提取工件的特征，如图3 所示。

图 3 圆心识别

该步骤相当于离线学习的过程。每次使用前只需要学习一次即可。通过离线学习，系统得到ROI 与工件的相对位置关系，以便实时识别中工件出现偏移、翻转等，ROI 都可以准确出现在合适位置。

（3）离线学习后，视觉系统经过区域匹配、阀值分割和边缘提取等步骤找到需要识别的特征（这里是圆孔的圆点），如图4 所示。

图4 实时识别

（3）离线学习后，视觉系统经过区域匹配、阀值分割和边缘提取等步骤找到需要识别的特征（这里是圆孔的圆点），如图4 所示。

3.5 结果分析如下：

（1）识别率分析：第一步通过离线学习，训练提取形状特征。第二步使用离线学习得到的坐标关系，实时跟踪工件，得到需要跟踪的形状特征信息。只要离线学习恰当，目标特征就准确识别并且得到相关信息。

（2）实时处理结果分析：图像采集卡的采集速度是25 帧/s，每幅图采集时间为40ms。摄像头采集一幅图像需要20ms，该图像处理的速度为10ms/幅。通过程序优化，在采集的同时进行图像处理，而且图像处理的速度比采集的时间要短，就避免了图像的失真和抖动。在物体运动不超过极限速度时，能够较准确地找到圆心的位置。

4. 空间坐标的获取

由一幅图像得到的信息是二维信息，程序中使用的坐标是以像素为单位的，机器人在空间运动需要将图像的信息换算成三维空间坐标。其计算过程如下：

（1）以工件上圆孔的圆心为机器人定位基准，A(X ,Y, Z)圆心的世界坐标。当圆心与视觉图像的中心重合时，机器人定位完成。

（2）标定摄像机，得到投影矩阵ce M ，即图像中两个像素间的距离与世界坐标系的转换关系。

（3）摄像机拍摄图像后，经过特征识别得到圆心在图像中坐标a(x, y)，计算出与图像中心的偏移量Δx、Δy。

（4）以A(X ,Y, Z)为基准，按照下式计算机器人末端的世界坐标B(X ',Y ', Z')：其中，Mc是摄像机与机器人末端的坐标转换参数。

注意，本文使用单目视觉，所以这里假设 Z 坐标不变；如果使用双目视觉，就可以通过立体视觉计算出Z’。

5. 误差分析与补偿

本项目的喷涂机器人是六自由度的旋转关节操作臂，与Unimation PUMA560相似，关节4、5、6 的轴线相互垂直，且相交与一点。应用参考文献3 的方法计算如下：

（1）通过机器视觉可以得到机器人末端的空间位置坐标B(X ',Y ', Z')。

（2）确定机器人的连杆参数表，如下表：

（3）运用DH 法计算各关节的转角θi ：

6. 结论

本文描述了基于机器视觉的工业机器人定位系统，该系统将基于区域的匹配和形状特征识别结合，进行数据识别和计算，能够快速准确地识别出物体特征的边界与质心，机器人控制系统通过逆运动学求解得到机器人各关节位置的转角误差，最后控制高精度的末端执行机构，调整机器人的位姿以消除此误差。从而解决了机器人末端实际位置与期望位置相距较远的问题，改善了喷涂机器人的定位精度。该方法计算量小，定位准确，具有工程实用性。本系统是使用 C#在Visual Studio 2003 环境中编写。

机器视觉技术在印刷包装行业中的应用

机器视觉就是用摄像机代替人眼，用计算机代替人的大脑。机器视觉用于印刷、包装质量检测的工作原理也很简单，用摄像机拍摄（采集）印品的图像，在计算机中与该印品标准图像（模板）比较，如果发现差异并超出设定的公差范围，即判定为不合格产品。当然，实际的机器视觉系统要复杂的多。

1.在线检测和离线检测

视觉检测系统按照其安装的载体可分为在线检测系统和离线检测系统。

　　在线检测系统安装在胶印机、凹印机、柔印机、印码机等印刷设备上，实时检测印刷质量。印品可以是单张纸，也可以是卷筒纸。在线检测系统与离线检测系统的视觉检测部分在功能上基本相同，最主要的区别在于缺陷品的处理方法上。当发现缺陷时，在线检测系统通常记录下缺陷的位置（长度：卷筒纸，张数：单张纸），或使用喷码机、贴标机、打标机在纸边做出标记，号码检测记录出错号码或相邻张的号码。

　　离线检测系统通常装在检品机或复卷机上。除可实现在线检测系统的位置记录与标记功能外，检品机通常具有分仓功能，根据检测结果将好、坏品自动分配到不同的仓中。

2.质量分析、跟踪和管理

采用检测设备进行质量检测可提供检测全过程的实时报警和详尽、完善的分析报告。现场操作者可以根据全自动检测设备的实时报警及分析报告，对工作中的问题进行调整。管理者可以依据检测结果的分析报告，对生产过程进行跟踪，更有利于生产技术的管理。因为客户所要求的，高质量的检测设备，不仅仅是停留在检出印刷品的好与坏，还要求具备事后的分析能力。某些质量检测设备所能做的不仅可以提升成品的合格率，还能协助生产商改进工艺流程，建立质量管理体系，达到一个长期稳定的质量标准。

3.机器视觉能够给我们带来什么

　　显然，尽管中国已然是一个印刷大国，然而中国还不是印刷强国。我们要走向世界，除了采用先进的印刷设备和检测设备外，还要提高管理水平。管理就是生产力，向管理要效益，向管理要成本，当然，这一切要在保证在相同质量和服务的前提下。安装自动化的视觉检测系统，前期需要一定的投入，然而，检测系统的在质量检测的优势，会给企业在质量和人工成本上带来长期的效益。

　　视觉质量检测在印刷包装行业中的应用可以在印前、印刷过程中和印后，但目前多数应用集中在印后质量检查。中国有几万家印刷企业，真正使用检测系统的很少，除印钞、票证等特殊行业外，主要是在包装行业。包装行业对印刷要求较高，对质量和色彩的要求比较特殊。包装印刷厂必须具备独特的产能优势、技术优势和质量优势，才能满足客户对于印量、周期和质量的要求。专门针对烟草行业提供印刷服务的烟印企业的出现，即是一例。

　　推广机器视觉检测，首先要使印刷包装企业更多的了解机器视觉。装在哪里、怎么安装、如何达到最好效果、能带来什么具体效益，这一切都需要不断地普及和宣传。印刷包装行业的从业者要提出自己的具体需求，学习和掌握机器视觉检测的概念和操作；机器视觉行业的从业者要了解印刷的工艺，生产流程，操作方式和质量标准，只有两者的紧密结合，才能有真正符合中国国情的自动化视觉检测系统，才能达到提高质量、提高效率、降低成本的目的。

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。

产业智能官 AI-CPS

用“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。