今天的工业机器人不再是过去那种只会一遍又一遍地重复同样动作的盲目庞然大物。看看公司喜欢的视觉引导机器人就知道了JMP工程有部署。将机器视觉集成到这些更小、更智能的机器人中，使铁领工人能够感知他们的操作环境，并对他们在那里发现的东西做出反应。
这种能力的一个重要分支是，机器人可以与那些没有精确定位或彼此之间没有明显分离的部件一起工作。在一个应用中，总部位于安大略省伦敦的工程公司JMP Engineering的团队配置了一个视觉系统，使一对Motoman HP50机器人能够从料箱中取出螺纹保护器，并将它们拧到用于石油和天然气行业制造工具的管道末端。
 |
| 在JMP工程公司建造的一个单元中，采摘机器人依靠康耐视的2D机器视觉来识别和定位箱子中的螺纹保护器。VisionPro软件应用程序可以显示待取螺纹保护器在桶中的位置，以及将其拧入的管道的尺寸。来源:Cognex |
该项目启动时担任JMP项目经理的Scott Pytel表示:“该应用已经证明了在石油工具制造中常见的条件下，无需固定或精确定位，即可成功地挑选和组装螺纹保护器。“这项应用很有可能会导致新一代视觉机器人的诞生，这将有助于提高石油工具行业的生产力和质量。”
自动化这一任务的能力非常重要，因为石油工具制造业的特点是生产大量部件。虽然零件家族中任何单个成员的产量都很低，但整体装配量相对较高，每分钟三个螺纹保护器。此外，零件上的公差不够紧，不需要精密的夹具。因此，在这个应用程序上证明自动化是困难的。
螺纹保护器有11种尺寸，直径范围为4-8英寸。他们到达分层的机器人工作单元，每一层都用纸板分开。一旦机器人移动到位，安装在其上的Basler Ace摄像头就会拍摄垃圾桶的照片，并将图像发送到VisionPro视觉系统Cognex．
在那里，一个名为PatMax的工具使用康耐视的几何模式匹配技术来识别图像中的螺纹保护器并确定它们的位置。该工具不使用传统的像素网格分析，寻找灰度参考图像和相机拍摄的图像之间的统计相似性。相反，该工具使用一组边界曲线来学习物体的几何形状，并在图像中寻找相似的形状，而不依赖于特定的灰度级别。
一旦PatMax工具识别并定位了容器中的螺纹保护器，机器人就会逐一取回它们，并将它们传递给第二个机器人，后者将它们固定在管道上。“对于机器人来说，装配螺纹紧固件是一项具有挑战性的操作，因为机器人不具备人类感知螺纹之间连接的能力，”JMP前机器视觉专家凯文·阿克曼(Kevin Ackerman)指出。
为了克服这一障碍，第二个机器人有自己的摄像头和合规设备。当机器人为管道螺纹提供保护器时，摄像机会对管道进行拍照，以便康耐视的另一个软件工具(用于圆圈)能够更准确地确定管道的位置，并确保管道和保护器的直径匹配。机械臂上的顺应装置允许管道的螺纹将保护器拉入管道中。
这是视觉的最佳位置
尽管有这样的成功故事，但在经典的机器人技术中，机器人和视觉的结合相对罕见，即用于轻工制造业的六轴关节臂和SCARA模型。“从历史上看，只有大约10%的机器人使用视觉，”康耐视全球解决方案营销总监约翰·彼得里解释说。“其中只有大约10- 20%是3D视觉。”
不过，这种情况正在发生变化，尤其是在亚洲的消费电子产品(高于电路板水平)和其他灯具组装领域，彼得里说。他说:“这一领域正呈现爆炸式增长，不仅在机器人部署数量上，而且在使用视觉的比例上。”当装配任务需要精度、检查或两者兼而有之时，这些机器人的视觉利用率接近50%。
在机器人应用中越来越多地使用视觉，主要是由于技术的稳步发展，Avinash Nehemiah说，该公司计算机视觉产品营销经理MathWorks．他说:“这可以归因于视觉传感器成本的降低，机器人应用视觉算法的成熟，以及带有特定视觉硬件加速器的处理器的可用性。”
他补充说，任务的复杂性是成本效益分析的主要驱动因素，以证明在摄像机、视觉软件、足够强大的计算平台和实现视觉的工程上的支出是合理的。他说:“在没有视觉系统的情况下，编程一个系统来识别多个物体的复杂性太大了。”据他估计，当物体数量少于5个，并且其他传感器可以完成这项工作时，机器视觉的成本优势开始消散。
但是视觉系统降低了识别多个不同物体的复杂性。“同样的输入数据可以用来识别和定位多个物体，”尼希米解释道。然后，稍后，当你想要将一个对象添加到视觉系统识别的组中时，这只是更新软件的问题。
视觉辅助机器人在缺乏熟练工人的地方也很有吸引力，当生产线速度太快时，人类无法以准确和安全的方式跟上。“从历史上看，机器人在很大程度上是汽车主导的，”ibm视觉和传感器全球产品经理克拉斯·本特森(Klas Bengtsson)说ABB机器人．“多年来，电子产品和包装领域的应用一直在增加，尤其是在食品和饮料领域。”
干净利落地削减成本
除了提高生产线速度的愿望外，食品和饮料生产商还面临着保持生产环境清洁和良好卫生的额外问题。一个典型的例子是邓斯特布尔工厂生产的煎饼和其他以面团为基础的面包蜜顶特色食品．那里的旧手工包装过程不仅劳动密集且效率低下，而且还容易出现人为错误，需要付出巨大的努力和费用才能保持公司的卫生标准。
 |
| ABB的四个视觉引导IRB 360 FlexPicker机器人中的一个，每分钟在Honeytop Specialty Foods挑选和堆叠110个煎饼。在稍微上游的一个摄像头可以让机器人找到从传送带上从加热板上下来的煎饼。来源:ABB Robotics |
对更高效率的需求促使这家英国特色面饼生产商转向了RG Luma Automation。ABB系统集成商安装了四个视觉引导的ABB IRB 360 FlexPicker机器人。
现在，在该公司的产品上架之前，人手都不会碰它们。传送带将煎饼和其他面包从一个自动加热板中输送出来，让它们在一系列瀑布中冷却。当煎饼接近四个机器人时，安装在每个机器人前面的4gb以太网摄像机会生成图像，ABB的PickMaster 3.2软件将使用这些图像来定位每个煎饼从下面经过的位置。每个机器人每分钟可以挑选和堆叠110个煎饼。多亏了RG Luma工程师的编程技能，这个软件甚至可以识别和定位重叠的煎饼。
在这种情况下，视觉系统比向机器人展示物体的其他主要选择更便宜，后者需要投资硬固定装置，总是将煎饼排列成相同的模式，这样盲人机器人就可以在执行预先编程的程序时拾取它们。对于定期更换生产多种产品的生产线来说，这一费用可能相当高。大量的夹具不仅会增加生产和存储成本，而且批次之间的转换也会带来停机时间和任何必要的特殊设备的成本。
考虑一下需要半个小时的转换。Bengtsson指出:“如果你一天做四次，就会损失两个小时的生产时间。将这一损失加上购买、储存和移动固定装置的费用。
出于这个原因，依靠机器视觉比使用硬装置更便宜。这个选项的额外优势是更加灵活，因为适应不同的产品就是在视觉系统中调用另一个程序。“这只需要一分钟，”Bengtsson说。
软件简化了工作
在Honeytop，不仅转换时间大大缩短，而且PickMaster软件还可以监控生产并计算生产率指标。这些能力正在帮助大饼制造商应对紧张的周转时间，并在生产后12小时内交付订单。此外，在机器人投入生产三周后，该软件还有助于在不到一小时的时间内将新产品引入生产线，而无需任何额外投资。这些效率、更少的错误和更低的人工成本结合在一起，产生了不到一年的回报。
软件能做的不仅仅是使视觉系统更容易使用和维护。应用程序的存在也是为了在部署前简化它们的设计和配置。供应商已经开发了简化编程并将视觉集成到机器人单元的工具，使工程师能够建模并优化其与多个机器人的使用。例如，在ABB集成视觉产品的50多个工具中，有一款名为RobotStudio的应用程序，可以为机器人和智能相机编程。
Bengtsson认为，这种编程软件是推动机器人应用程序使用视觉的比例不断增长的一个重要因素。他说:“这类技术的未来是让更多的人更容易使用它们。”这包括更多windows驱动的菜单驱动和基于图形的应用程序。
当前的视觉软件还包含了一些算法，可以克服将视觉应用于机器人的最常见挑战，即实时处理大量数据。Nehemiah指出:“这些算法通过从原始视觉数据中提取特征或判别信息，或通过执行分割或物体检测，减少了数据处理量。”这种技术可以处理数十甚至数百个对象，而不是数百万个单个像素。
加速处理大量数据的另一种方法是硬件加速。Nehemiah以MathWorks的Vision HDL工具箱为例。该应用程序帮助用户设计现场可编程门阵列(fpga)和专用集成电路(asic)的视觉系统。
协作机器人和3D视觉
ABB的Bengtsson预计，随着供应商开发协作式机器人技术，将机器视觉与机器人技术相结合的趋势将加速发展，机器人可以直接与人合作，或在没有安全障碍的情况下与人密切合作。在这些应用中，来自视觉系统和其他传感器的反馈确保了与机器人一起工作的人的安全。
MathWorks的Nehemiah也看到了类似的趋势。他说:“在过去的五年里，很大一部分应用，如无人机、人形机器人、工业协作机器人和自主地面机器人，都使用视觉系统作为环境感知的主要手段，或者作为更大的传感器套件的一部分。”
MathWorks一直在支持这一趋势，在其MatLab软件中引入了一些工具，帮助用户为这些机器人应用开发视觉系统。例如，德国航空航天中心(German Aerospace Center)的机器人和机电一体化中心(Robotics and mechat电子中心)已经使用MathWorks的这些工具和其他工具，建造了一个能够执行组装任务的双臂移动类人机器人。
这款名为“敏捷贾斯汀”的机器人共有53个自由度，其中上半身有19个自由度，双手有26个自由度，移动平台有8个自由度。它通过头部的立体2D摄像头和RGB-D传感器、关节上的扭矩传感器和手指上的触觉传感器来感知周围环境。两个2D摄像头并排安装，让贾斯汀可以看到3D效果。“深度信息是通过两个视图之间的三角测量来计算的，”尼希米解释说。
尽管今天大多数机器视觉都用于2D应用，但技术的发展使得3D应用变得更加经济。Nehemiah说:“在过去几年里，立体摄像机、结构光3D成像仪和激光雷达等3D成像设备已经相当成熟。”“这导致了处理3D数据的计算机视觉算法的快速发展。”
