机器人2.0:用视觉让机器人更聪明

OpenCV正在推动工业机器人的进步,从盲目、哑巴和重复,到通过2D和3D感知处理更大程度的差异。

斯坦利在DARPA挑战赛上。
斯坦利在DARPA挑战赛上。

工业机器人技术的重大进步不会很快到来;有些人已经来了。这些进步背后最大的驱动力之一是开源计算机视觉-该网站为计算机视觉开发提供免费软件库。

我第一次了解OpenCV是在与嵌入式视觉联盟(Embedded Vision Alliance)创始人杰夫·比尔(Jeff Bier)的一次会议上(我与杰夫的一些谈话被记录在我的文章“计算机视觉:机遇还是威胁?”).这是杰夫对会议内容类型的描述嵌入式视觉联盟峰会通过OpenCV总裁兼首席执行官加里·布拉斯基(Gary Bradski)的演讲,我对OpenCV以及它对工业机器人的未来意味着什么有了更多的了解“柳树车库”).

OpenCV提供的程序主要关注实时图像处理以及2D和3D计算机视觉。例程库提供了Linux、Windows、Mac、Android和iOS版本,可以用c++、C、c#、Java、Matlab和Python编程。

在观看Bradski在最近的嵌入式视觉联盟峰会上的演讲时(你可以查看演示文稿在EVA网站上免费注册之后),我了解到OpenCV算法模块在工业机器人应用中特别有用,因为它们解决了图像处理、校准、物体识别/机器学习、分割、光流跟踪等相关问题。

由于OpenCV库材料可以用于如此多不同类型的应用程序,该网站目前每月有大约16万次材料下载,到目前为止已经交付了超过600万次下载。

注意到工业机器人应用的范例是焊接,Bradski指出,在这种应用中,机器人本质上是盲目的、哑的和重复的,尽管精度很高。由于这些焊接机器人通常缺乏视觉,所以要焊接的产品(通常是汽车)必须以难以置信的精度被分阶段移动到机器人焊接区域,这需要大量的规划和编排。

布拉德斯基说:“用梯形逻辑编程,这些(焊接)应用是对20世纪80年代机器人技术的回归。”这意味着它主要用于利润率高的应用,产品刚性强,保质期长(这就是为什么工业机器人在汽车行业有这么大的立足点)。他说:“像手机这样的产品通常都是手工组装的,因为安装机器人生产线需要很长时间。当你把电话线搭好时,你就可以用下一个版本的手机了。”

用布拉德斯基的话说,机器人2.0处理的是机器人能够更容易地处理更大程度的差异。为了实现机器人技术2.0的飞跃,机器人必须能够看到(最好是3D),应该由pc而不是plc控制,并且不再只进行机械动作;相反,它们会自适应地运行。

布拉德斯基说:“为了理解和掌握物体,机器人需要识别物体和物体类别,以及知道物体在相对于机器人坐标系的六个自由度中的姿势。”姿态和识别都可以在2D和3D中获得。

为了充分理解布拉斯基的愿景不是存在于纯粹的学术研究中,而是植根于现实世界的应用,了解布拉斯基为斯坦福大学的斯坦利(Stanley)自动控制汽车组织了愿景团队是有帮助的,斯坦利赢得了DARPA大挑战。斯坦利使用传感器和激光获得二维和三维感知,用于规划和控制。根据Bradksi的说法,斯坦利身上的激光是用来教导视觉系统的,也就是说,激光会找到“好路”,然后利用视觉系统找到更多的“好路”。视觉系统捕捉到的图像被分割成红、绿、蓝像素分布。然后,这条由坏轨迹和好轨迹组成的分段道路被集成到一个滚动世界模型中,并传递给车辆的规划和控制系统。

在斯坦利项目上使用的视觉系统技术已经被改装为用于谷歌机器人车和谷歌地图的街景。

在相关的自动驾驶汽车新闻中,日产(Nissan)刚刚宣布,计划在2020年之前销售一款自动驾驶汽车(见本文底部的视频)。如果你觉得这个声明有点牵强,想想日产也承诺在2010年之前推出零排放汽车,日产聆风就是这么做的。

在Stanley的工作结束后,Bradksi在2012年3月成立了Industrial Perception Inc. (IPI)。布拉斯基表示,最初的想法是为制造业开发机器人视觉系统,但事实证明,物流更适合视觉机器人。“世界上有很多箱子,”他说,“所以我们专注于导航——理解表面,跟踪运动,校准和计量,挑选和放置,以及卡车和集装箱装卸。我们做了很多模型构建(3D模型捕获)来训练机器人”,而不是用手/教吊坠来训练它们。

布拉德斯基表示,IPI目前正在研发一种机器人,它可以以每4秒一个箱子的速度卸货(这是物流行业的目标)。人类的速度是6秒。“我们现在正在接近人类的速度,”他谈到目前正在测试的机器人的能力时说。

请放心,通过Bradski在物流应用方面的经验学习到的机器人进步肯定会很快进入生产车间。

下一届嵌入式视觉联盟峰会将于10月2日在马萨诸塞州利特尔顿举行。请阅读有关峰会的更多信息以及如何注册。

下面的视频重点介绍了日产在2020年推出自动驾驶的计划。

更多数据