从搞科研到商业运作:Alberto Broggi 研究计算机视觉的二十年

3 月 1 日 新智驾


文 | 张祥威

来自新智驾(AI-Drive)的报道


1998年,意大利。一辆汽车终于跑完2000公里,不过是以自动驾驶的方式。


此前,自动驾驶汽车已经在美国DARPA挑战赛中被证明能够通过220英里(约354公里)的越野道路,但还没有测试车辆能够完成更加漫长的洲际旅行。


在意大利测试的车辆由当地一家名为VisLab的实验室研发而成,这个机构最初是意大利帕尔马大学的研究实验室。自1990年创立后,VisLab主攻车辆应用的计算机视觉和环境感知,并在几年后从学校独立出来。


2015年,VisLab被美国Ambarella (下称“安霸”)收购,并成为后者在意大利的自动驾驶团队,因采用基于低成本摄像机和计算解决方案来实现汽车自动驾驶而受到业内关注。


主导VisLab创立和后续运行的,便是意大利人Alberto Broggi, 现任安霸意大利公司总经理,同时也是帕尔马大学的计算机工程教授, IEEE Fellow 、IAPR Fellow。


作为业内公认的计算视觉技术应用(主要是汽车领域)先驱,Broggi 积极参与自动驾驶技术的研发已经有 25 个年头了,尤其在计算机视觉和环境感知方面积累了丰富经验。


创立VisLab


Broggi1966年出生于意大利的Ponte Taro,1985 年进入帕尔马大学后,他热爱计算视觉技术的种子开始“发芽”:最终在大学里读了 6 年的电子工程学,并在信息技术部谋得研究院的职位。1994 年,Broggi 又获得博士学位。


VisLab 创始人、安霸意大利总经理、帕尔马大学计算机工程教授 Alberto Broggi


读博期间,他开始用更宽广的视角考虑自动驾驶的技术要求、实际限制和社会影响等。对计算视觉技术的热爱以及早期探索让他决定在大学内建立一个计算机视觉研究小组,这时 VisLab 就应运而生了。


实际上,作为拥有菲亚特、阿尔法·罗密欧、法拉利和兰博基尼等汽车品牌的国家,意大利对于智能车辆的研究并不算晚。


在世界上最早研发的几种智能车辆里,意大利的MOB-LAB智能车辆以“移动实验室”为代名词,主要通过计算机视觉系统来检测车道轨迹,进而实现车辆自主驾驶。


当时,Broggi和团队一起,和意大利都灵理工大学共同建立了用于图像确认和分析的汽车硬件架构,以进一步开发和测试智能车辆领域的初始理论。


新智驾了解到,Broggi和团队进行的基础和应用研究主要包括,通过摄像机和与其他传感器融合从而进行周围环境感知,研究范围涵盖人工视觉、图像处理、机器学习、神经网络、机器人和传感器融合等领域。


Broggi团队早期研发的ARGO汽车原型


1996年,Broggi的团队启动开发一款名为ARGO的汽车原型,这是一辆配备了视觉传感器、处理系统和车辆执行器的乘用车,Broggi团队的工作是为它开发相关的软硬件,以用于在标准道路上进行自动驾驶。


两年后,ARGO在94%的自动驾驶模式下跑完了2000公里,测试环境是意大利固定的高速公路,这一结果后来被业内认为是全球车辆机器人里程碑之一。研究工作的顺利,让VisLab后来终于从实验室转为商业公司,Broggi也在学者之外增加了一重商人身份。


2009年,11名VisLab的研究人员成立了一家名为“VisLab srl ”的公司,开始将一些核心研究成果进行商业化。


正式独立后,VisLab 的团队继续在 Broggi 的领导下不断前进。


2010 年他们完成了“VisLab 洲际自动驾驶大挑战”,自动驾驶测试车狂奔 1.3 万公里,从意大利开到了中国。


2013 年,VisLab  又进行了“城市道路驾驶”测试,其中有些路段驾驶席上甚至连安全司机都没有。


后来随着自动驾驶大潮的兴起,VisLab 的焦点从纯研究转向了计算视觉技术的快速商业化。


借安霸进军自动驾驶


事后看来,Broggi 团队最为重要的一次动作是,促使VisLab在2015 年被美国半导体公司安霸收购,Broggi 则成为安霸研发基于视觉感知的自动驾驶技术的核心人物,彻底实现商业化蜕变。


安霸于 2004 年由 Fermi Wang(美籍华人)和 Les Kohn 在硅谷创立,是一家SoC芯片设计公司,主要为行业提供低功耗、高清视频压缩、图像处理以及及计算视觉解决方案。其芯片和软件用于安防摄像机、运动相机、无人机摄像机、便携式穿戴相机以及其他设备的图像处理。


在安霸的发展过程中,智能硬件浪潮和以行车记录仪、运动摄影机、无人机以及专业/家庭安防摄像机等硬件的普及,均为其带来了丰厚收入。


不过,随着移动摄像头市场逐渐接近饱和,曾占安霸整体营收达30%的GoPro开始逐步退出高清运动机业务,新业务的探索早在几年前已经开始。


在去年的CES展上,安霸推出了为高度自动驾车辆设计的全新架构计算机视觉芯片CV1,并展出了基于CV1的完全依靠视觉进行公开道路自动驾驶的车辆EVA。


当年5月,这家公司再推出两颗升级版芯片CV22和CV2,支持低功耗的深度学习驾驶,并且在CV2上支持双目立体视觉加速,技术不断迭代升级。


在今年CES展上,安霸还展出了基于CV25,以及采用多款芯片的算法演示,和竞品的性能对比,以及基于CV系列芯片的产品原型。



资料显示,安霸首颗AI芯片CV1 采用了新的CVflow架构和三星的14nm CMOS 工艺制程,支持高达4K或800万像素分辨率的计算机视觉处理,可提供立体视觉处理和深度学习感知算法。


而去年发布的CV22和CV2系列则采用了10nm制程,并且性能有了大幅改善。


全新架构的推出,仰赖的正是 Broggi 团队在机器学习和双目立体视觉方面的深厚经验以及安霸多年来在超高清图像处理、低功耗SoC设计以及高性能并行计算等领域的专业知识。


安霸对于VisLab的收购和技术融合现在看来是个非常成功的案例。


随着全球汽车行业向自动驾驶进军,安霸逐渐将最初的前装业务如行车记录仪、电子后视镜和车载环视影像等设备的图像处理器,转为ADAS和更高级别的自动驾驶所需要的计算机视觉处理器。截至去年,安霸整体营收的15%来自汽车行业。


2018年,Popular Mechanics杂志称Broggi 的自动驾驶汽车技术专利,是“改变世界的15个专利”之一。


从做科研到进入商界这一点,Broggi 与Mobileye的首席执行官Amnon Shashua很像,后者毕业于耶路撒冷希伯来大学并获得教授头衔,随后在1999年和Ziv Aviram共同创立Mobileye,主要从事ADAS系统和自动驾驶视觉技术开发。


目前,Mobileye同样已经成为Intel的子公司,Amnon Shashua作为高级副总裁主要带领Intel的全球组织专注研发ADAS、高度自动驾驶辅助系统和全自动驾驶,完成了从学者到商人的成功过渡。


有趣的是,Broggi 和Amnon Shashua各自的母公司安霸和英特尔,在自动驾驶领域也形成了一定的竞争关系。


这表现在CV2等安霸的深度学习SoC被业内视为是将与Mobileye的计算机视觉SoC展开竞争的产品。符合车规级的CV2,在芯片中整合了计算机视觉、图像处理、4Kp60视频编码与双目立体视觉技术,并且可提供相较CV1高达20倍的深度神经网络性能,其低功耗却在同行业中处于领先梯队。


与Mobileye的计算机视觉SoC不同的是,CV1和CV2均可以在同一芯片上提供单目和双目立体视觉处理。其实,业界对究竟要采用单目还是双目立体视觉开发自动驾驶曾产生过争论。


基于成本、可靠性和易用性等因素,Mobileye选择了通过单目视觉提供包括行人检测、车道保持和自适应巡航等辅助驾驶技术。而在Broggi等立体视觉支持者看来,以3D视角计算单个摄像头传感器接收的平面2D架构时,单目视觉系统会表现得不够稳定,双目立体视觉则可以感受精确的深度信息,所以如果用于障碍物检测,可处理从未见过且未经训练的目标。


随着摄像机成本的不断下降,未来Broggi开发的支持立体视觉的方案或许可以迎头赶上。


聚焦计算机视觉


早在2002年,Broggi就在自己撰写的《智能车辆:智能交通系统的关键技术》中总结道:


随着智能车辆上传感器单元的大量使用,视觉类被动式传感器与主动式传感器相比就显出了明显优势,视觉感知系统成为车辆对外感知系统中的重要组成部分,将来一定会达到车辆综合感知系统会超过驾驶员的对外感知能力。


无须讳言,Broggi团队对于车辆应用领域计算机视觉的研究经历了由简至繁的过程。


据新智驾了解,该团队最初研发的ARGO是一款能够通过使用微型摄像机感知和分析周围环境,计划轨迹并在正常道路上行驶的乘用车。但是,相比后来的自动驾驶测试环境,它还是显得有些简单。



到了2005年,在当年的DARPA城市道路挑战赛上,Broggi团队研发的一辆名为TerraMax的车辆成功穿过长达132英里(约212公里)的包含沙漠和山脉的越野赛道,TerraMax成为当时唯一使用视觉系统作为主要感知手段完成比赛的车辆。


2014年3月,VisLab再次推出名为DEEVA的新型自动驾驶汽车时,车辆已经拥有20多个摄像头、4个激光器、GPS和IMU等部件。


Broggi认为,对于智能车辆来说,车载TIS的主要任务之一就是感知外界环境,主要通过触觉、声音、激光、雷达和视觉传感器等不同的途径来感知外界信息。


他指出,视觉传感器属于被动传感器,与其他传感器比较起来有诸多优点,并且在采集信息时是以非侵犯的方式进行,不会增加环境噪声,可以广泛应用于车道检测、交通信号识别和障碍物检测等方面。


值得注意的是,Broggi还提到,视觉传感器也存在一定缺陷,例如在雾、夜晚、太阳直射等情况下,视觉系统的鲁棒性距离要求还有一定的差距。


整体来看,Broggi团队一直聚焦于计算机视觉,通过低成本的摄像头采集周边信息。相比其他自动驾驶公司,这个团队的优势主要在于很早便完成了大量测试以进行技术验证,这里面包括单车和车队的一系列全球各地的、不同距离和难度的无人驾驶演示。


比如,完成了在2010年进行的VIAC(The VisLab Intercontinental Autonomous Challenge),这也是世界上第一个跨洲的上万公里无人驾驶测试。


回顾Broggi的过往经历,他从大学时代起就与车辆的计算机视觉研究产生了密切联系,并在此后的二十多年间不断深入研究,最终为自动驾驶的提供了丰富的计算机视觉解决方案。随着近几年自动驾驶从技术研发走向商业落地,相关技术的商业化进程或将进一步加快。


Broggi曾在2010年用一辆由电动车改造的自动驾驶汽车,穿越多样极端环境从帕尔马成功到达上海,总行程达8000英里(约12874公里)。


时隔近十年后,Broggi教授将出席由雷锋网新智驾&上海国展联合举办的AI+智能汽车创新峰会并作演讲,分享他在汽车计算机视觉和环境感知方面的积累与经验。



2019 AI+智能汽车创新峰会


官网:https://gair.leiphone.com/gair/iv2019

主办方:雷锋网新智驾&上海国展

规模:500人

时间:2019.4.18

地点:上海·国家会展中心


计划拟邀的部分嘉宾:


  • 郑南宁,中国工程院院士、中国自动控制领域专家、中国自动化学会理事长、IEEE Fellow

  • Alberto Broggi,意大利帕尔马大学教授,IEEE Fellow,VisLab 创始人、现任安霸意大利公司总经理

  • 邓志东,清华大学计算机系教授,博士生导师。中国自动化学会理事,中国自动化学会智能自动化专业委员会主任

  • 余凯,地平线创始人兼 CEO,前百度 IDL 常务副院长,百度研究院副院长,深度学习实验室主任

  • Anand Gopalan,Velodyne CTO 

  • Markus Schupfner,伟世通 CTO

  • 多位智能汽车产业链公司创始人、CEO


6 大主题:12 个演讲+1 个圆桌


  • 追根溯源:从「功能汽车」到「智能汽车」

  • 成就智能汽车的基础技术

  • 电动汽车:智能汽车的最佳载体

  • 智能汽车时代下的技术应用场景

  • AI+智能汽车时代下的基础设施

  • 智能化大势已定,智能汽车新的投资机会在哪?



如想获得峰会限时免费门票,扫描上方图片二维码报名,审核通过后即可获取 2019 AI+智能汽车创新峰会门票


另外,AI+智能汽车创新峰会」微信社群已经开启,面向智能汽车行业的从业者、产品与技术开发人员,欢迎添加微信 ID:eriseds 入群。

点赞 0

The kernel matrix used in kernel methods encodes all the information required for solving complex nonlinear problems defined on data representations in the input space using simple, but implicitly defined, solutions. Spectral analysis on the kernel matrix defines an explicit nonlinear mapping of the input data representations to a subspace of the kernel space, which can be used for directly applying linear methods. However, the selection of the kernel subspace is crucial for the performance of the proceeding processing steps. In this paper, we propose a component analysis method for kernel-based dimensionality reduction that optimally preserves the pair-wise distances of the class means in the feature space. We provide extensive analysis on the connection of the proposed criterion to those used in kernel principal component analysis and kernel discriminant analysis, leading to a discriminant analysis version of the proposed method. Our analysis also provides more insights on the properties of the feature spaces obtained by applying these methods.

点赞 0
阅读1+

Semantic Web Rule Language (SWRL) combines OWL (Web Ontology Language) ontologies with Horn Logic rules of the Rule Markup Language (RuleML) family. Being supported by ontology editors, rule engines and ontology reasoners, it has become a very popular choice for developing rule-based applications on top of ontologies. However, SWRL is probably not go-ing to become a WWW Consortium standard, prohibiting industrial acceptance. On the other hand, SPIN (SPARQL Inferencing Notation) has become a de-facto industry standard to rep-resent SPARQL rules and constraints on Semantic Web models, building on the widespread acceptance of SPARQL (SPARQL Protocol and RDF Query Language). In this paper, we ar-gue that the life of existing SWRL rule-based ontology applications can be prolonged by con-verting them to SPIN. To this end, we have developed the SWRL2SPIN tool in Prolog that transforms SWRL rules into SPIN rules, considering the object-orientation of SPIN, i.e. linking rules to the appropriate ontology classes and optimizing them, as derived by analysing the rule conditions.

点赞 0
阅读1+
Top