专栏|语义SLAM的重要性,你造吗?

2017 年 9 月 5 日 智东西 英特尔中国研究院

我们离超能陆战队里的“大白”只有一个语义SLAM的距离。

文 | 英特尔中国研究院

机器人系列科幻大片的迷弟迷妹,一定对《超能陆战队》中那个体型呆萌的机器人大白印象深刻。空虚寂寞找大白,身体不适找大白,组队打怪还是找大白!不同于我们生活中那些呆板的机器人,大白具有类人的理解世界的能力,可以说是我们理想的生活助手!


虽然大白只是电影中的虚拟人物,但我们正在为打造这样的机器人而努力。语义SLAM正是实现这一目标的关键技术,旨在是让机器人从几何和内容两个层次感知世界。

什么是语义SLAM


SLAM(simultaneous localization and mapping,即时定位与地图构建)在机器人,无人机,AR/VR等领域都有应用。对于机器人,特别是室内机器人,SLAM技术可以为其提供环境的结构信息和自身的位置信息,从而实现导航等应用。换而言之,SLAM技术从几何层面帮助机器人感知环境。

但对于大白这种智能机器人来说,仅仅感知环境的几何信息是不够的,还必须感知其中的内容信息。如果想让大白走到某个位置, SLAM技术就能实现。但若要让大白认识书柜、主动找到书柜并帮你取来一本你需要的书,就要用到“语义SLAM”。语义SLAM是把“语义”和“SLAM”进行有效融合

语义在此处泛指机器对周围环境内容的理解,比如认识环境中的物体、人,以及它们的关系等。传统的SLAM通过点云等形式表示周围的环境,但我们需要的并不是一群毫无意义的点。机器人需要进一步抽象这些点的特征并理解它,进而能从几何和内容两个层次感知世界,为人类提供服务。

左图:传统的基于点云表示的3D地图
右图:包含语义信息的环境重构。
图片来源:CVPR2011: Semantic Structure from Motion

语义 VS SLAM


语义分析和SLAM均是计算机视觉领域的传统研究课题,但语义SLAM还是一个较新的概念。你可能会产生疑惑:语义SLAM的中心词是语义?还是SLAM?

语义和SLAM看似是两个独立的模块,实则不然。在很多应用中,二者相辅相成。一方面,语义信息可以帮助SLAM提高建图和定位的精度,特别是对于复杂的动态场景。传统SLAM的建图和定位多是基于像素级别的几何匹配。借助语义信息,我们可以将数据关联从传统的像素级别升级到物体级别,提升复杂场景下的精度。另一方面,借助SLAM技术计算出物体之间的位置约束,可以对同一物体在不同角度,不同时刻的识别结果进行一致性约束,从而提高语义理解的精度。

语义和SLAM的融合不仅对二者自身的精度提高有很大帮助,更推进了SLAM在机器人等领域的诸多应用,如机器人的路径规划和导航、听从人的指令搬运物体、做家务、陪伴人类运动等。


语义SLAM的现状和未来


学术界对语义SLAM已有不少初步探索。2012年,Sid Yingze Bao等人尝试了同时估计相机位姿和图像语义。这种联合估计的方式显著提高了物体识别精度和鲁棒性,展现了位姿信息对语义的帮助。2013年,帝国理工学院的Renato F.Salas-Moreno等人预先对场景中的物体进行3D建模,通过点云和物体的匹配来估计物体位姿。该方法可以认识预先建模的物体,并同时生成稠密、精准的物体级别的语义地图,体现出语义级物体模型对SLAM的帮助。2015年,斯坦福的Vibhav Vineet 等人首次实现了一个接近实时的系统,能同时进行建图和语义分割,展示了把语义SLAM推向实用的可能性。

与学术界不同,语义SLAM在工业界尚未受到广泛关注,主要限制在于精确的语义分析需要大量计算资源(例如目前最先进的图像语义分割方法大多基于深度学习)。尽管如此,随着计算机硬件水平的突飞猛进和软件算法的快速更新,更多语义分析技术已开始在不同行业得到应用,如人脸识别、人体检测等。

我们的工作


语义SLAM是我们机器人交互实验室的研究重点之一。下图是以英特尔办公区为背景生成的语义地图。左图是基于SLAM技术构建的3D点云地图,右图则是融合了语义信息的语义地图。显然,机器人在得到语义地图后,可以轻松获取屋内沙发、椅子、门以及墙壁的位置和形状信息。

举个栗子:我们想让机器人从卧室走到厨房拿个苹果,这该如何实现?依赖传统SLAM,机器人会计算出自己所在的位置(自动计算)和苹果的位置(手动实现),然后进行路径规划和导航。如果苹果放在冰箱里,还需要手动设置冰箱和苹果的关系。但现在借助我们的语义SLAM技术,人类可以更加自然地向机器人发送指令“请去厨房帮我拿苹果”,剩下的工作则由机器人自动完成。在行动过程中,如果机器人前方有一块被污染的地面,传统的路径规划算法需要手动标注污染区,机器人才会绕开。但加入语义信息之后,路径规划和导航都将更加智能。

左图:3D点云地图。
右图:3D语义地图(蓝色 – 沙发; 绿色 – 书架;粉色 – 窗帘;黄色 – 墙;红色 – 桌子……)

我们相信,语义SLAM是实现自然、和谐的人机交互的基础,对于机器人的室内建图、定位、导航等多方面应用将发挥关键作用,基于语义SLAM的研究和应用有着巨大的发展空间。



延伸阅读

点击下方图片直接阅读


往期回顾

硬创先锋(2017)

人工智能&大数据

擎朗智能 | 先声互联

康夫子 异构智能 医拍智能 彩云AI 神策数据

竹间智能 | 深鉴科技 | 钢铁侠科技 | 蓦然认知 | 达闼科技

VR/AR

VeeR RealMax | ObEN | 所思科技

汽车

天瞳威视 | Auto X 速腾聚创 Vector.ai

智行者 | WayRay 游侠汽车 | EZZY | 开云汽车

聚焦特写

捧出滴滴ofo捞到24条大鱼 朱啸虎的嘴炮和金沙江的钱袋子

中国智能音箱圈的十位关键先生

那些梦碎乐视的造车高人

深度:Uber全球大撤退!一场围剿与反围剿的生死战

神州租车老板陆正耀的出行小王国

起底苦逼的充电桩行业:超43家入局,蒙眼狂奔3年!

揭秘柳传志的出行帝国:12年49家公司 秒杀BAT!

李彦宏的24门客:离开百度,野蛮生长

出行教父李斌和他的隐秘帝国

5年烧了100亿 智能快递柜为何陷入困境?

汽车智能后视镜的地下江湖

易到的生死危局!

滴滴快车之死!

百度大清洗!

陆奇上任百度的51天 连烧六把火

微软亚洲研究院英雄谱 主宰中国科技圈的半壁江山



登录查看更多
7

相关内容

即时定位与地图构建(SLAM或Simultaneouslocalizationandmapping)是这样一种技术:使得机器人和自动驾驶汽车等设备能在未知环境(没有先验知识的前提下)建立地图,或者在已知环境(已给出该地图的先验知识)中能更新地图,并保证这些设备能在同时追踪它们的当前位置。
【斯坦福大学博士论文】自监督场景表示学习, 97页pdf
专知会员服务
92+阅读 · 2020年6月19日
【开放书】SLAM 中的几何与学习方法,62页pdf
专知会员服务
107+阅读 · 2020年6月5日
基于视觉的三维重建关键技术研究综述
专知会员服务
152+阅读 · 2020年5月1日
基于深度学习的多标签生成研究进展
专知会员服务
140+阅读 · 2020年4月25日
专知会员服务
84+阅读 · 2019年12月13日
SLAM的动态地图和语义问题
计算机视觉life
23+阅读 · 2019年4月27日
语义信息与SLAM有哪些结合点?
计算机视觉life
5+阅读 · 2019年4月23日
高翔:谈谈语义SLAM/地图
计算机视觉life
32+阅读 · 2019年3月26日
【泡泡机器人】也来谈语义SLAM/语义地图
泡泡机器人SLAM
20+阅读 · 2019年3月12日
已删除
将门创投
10+阅读 · 2019年3月6日
视觉SLAM技术综述
计算机视觉life
25+阅读 · 2019年1月4日
【泡泡机器人原创专栏】语义SLAM论文阅读精华提炼
泡泡机器人SLAM
6+阅读 · 2018年10月8日
【泡泡机器人】一文带你入门语义SLAM
泡泡机器人SLAM
29+阅读 · 2017年11月29日
牛逼哄哄的SLAM技术即将颠覆哪些领域
算法与数学之美
5+阅读 · 2017年11月15日
Structure Aware SLAM using Quadrics and Planes
Arxiv
4+阅读 · 2018年8月13日
Arxiv
6+阅读 · 2018年6月21日
Arxiv
6+阅读 · 2018年5月22日
Arxiv
7+阅读 · 2018年4月24日
Arxiv
6+阅读 · 2018年2月8日
Arxiv
3+阅读 · 2012年11月20日
VIP会员
相关VIP内容
相关资讯
SLAM的动态地图和语义问题
计算机视觉life
23+阅读 · 2019年4月27日
语义信息与SLAM有哪些结合点?
计算机视觉life
5+阅读 · 2019年4月23日
高翔:谈谈语义SLAM/地图
计算机视觉life
32+阅读 · 2019年3月26日
【泡泡机器人】也来谈语义SLAM/语义地图
泡泡机器人SLAM
20+阅读 · 2019年3月12日
已删除
将门创投
10+阅读 · 2019年3月6日
视觉SLAM技术综述
计算机视觉life
25+阅读 · 2019年1月4日
【泡泡机器人原创专栏】语义SLAM论文阅读精华提炼
泡泡机器人SLAM
6+阅读 · 2018年10月8日
【泡泡机器人】一文带你入门语义SLAM
泡泡机器人SLAM
29+阅读 · 2017年11月29日
牛逼哄哄的SLAM技术即将颠覆哪些领域
算法与数学之美
5+阅读 · 2017年11月15日
相关论文
Structure Aware SLAM using Quadrics and Planes
Arxiv
4+阅读 · 2018年8月13日
Arxiv
6+阅读 · 2018年6月21日
Arxiv
6+阅读 · 2018年5月22日
Arxiv
7+阅读 · 2018年4月24日
Arxiv
6+阅读 · 2018年2月8日
Arxiv
3+阅读 · 2012年11月20日
Top
微信扫码咨询专知VIP会员