项目名称: 融合全景与深度信息的机器人室内复杂环境目标搜索与观测规划方法研究

项目编号: No.61473090

项目类型: 面上项目

立项/批准年度: 2015

项目学科: 自动化技术、计算机技术

项目作者: 何炳蔚

作者单位: 福州大学

项目金额: 80万元

中文摘要: 随着视觉技术在机器人领域的广泛应用,使机器人得以向智能化和复杂化方向更好的发展。机器人在室内复杂场景进行目标搜索的研究近年来已成为研究的热点和重点,此研究对于扩展机器人的应用范围有着重大意义。 针对以往研究中机器人配以普通视觉传感器进行目标搜索中的不足(如:视场范围有限,需多个视角获取场景图像,目标检测的效率低)。本项目拟提出将全向视觉与RGB-D系统搭建在同一台机器人上,成为机器人获取外界信息的主要来源。对室内复杂场景中目标检测、搜索路径规划等关键问题进行了研究,其中:通过融合全景与深度信息,提升机器人在复杂环境中的感知能力;将深度信息与视觉注意机制模型融合实现室内复杂场景显著区域与显著目标的检测,提高复杂场景目标检测效率;基于混合视觉系统的多帧数据在线融合算法,大大提升数据融合效率和表面数据精度。研究成果将提升机器人在复杂场景中自主搜寻、获取目标的能力,提高机器人环境适应性和智能水平。

中文关键词: 全向视觉;深度信息;信息融合;目标搜索;室内环境

英文摘要: With the wide application of visual sensors, robots have been developed with a lot of intelligent functions. Visual target search is becoming more and more important for robots in the real-world domestic scenes in recent years, and has a big impact on the expansion of the application area of robots. In previous literatures, many robots utilize classic vision sensors to perceive the environment. However, these sensors with the limited field of view require extensive image processing, thus increase the operation cost and reduce the efficiency of information acquisition. To overcome this disadvantage, a novel hybrid vision system consisting of an omnidirectional camera and an RGB-D system is proposed and implemented on a mobile robot. The corresponding technologies, which include the object detection and search path planning, are studied. In this proposal, the perception cability of the robot will be enhanced by fusing the omnidirectional visual and depth information, and the efficiency of target detection will be improved by fusing the depth information model and visual attention mechanism to detect significant area and targets. An online multi-frame data fusion algorithm based on the hybrid vision system will greatly enhance the efficiency of data fusion and surface data accuracy. This research will enhance the ability of robot on automatic target search in complex scenes and improve its adaptability in different environments.

英文关键词: omnidirectional vision;depth information;information fusion;target search;domestic environments

成为VIP会员查看完整内容
0

相关内容

基于RGB-D图像的语义场景补全研究进展综述
专知会员服务
28+阅读 · 2021年11月8日
面向行人重识别的局部特征研究进展、挑战与展望
专知会员服务
26+阅读 · 2021年10月13日
专知会员服务
42+阅读 · 2021年9月15日
专知会员服务
26+阅读 · 2021年9月1日
专知会员服务
91+阅读 · 2021年8月29日
专知会员服务
31+阅读 · 2021年7月25日
专知会员服务
64+阅读 · 2021年5月3日
「深度图像检索: 2012到2020」大综述论文,21页pdf
专知会员服务
41+阅读 · 2021年1月30日
【斯坦福&Google】面向机器人的机器学习,63页PPT
专知会员服务
24+阅读 · 2019年11月19日
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
【泡泡图灵智库】协同视觉-惯性SLAM
泡泡机器人SLAM
29+阅读 · 2019年9月6日
综述 | SLAM回环检测方法
计算机视觉life
15+阅读 · 2019年8月19日
一种轻量级在线多目标车辆跟踪方法
极市平台
13+阅读 · 2018年8月18日
【深度】行人检测算法
GAN生成式对抗网络
29+阅读 · 2018年6月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
Arxiv
0+阅读 · 2022年5月2日
小贴士
相关VIP内容
基于RGB-D图像的语义场景补全研究进展综述
专知会员服务
28+阅读 · 2021年11月8日
面向行人重识别的局部特征研究进展、挑战与展望
专知会员服务
26+阅读 · 2021年10月13日
专知会员服务
42+阅读 · 2021年9月15日
专知会员服务
26+阅读 · 2021年9月1日
专知会员服务
91+阅读 · 2021年8月29日
专知会员服务
31+阅读 · 2021年7月25日
专知会员服务
64+阅读 · 2021年5月3日
「深度图像检索: 2012到2020」大综述论文,21页pdf
专知会员服务
41+阅读 · 2021年1月30日
【斯坦福&Google】面向机器人的机器学习,63页PPT
专知会员服务
24+阅读 · 2019年11月19日
相关资讯
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
【泡泡图灵智库】协同视觉-惯性SLAM
泡泡机器人SLAM
29+阅读 · 2019年9月6日
综述 | SLAM回环检测方法
计算机视觉life
15+阅读 · 2019年8月19日
一种轻量级在线多目标车辆跟踪方法
极市平台
13+阅读 · 2018年8月18日
【深度】行人检测算法
GAN生成式对抗网络
29+阅读 · 2018年6月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
微信扫码咨询专知VIP会员