基于RGB-D数据的个性化手势交互技术研究

项目名称： 基于RGB-D数据的个性化手势交互技术研究

项目编号： No.61502491

项目类型： 青年科学基金项目

立项/批准年度： 2016

项目学科： 其他

项目作者： 万军

作者单位： 中国科学院自动化研究所

项目金额： 21万元

中文摘要： 手势识别是人机交互的重要组成部分，具有广泛的应用场景和重要的研究意义。特别是近年来随着RGB-D相机（如Kinect）的发展，基于RGB-D数据的手势识别研究是当前手势识别中的一个研究热点。本项目围绕基于RGB-D数据的个性化手势交互技术进行研究，具体研究内容：（1）研究基于RGB-D数据的时空特征提取和视觉字典优化；（2）研究基于RGB-D数据的动态手势定位算法；（3）研究基于RGB-D数据的深度学习动态手势识别；（4）设计基于RGB-D数据的个性化手势交互模型。本项目的特色是从RGB-D数据入手，深入研究该数据下的手势识别，解决手势识别中的关键问题，并且注重基础理论研究，同时兼顾实际应用开发，为人机交互提供有力的基础理论和技术支撑。

中文关键词： 手势识别；时空特征提取；字典优化；深度学习；RGB-D数据

英文摘要： Gesture recognition is an important branch of human computer interaction and it has been widely used in many applications. Owing to the RGB-D camera (e.g. Kinect) launched by different companies, gesture recognition based on RGB-D data has gained a lot of attentions in recent years. In this project, we focus on the personalized Gesture Interaction Technology from RGB-D Data. The main research contents are: (1) Research on the spatio-temporal feature extraction and visual dictionary optimization from RGB-D data; (2) Research on the temporal segmentation from RGB-D video streams; (3) Research on dynamic gesture recognition based on deep learning; (4) Design personalized gesture interaction systems based on RGB-D data. This project will focus on gesture recognition form RGB-D data, and solve the key technique problems of gesture recognition, such as spatio-temporal feature extraction, dictionary optimization, deep learning. And this project not only refers to the theoretical researches but also the application systems’ development, and provides the foundation theory and technical support of human computer interaction.

英文关键词： gesture recognition;spatio-temporal feature extraction;dictionary optimaziton;deep learning;RGB-D data