基于多信息融合的自然场景图像中的文本检测和识别方法研究

项目名称： 基于多信息融合的自然场景图像中的文本检测和识别方法研究

项目编号： No.61305004

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 王大寒

作者单位： 厦门大学

项目金额： 25万元

中文摘要： 自然场景图像中的文本包含丰富的高层语义信息，文本检测和识别技术可广泛应用于图像和视频的理解、存储和检索、车辆牌照识别和移动导盲等领域。由于图像的复杂背景和光照变化，以及文本的尺寸、字体、颜色和排列方式的多样化，其研究具有极大挑战。现有的文本检测和识别的一般方法是检测和识别分开进行，检测时没有充分利用文本识别信息。本项目针对中文，研究同时进行文本检测和识别从而融合高层信息（文本识别信息）和底层信息（文本区域特征信息）的框架和方法，以提高文本检测和识别性能。具体为：（1）针对中文的基于多类目标检测框架的文本检测和识别；（2）利用semi-CRF模型的基于集成切分-识别框架的中文文本识别；（3）基于semi-CRF模型的多信息融合框架下的文本检测和识别。本项目是申请人在博士期间中文文本识别方面的研究基础上，结合现在所在实验室的基础提出来的研究课题,其研究具有广泛的实际意义和学术价值。

中文关键词： 信息融合；特征学习；稀疏编码；PCANet；新数据集标准

英文摘要： Texts in natural scene images contain rich high-level semantic information, which leads text detection and recognition techniques to wide applications such as understanding, storage and retrieval of images and videos, license plate recognition, visually impaired persons guiding, etc. However, text detection and recognition from images is a challenging problem due to the complexity of background, varying illumination, and the variability of text position, size, font, color and line orientation. Most text detection and recognition systems perform detection and recognition separately, where text recognition information is not fully used during detction. This project investigates into the framework and methods of simultaneously performing detection and recognition of Chinese text, under which multiple information including top-down information (text recognition information) and bottom-up information (feature information of text region) can be integrated to improve the performance of text detection and recognition.The main contents are as follows: (1) proposing a simultaneously detection and recognition method of Chinese text based on multi-class object detection; (2) developing a Chinese text recognition method based on the integrated segmentation-recognition framework using the semi-CRF model; (3) proposing a text

英文关键词： information integration；feature learning；sparse coding；PCANet；new dataset benchmark