基于知识库构建的图像和视频角色语义关系的研究

项目名称： 基于知识库构建的图像和视频角色语义关系的研究

项目编号： No.61503217

项目类型： 青年科学基金项目

立项/批准年度： 2016

项目学科： 其他

项目作者： 王雅芳

作者单位： 山东大学

项目金额： 18万元

中文摘要： 随着社会的进步和多媒体技术的发展，网络带宽和终端计算能力不断增强，图像和视频越来越成为信息传播的主要载体。快速高效处理大量的图像视频数据，找到自己需要的内容，已经成为迫切的需求。如何正确识别出图像和视频中的角色，即人、物体和场景，以及他们之间的语义关系，是对图像、视频内容理解的基本要素。. 本项目研究如何分析图像和视频中的角色语义关系，构建知识库系统的相关问题。我们拟从图像和视频的知识获取以及知识管理两个层面进行研究。项目的主要研究内容为：1)如何设计算法分析图像中的角色从中抽取常识知识；2)如何结合文本和视频数据共同进行关系抽取；3)如何设计算法结合视频信息对视频字幕或脚本进行实体消歧；4)如何设计含有图像和视频多媒体知识库的查询界面及解析算法。最后，基于理论研究成果，构建有效测试平台和原型系统，并为深入理解分析图像和视频中的角色，进行语义分析提供实际可用的知识库系统。

中文关键词： 角色关系分析；知识库构建；视觉知识图谱；语义分析；草图检索

英文摘要： With the development of information technology, the amount of multimedia in a digital era has been surged. Images and videos are emerging to be an important media carrier for information dissemination, to advance the traditional text based media. To make sense of images and videos, we need to understand the basic roles: person, object and scene, as well as the semantic interrelations among different roles. ..We aim for constructing knowledge base by analyzing objects and people from images and videos. To distill the deep semantics of images and videos, we will focus on two aspects: knowledge harvesting and knowledge management. This project makes the following contributions: 1) populating commonsense knowledge base from images; 2) applying relation extraction for joint text and video analysis; 3) applying named entity disambiguation for textual descriptions of videos by combining textual and visual information; 4) designing new interface for multimedia knowledge bases containing images and videos. To evaluate the theoretical studies, we will run extensive experiments, and build prototype systems. The research results of this project will improve the theory and technology of images and videos understanding, and provide useful knowledge bases for deep semantic analysis of images and videos.

英文关键词： Object Analysis;Knowledge Base Construction;Visual Knowledge Graph;Semantic Analysis;Sketch Based Image Retrieval