基于多粒度视频基元的中国手语合成方法研究

项目名称： 基于多粒度视频基元的中国手语合成方法研究

项目编号： No.61170104

项目类型： 面上项目

立项/批准年度： 2012

项目学科： 计算机科学学科

项目作者： 王立春

作者单位： 北京工业大学

项目金额： 55万元

中文摘要： 基于真人视频拼接的合成手语相比其它方法得到的合成结果真实感强、可懂度高。该方法的问题在于，包含全部手语词的手语视频数据量巨大，如中国手语中手语词的相邻组合为三千余万，以每两个手语词连续表达的平均时间为1.5秒计，包含全部中国手语词的连续手语视频时间为541*24小时，如此数量的视频数据，其获取、存储、检索、处理都存在难题。 如何构建合理数据量视频集，合成符合目标文本且满足视觉需求的手语视频是一个值得研究的问题。针对此问题，本项目构建多粒度手语视频基元，结合图像合成方法降低手语视频合成所需源数据规模，研究基于多粒度视频基元的中国手语合成方法。研究内容包括中国手语视频基元多粒度结构；中国手语基元多维语义模型；面向视频合成中国手语韵律模型；基于中国手语韵律约束的手语词基元检索方法；基于拼接代价约束的过渡基元预测及基于细粒度基元图像的过渡基元合成。

中文关键词： 中国手语合成；手语视频拼接；手语视频语义；手语视频相似度评估；手语光场

英文摘要：

英文关键词： Chinese Sign Language Synthesis；Sign Language cascading；Sign Language Video Semantic；Sign Language Video Similarity Assess；Sign Language Light Field