基于内容的视频多模式检索方法

在视频数据的检索方法方面,采用单一媒体的处理技术比较多,基于视频数据所表现的内容语义进行检索的提案很少,而且能够将视频数据与其相关的其他形式的数据整合并高效利用,保障视频数据在安全、高效的网络下进行多模式检索的研究也不多见。在检索方法上从解决这个问题入手,提出了多模式的视频特征提取与检索方法。该方法从视频语义特征的角度构建视频数据的语义特征库,将与视频语义相关的声音、字幕、音乐、剧情脚本、新闻文稿等信息特征进行整合,以人像、字幕、语音、视频镜头识别和剧情脚本分析的组合技术,利用语音相关性测定、选择字幕帧,边缘提取、字幕区域二值化和小波包分解、核函数技术等方法从语音、视频中提取语义特征,建立视频数据语义特征的多模式提取和检索模型。