视频内容结构化技术的研究与实现

视频媒体的无结构性是阻碍新一代视频应用的瓶颈问题。本文全面而系统地研究了视频无结构性问题的解决之道。在对视频制作和感知理论系统研究的基础上，将语义标注和句法分段技术有机的结合起来，在低中高三个不同的层次上对视频内容结构化技术作了深入的研究，主要的工作和贡献包括： ◆ 厘清了视频内容结构化这一交叉研究领域，明确了要解决的根本问题，应采取的技术途径和基本方法论，提出了由句法分段和语义标注构成的低、中、高整体研究框架； ◆ 系统研究了视频内容制作和感知的一般过程，指出视频内容的制作和感知实质上遵循共同的基本规律，剖析和总结了这些基本规律对视频内容结构化技术的指示意义； ◆ 全面探索了中、低层视频内容结构化技术的各种重要技术，设计和改进了部分关键算法，包括：视音频镜头、故事单元、音频大段等句法分段技术和闪光探测、音频镜头分类、段落分界符、广告、动作型故事单元等语义标注技术； ◆ 分别研究了新闻、体育、故事片和电视剧等类视频的高层内容结构化技术，解决了新闻故事探测、半透明字幕探测、角色标注、精彩标注等关键问题； ◆ 设计和实现了支撑视频内容结构化研究的VideoCar实验床，该实验床在实际使用中收到好的效果。