音乐驱动舞蹈编辑技术的研究与系统实现

计算机辅助动画设计的优势在于，可以借助计算机设计软件来完成大量较高难度类型的动作方案，特别是那些需要处理好动作碰撞，冲突关系以及声音同步的动作夸张的人体角色。在真实的世界里，声音一般都是与特定的动作事件联系起来，两者之间存在天然的紧密联系。因此，想要完成有影响力和具感染力效果的动画，必须做到音频与动作的同步。从目前的研究现状来看，在动画设计界，这仍然是一个异常重要而复杂，且基础薄弱的课题。 随着虚拟人概念的提出和音频解析理论的日臻成熟，以音乐为驱动模式来实现音频、视频同步设计系统的需求越来越迫切得被提到数字化艺术设计领域的议事日程上来。而以编钟乐舞为代表的民族特色舞蹈为音乐驱动运动编辑前沿技术注入了全新的概念和素材。二者的融合不但为音乐驱动运动编辑理念的实现提供了极具实践性和艺术价值的承载平台，同时也是运用虚拟现实技术实现对编钟乐舞的数字化重现中的一项重要工程，将在数字化艺术设计领域以及民族舞蹈创新上做出创造性的贡献。 系统设计的主要目的就是通过结合对MIDI信号和Audio信号的解析，形成高级的音频信息进行动作的选择与编辑，从而简化并自动生成针对具体音乐片段的同步的动作序列。这种统一的系统框架结构将帮助角色动画设计师们尝试着把不同的音乐／声音解析工具和统一的运动编辑模式形成多样的组合，而无需对音频解析或运动编辑技术中的任何一方有深入的理解和掌握。 本文首先概述了音频驱动(Music-Driven)理论与技术特点，阐述了音频解析各个阶段特点及具体实现方式，为针对MIDI音源文件的音频解析的具体实现奠定理论基础。在分析音频解析技术原理及应用实例的基础上，本文针对系统所采用的MIDI格式的音乐，提出以MIDI解析、AUDIO解析、乐段解析为主要内容的三层音频解析框架结构，以音乐／动作脚本文件作为音频解析最终结果。之后，文章详述了编钟舞蹈的特征及其数字化方法，在编钟舞蹈文法分析的基础上提出了动作关联度的概念。运用动作关联度模块对不同动作之间衔接进行评价，以得到最优匹配。在完整叙述了音频(MIDI音乐)、视频(Poser定制下的编钟乐舞动作)各自运作流程和阶段性结果之后，本文转入了如何将音频、视频同步结合起来的讨论。本文引入了基于Hevner修辞表的情感模型来实现将音频流及视频对应起来的机制，同时改进原有算法，完成二者之间的同步。最后，应用以上技术，本文设计了一个音乐驱动的舞蹈编辑原型系统，用于实现基于编钟音乐进行特色舞蹈选择、编排的目标，并简要介绍了系统的结构、模块以及设计流程。