CUDA平台上的CPU/GPU异步计算模式

计算统一设备架构(CUDA, Compute Unified Device Architecture)开启了使用GPU强大计算能力做通用计算的大门,使得开发者能够在友好的开发环境中充分挖掘GPU的计算能力,同时也对CPU/GPU高效的合作计算模式提出了新的要求。一方面,在处理大规模并行数据时,需要保证GPU上各线程间的负载能够平衡;另一方面,在使用GPU进行计算时,需要保持较高的CPU和GPU利用率。本文分析了CUDA平台上CPU/GPU同步计算模式的优缺点;提出了CPU/GPU异步计算模式,此模式能够在处理有效计算量分布不平衡的大规模并行数据的应用中发挥较好作用;最后使用生物信息学中的应用HMMER,对比评测了两种计算模式。该研究对CUDA平台上面向应用设计合适的CPU/GPU高效合作计算方法具有一定指导意义。 本文主要研究成果包括:(1)为有效管理有效计算量分布不平衡的大规模并行数据设计了通用数据结构,包括主数据管理结构和辅助数据管理结构,以有效计算工作量为核心,将类似数据统一管理并提交给GPU上各线程,从而保证线程间负载平衡。(2)针对CPU和GPU做同步计算时,CPU需要等待GPU完成计算,导致CPU计算资源浪费问题,提出了异步计算模式,设计了CPU上的线程划分方式,包含数据读入线程、计算线程、主控GPU线程。通过多线程设计,使得CPU无需等待GPU就能够利用本身的计算能力处理数据,从而加快整个程序的运行。(3)以生物信息学应用HMMER为例,分别应用CPU/GPU同步和异步计算模式,评测了性能上的改变,同时讨论了有效计算量区间设计、线程间通信方式、数据生产消费速度、数据转移方式等对异步计算模式性能的影响。