大数据技术中计算与数据的协作机制

大数据系统也被称为面向数据的高性能计算系统,与传统高性能计算系统相似,其计算和数据存储通常也是基于机群实现的分布式系统。以计算与数据的协作机制为主线分析对比了面向计算的高性能计算和面向数据的高性能计算,指出正是计算与数据的协作机制决定着大数据系统的基本结构和性能。分布式文件系统与计算通过协助机制的融合是大数据系统实现自动并行化的基础。与面向计算的高性能计算系统不同,大数据系统以切分数据并将计算向数据迁移作为协作机制的主要原则,实现对海量数据的自动并行批处理。元数据映射方法、哈希映射方法及流式拓朴方法是实现计算和数据协作的基本方法,特别是利用流式拓朴方法可以实现实时大数据处理。