地理国情大数据基本统计的多进程并行计算

被引：5

作者：

董春 ^{[1
]}

袁卫平 ^{[2
]}

亢晓琛 ^{[3
]}

张玉 ^{[3
]}

乔庆华 ^{[1
]}

机构：

[1] 中国测绘科学研究院

[2] 辽宁工程技术大学测绘与地理科学学院

[3] 武汉大学资源与环境科学学院

来源：

测绘科学 | 2014年 / 39卷 / 05期

关键词：

地理国情基本统计; 并行计算; 大数据; 多进程; 管道技术;

D O I：

10.16251/j.cnki.1009-2307.2014.05.003

中图分类号：

P208 [测绘数据库与信息系统];

学科分类号：

070503 ; 081603 ; 0818 ; 081802 ;

摘要：

地理国情监测数据具有精度高、数据量大等特性,随着新型硬件构架(单机多核、集群等)计算机资源能力的不断升级,传统的数据处理技术和串行计算技术难以满足高精细化地理国情大数据处理的需求。对此,本文提出了一种基于TPL和管道技术的多进程并行计算方法。通过实例验证,在同一台计算机上该方法比串行方法的计算效率提高了12倍;并且在此基础上,实现了计算节点的负载均衡及可扩展,满足了多核应用,有效地提高了地理国情监测大数据处理的实际效率。

引用

页码：13 / 17

页数：5

共 10 条

[1] 多核多线程技术综述 [J].