基于Hadoop的海量交易记录查询系统研究

随着互联网的快速发展，人们的消费习惯也在转变，网上购物以其方便快捷的特点受到越来越多人的青睐。随着越来越多的商家进驻电子商务网站，商品种类和数量迅速增多，伴随着用户巨大的访问量和庞大的交易额，电子商务网站将产生海量的交易记录，传统关系数据库的处理能力正面临严峻的挑战。 云计算技术在如今数据急剧膨胀的时代应运而生，通过利用网络连接大量不太昂贵的计算节点，并采用分布式软件将节点虚拟成一个可靠的高性能计算平台，云计算可以提供“几乎无限”的计算和存储能力。云计算为海量数据的存储和处理提供了一种新的解决方案。Hadoop是一个对大数据进行分布式处理的云计算框架，它可以使用户在不了解分布式系统底层细节的情况下，开发分布式程序对大数据进行处理，作为一个开源的系统，Hadoop成为企业界和研究领域的热点。 本文通过对Hadoop的深入分析和研究，根据交易记录查询系统的需求，设计并实现了基于Hadoop的海量交易记录查询系统。首先对Hadoop及其相关技术做了研究，着重介绍了Hadoop云计算框架中的HDFS分布式文件系统和HBase分布式数据库，分别介绍了HDFS的特性、系统框架、副本存放策略和HBase的系统框架及数据模型。其次，重点分析了HBase的存储特点，通过分析HBase的数据存储方式、Region定位方式和写数据过程，提出了系统设计的优化和改进建议。接着，对基于Hadoop的海量交易记录查询系统进行了设计和实现，主要包括数据接入层、存储层和查询层；为了解决集群中节点时间不同步的问题，设计并实现了TSS时间同步子系统。最后，通过具体的测试用例对系统进行功能测试和性能测试，并对测试结果进行了分析，验证了系统的可行性和正确性。