基于大数据技术的网络舆情文本挖掘研究

通过分析大数据与网络舆情数据的相似特征,基于大数据思想构建网络舆情的文本挖掘模块,并在此基础上构建预警模型,对关系型数据库与分布式数据库进行了融合,使之适应模型从数据采集到分析查询的全部流程;并对大数据核心技术MapReduce进行扩展,改进的MapReduce贯穿于数据处理模块的文本特征向量提取与舆情指数的矩阵-向量乘积运算。通过仿真实验,证明该模型具有一定的准确性与良好的时效性。