大数据下的多源异构知识融合算法研究

在大数据环境下,多源异构知识的融合为研究者从众多分散、异构的数据源和知识源中挖掘出隐含的、有价值的和尚未被发现的信息和知识提供了非常有效的手段和方法。针对目前知识融合方法的不足,在对大数据环境下的异构知识融合方法进行深入研究的基础上,将已有的数据融合算法合理地移植到知识融合中,设计并构造了大数据环境下的多源异构知识融合算法。为进一步提高获取知识的质量,依据知识源粒度的动态选择,提出了一种改进的知识源分解-合并算法,以获得合适粒度大小的知识源集合和尽可能真实可靠的知识。基于Hadoop和MapReduce框架所构建的实验平台对所提算法进行了实验验证。实验结果表明,所提出的多源异构知识融合算法有效可行,并能够有效显著地提高多源异构知识融合算法的性能。