改进的协同过滤算法及其并行化实现

被引：12

作者：

李嵩

李书琴

刘斌

机构：

[1] 西北农林科技大学信息工程学院

来源：

计算机工程与设计 | 2018年 / 39卷 / 12期

基金：

中国博士后科学基金;

关键词：

协同过滤; 类别加权度; 用户聚类; Spark平台; 并行化;

D O I：

10.16208/j.issn1000-7024.2018.12.043

中图分类号：

TP391.3 [检索机];

学科分类号：

081203 ; 0835 ;

摘要：

为解决海量数据背景下推荐系统的可扩展性问题和评分空间上的数据稀疏性问题,研究Spark平台下基于格拉斯曼秩1更新子空间估计法(GROUSE)和用户聚类的改进协同过滤推荐算法(CF-GUC)。通过改造GROUSE算法对评分矩阵进行填充;构造用户项目类别矩阵,对用户进行模糊聚类;引入类别加权度,对评分进行加权修正,在此基础上应用协同过滤算法进行预测评分;将改进算法在Spark计算平台上做并行化实现。实验结果表明,当最近邻居数k取30到40时,CF-GUC算法相比于CF-mean算法、CF-UC算法、Pearson-CF算法, MAE值分别降低了约3.31%、3.02%、6.48%,在3种不同规模的数据集下基于Spark平台的CF-GUC算法运算效率比单节点提高了约40%到60%。

引用

页码：3853 / 3859

页数：7

共 11 条

[1] 基于聚类和Spark框架的加权Slope One算法 [J].

李淋淋 ;

倪建成 ;

于苹苹 ;

姚彬修 ;

曹博 .

计算机应用, 2017, 37 (05) :1287-1291+1310

[2] 基于信任模型填充的协同过滤推荐模型 [J].

杨兴耀 ;

于炯 ;

吐尔根依布拉音 ;

廖彬 ;

英昌甜 .

计算机工程, 2015, 41 (05) :6-13

[3] 聚类与协同过滤相结合的隐式推荐系统 [J].

许伟 ;

段富 .

计算机工程与设计, 2014, 35 (12) :4181-4185

[4] 大规模最小二乘奇异值分解的并行处理方法 [J].

吴文波 ;

姚新宇 ;

刘丽丽 .

计算机应用研究, 2014, 31 (11) :3253-3256+3265

[5] 基于Hadoop的电子商务推荐系统的设计与实现 [J].

李文海 ;

许舒人 .

计算机工程与设计, 2014, 35 (01) :130-136+143

[6] 基于用户模糊聚类的协同过滤推荐研究 [J].

李华 ;

张宇 ;

孙俊华 .

计算机科学, 2012, 39 (12) :83-86

[7]

基于Hadoop的并行化协同过滤推荐算法研究.[D].李灿.西北农林科技大学.2016, 11

[8]

矩阵填充理论方法分析.[D].马晓慧.浙江大学.2012, 08

[9]

Clustering and Correlation based Collaborative Filtering Algorithm for Cloud Platform.[J].Xian Zhong;Guang Yang;Lin Li;Luo Zhong.IAENG Internaitonal journal of computer science.2016, 1

[10] An improved collaborative movie recommendation system using computational intelligence [J].

Wang, Zan ;

Yu, Xue ;

Feng, Nan ;

Wang, Zhenhua .

JOURNAL OF VISUAL LANGUAGES AND COMPUTING, 2014, 25 (06) :667-675

← 1 2 →