Lasso问题的最新算法研究

随着大规模数据的增加,解决Lasso问题成为一个新的热点,以往的方法很难满足大数据背景下的时间和效率问题。为了解决大规模数据及高维数据而带来的计算和储存的困难,本文从三个方面分析最新的算法,即一阶方法、随机方法及并行和分布计算。本文介绍和分析了解决最小收缩和选择算子(Least absolute shrinkage and selection operator,Lasso)问题的最新算法:梯度下降方法、交替方向乘子法(Alternating direction method of multipliers,ADMM)和坐标下降方法。其中梯度下降结合一阶方法和Nesterov的加速和光滑技术;交替方向乘子方法将随机方法融入在最新的算法中;坐标下降方法利用其坐标系的特点结合一阶方法、随机方法和并行和分布计算,本文分别从原始目标函数和对偶目标函数的角度对算法进行分析和研究。