实现分布式机器学习模型的利器:ADMM算法框架
售价0
学习人数 98 课时数量 4课时 课程时长 0小时 38分钟
课程介绍

本课程出自第八届中国R语言会议(南昌会场)暨江西财经大学第一届金融大数据论坛,请大家关注会议官方网站统计之都网站,获取更多资料。

最近的几年里,“大数据”的观念越来越深入人心,但回归到问题的本源,如何在大规模的数据上进行统计建模并计算求解,依然是一个极具挑战性的问题。即使是最基本的统计模型,在面临很大的数据量时,要在可接受的时间内完成计算也并非易事。这其中至少包含了两方面的原因:

  1. 许多模型的设定很简单,但并没有显式的求解公式,例如Lasso及其他众多的带惩罚项的统计模型;
  2. 计算机硬件的发展使得并行计算已经相当普及,但很多模型的求解算法并没有利用这一便利条件。

为了克服这两方面的困难,最近几年ADMM算法(Alternating Direction Method of Multipliers)开始受到越来越多的来自统计学和机器学习领域的关注。ADMM是一种最优化算法,它主要针对带约束的凸优化问题。由于很大一部分的统计模型求解都可以归结为这一类优化问题,所以ADMM在统计学习里的应用非常广,典型的例子包括Lasso及其扩展,带正则项的广义线性模型,SVM,分位数回归,压缩感知等等。

ADMM具有几方面的优势:

  1. 是一种迭代算法,可以根据需要的精度来设定算法终止的时机;这在大规模数据处理中非常关键,因为实际中往往可以允许一定的精度误差,但要求算法在规定的时间内完成;
  2. 对于许多模型具有显式的迭代公式,实施简单;
  3. 提供了进行分布式计算的框架,充分利用硬件资源。

本报告将介绍ADMM的基本原理和算法,其分布式计算框架,以及若干常用的统计和机器学习模型在ADMM下的实现。

演讲者还将介绍其编写的R软件包ADMM,展示这些模型在R中的实际用法。

我们将比较ADMM软件包与其他已有软件包(如glmnet的Lasso,quantreg的中位数回归等)的性能,突出ADMM的计算优势所在。

如有问题请加本站官方QQ群:321311420


版权声明

本课程讲师已授权雪晴数据网发布本视频,任何组织或个人在未得到演讲者及会议主办方授权的情况下,都不得翻录、下载或以任何形式发布本视频内容。

课时列表
友荐云推荐
授课教师
美国普度大学统计系在读博士,统计之都理事会成员,感兴趣的领域包括统计计算与建模,R语言相关技术等。曾参与翻译《R语言编程艺术》《R数据可视化手册》《ggplot2:数据分析与图形艺术》等书籍,是showtext,rARPACK,recosystem等R软件包的作者。个人主页http://yixuan.cos.name/cn
98位共同奋斗的同学
安某某
安某某
wangwangwang
wangwangwang
win456
win456
hhh7654321
hhh7654321
ghdeng
ghdeng
tl
tl
pang
pang
elise
elise
winterisgone
winterisgone
登录 注册