阿里流行音乐趋势预测-深度学习LSTM网络实现代码分享

2017 年 12 月 5 日 数据挖掘入门与实战 要学习更多点这→

 向AI转型的程序员都关注了这个号👇👇👇


大数据挖掘DT数据分析  公众号: datadw


代码地址:

在公众号 datadw 里 回复 音乐   即可获取。


一、 LSTM网络原理

  1. 要点介绍 
    (1)LSTM网络用来处理带“序列”(sequence)性质的数据,比如时间序列的数据,像每天的股价走势情况,机械振动信号的时域波形,以及类似于自然语言这种本身带有顺序性质的由有序单词组合的数据。 
    (2)LSTM本身不是一个独立存在的网络结构,只是整个神经网络的一部分,即由LSTM结构取代原始网络中的隐层单元部分。 
    (3)LSTM网络具有“记忆性”。其原因在于不同“时间点”之间的网络存在连接,而不是单个时间点处的网络存在前馈或者反馈。如下图2中的LSTM单元(隐层单元)所示。图3是不同时刻情况下的网络展开图。图中虚线连接代表时刻,“本身的网络”结构连接用实线表示。 
     
     
     
    2.LSTM单元结构图 
    图4,5是现在比较常用的LSTM单元结构示意图: 


    其主要结构成分包含如下: 
    (1)输入节点input node:接受上一时刻隐层单元的输出及当前时刻是样本输入; 
    (2)输入门input gate:可以看到输入门会和输入节点的值相乘,组成LSTM中internal state单元值的一部分,当门的输出为1时,输入节点的激活值全部流向internal state,当门的输出为0时,输入节点的值对internal state没有影响。 
    (3)内部状态internal state。 
    (4)遗忘门forget gate:用于刷新internal state的状态,控制internal state的上一状态对当前状态的影响。 
    各节点及门与隐藏单元输出的关系参见图4,图5所示。


二、代码示例



代码地址:

在公众号 datadw 里 回复 音乐   即可获取。




运行环境:windows下的spyder 
语言:python 2.7,以及Keras深度学习库。

由于看这个赛题前,没有一点Python基础,所以也是边想思路边学Python,对Python中的数据结构不怎么了解,所以代码写得有点烂。但整个代码是可以运行无误的。这也是初赛时代码的最终版本。


  1. 示例介绍 
    主要以今年参加的“2016年阿里流行音乐趋势预测”为例。 
    时间过得很快,今天已是第二赛季的最后一天了,我从5.18开始接触赛题,到6.14上午10点第一赛季截止,这一期间,由于是线下赛,可以用到各种模型,而自已又是做深度学习(deep learning)方向的研究,所以选择了基于LSTM的循环神经网络模型,结果也很幸运,进入到了第二赛季。开始接触深度学习也有大半年了,能够将自已所学用到这次真正的实际生活应用中,结果也还可以,自已感觉很欣慰。突然意识到,自已学习生涯这么多年,我想“学有所成,学有所用”该是我今后努力的方向和动力了吧。 
    下面我简单的介绍一下赛题: 
    官方给的“输入”:2张表,一张是用户行为表(时间跨度20150301-20150830)mars_tianchi_user_actions,主要描述用户对歌曲的收藏,下载,播放等行为,一张是歌曲信息表mars_tianchi_songs,主要用来描述歌曲所属的艺人,及歌曲的相关信息,如发行时间,初始热度,语言等。 
     
    样例: 

     
    样例: 

    官方要求“输出”:预测随后2个月(20150901-20151030)每个歌手每天的播放量。输出格式: 
     
    2.初赛所用模型思路 
    由于是对歌手的播放量进行预测,所以直接对每个歌手的“播放量”这一对象进行统计,查看在20150301-20151030这8个月内歌手的播放量变化趋势,并以每天的播放量,连续3天的播放均值,连续3天的播放方差,作为一个时间点的样本,“滑动”构建神经网络的训练集。网络的构成如下: 
    (1)输入层:3个神经元,分别代表播放量,播放均值,播放方差; 
    (2)第一隐层:LSTM结构单元,带有35个LSTM单元; 
    (3)第二隐层:LSTM结构单元,带有10个LSTM单元; 
    (4)输出层:3个神经元,代表和输入层相同的含义。 
    目标函数:重构误差。 
    下图是某些歌手的播放统计曲线: 

    2.预测结果 
    蓝色代表歌手真实的播放曲线,绿色代表预测曲线: 

参考文献

1.LSTM入门介绍比较好的文章:A Critical review of rnn for sequence learning 
2.LSTM学习思路,参见知乎的一个介绍,很详细:https://www.zhihu.com/question/29411132 。 
3.Python入门视频教程—可看南京大学张莉老师在coursera上的公开课《用Python玩转数据》,有例子介绍,很实用。https://www.coursera.org/learn/hipython/home/welcome。 
4.Keras介绍—参看官方文档http://keras.io/

via:http://blog.csdn.net/u012609509/article/details/51910405


人工智能大数据与深度学习

搜索添加微信公众号:weic2c

长按图片,识别二维码,点关注



大数据挖掘DT数据分析

搜索添加微信公众号:datadw


教你机器学习,教你数据挖掘

长按图片,识别二维码,点关注

登录查看更多
1

相关内容

长短期记忆网络(LSTM)是一种用于深度学习领域的人工回归神经网络(RNN)结构。与标准的前馈神经网络不同,LSTM具有反馈连接。它不仅可以处理单个数据点(如图像),还可以处理整个数据序列(如语音或视频)。例如,LSTM适用于未分段、连接的手写识别、语音识别、网络流量或IDSs(入侵检测系统)中的异常检测等任务。
最新《深度学习自动驾驶》技术综述论文,28页pdf
专知会员服务
153+阅读 · 2020年6月14日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
《动手学深度学习》(Dive into Deep Learning)PyTorch实现
专知会员服务
118+阅读 · 2019年12月31日
金融时序预测中的深度学习方法:2005到2019
专知会员服务
166+阅读 · 2019年12月4日
【电子书】让 PM 全面理解深度学习 65页PDF免费下载
专知会员服务
17+阅读 · 2019年10月30日
【书籍】深度学习框架:PyTorch入门与实践(附代码)
专知会员服务
163+阅读 · 2019年10月28日
基于LSTM深层神经网络的时间序列预测
论智
21+阅读 · 2018年9月4日
基于 Keras 用 LSTM 网络做时间序列预测
R语言中文社区
21+阅读 · 2018年8月6日
代码分享系列(1)之感知机【代码可下载】
机器学习算法与Python学习
4+阅读 · 2018年2月10日
如何用 RNN 实现语音识别?| 分享总结
AI研习社
3+阅读 · 2017年12月15日
自创数据集,用TensorFlow预测股票教程 !(附代码)
教程 | 基于Keras的LSTM多变量时间序列预测
机器之心
20+阅读 · 2017年10月30日
Hierarchy Parsing for Image Captioning
Arxiv
6+阅读 · 2019年9月10日
Arxiv
8+阅读 · 2019年5月20日
Arxiv
5+阅读 · 2019年4月8日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Arxiv
6+阅读 · 2018年3月25日
Arxiv
7+阅读 · 2018年1月10日
Arxiv
4+阅读 · 2015年8月25日
VIP会员
相关VIP内容
最新《深度学习自动驾驶》技术综述论文,28页pdf
专知会员服务
153+阅读 · 2020年6月14日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
《动手学深度学习》(Dive into Deep Learning)PyTorch实现
专知会员服务
118+阅读 · 2019年12月31日
金融时序预测中的深度学习方法:2005到2019
专知会员服务
166+阅读 · 2019年12月4日
【电子书】让 PM 全面理解深度学习 65页PDF免费下载
专知会员服务
17+阅读 · 2019年10月30日
【书籍】深度学习框架:PyTorch入门与实践(附代码)
专知会员服务
163+阅读 · 2019年10月28日
相关资讯
基于LSTM深层神经网络的时间序列预测
论智
21+阅读 · 2018年9月4日
基于 Keras 用 LSTM 网络做时间序列预测
R语言中文社区
21+阅读 · 2018年8月6日
代码分享系列(1)之感知机【代码可下载】
机器学习算法与Python学习
4+阅读 · 2018年2月10日
如何用 RNN 实现语音识别?| 分享总结
AI研习社
3+阅读 · 2017年12月15日
自创数据集,用TensorFlow预测股票教程 !(附代码)
教程 | 基于Keras的LSTM多变量时间序列预测
机器之心
20+阅读 · 2017年10月30日
相关论文
Hierarchy Parsing for Image Captioning
Arxiv
6+阅读 · 2019年9月10日
Arxiv
8+阅读 · 2019年5月20日
Arxiv
5+阅读 · 2019年4月8日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Arxiv
6+阅读 · 2018年3月25日
Arxiv
7+阅读 · 2018年1月10日
Arxiv
4+阅读 · 2015年8月25日
Top
微信扫码咨询专知VIP会员