Spiking neural networks (SNNs) has attracted much attention due to its great potential of modeling time-dependent signals. The firing rate of spiking neurons is decided by control rate which is fixed manually in advance, and thus, whether the firing rate is adequate for modeling actual time series relies on fortune. Though it is demanded to have an adaptive control rate, it is a non-trivial task because the control rate and the connection weights learned during the training process are usually entangled. In this paper, we show that the firing rate is related to the eigenvalue of the spike generation function. Inspired by this insight, by enabling the spike generation function to have adaptable eigenvalues rather than parametric control rates, we develop the Bifurcation Spiking Neural Network (BSNN), which has an adaptive firing rate and is insensitive to the setting of control rates. Experiments validate the effectiveness of BSNN on a broad range of tasks, showing that BSNN achieves superior performance to existing SNNs and is robust to the setting of control rates.


翻译:Spik 神经网络(SNNS)因其具有模拟时间性信号的巨大潜力而吸引了很大关注。 Spik 神经网络(SNNs)的发射率是由预先人工固定的控制率决定的,因此,发射率是否足以模拟实际时间序列取决于命运。尽管要求它有一个适应性控制率,但它是一项非三重性的任务,因为培训过程中学到的控制率和连接权重通常被缠绕在一起。在本文中,我们表明发射率与峰值生成功能的二元值有关。我们受这一洞察的启发,通过使峰值生成功能具有适应性超重的天值,而不是准度控制率,我们开发了具有适应性发射率且对控制率设定不敏感的双倍Spik Neural网络(BSNNN) 。实验证实BSNN在广泛任务上的有效性,表明BSNN达到比现有SNN的更高性能,并且与控制率的设定是稳健的。

0
下载
关闭预览

相关内容

【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
38+阅读 · 2020年11月20日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
30+阅读 · 2020年4月15日
【BAAI|2019】类脑神经网络技术及其应用,鲁华祥(附pdf)
专知会员服务
29+阅读 · 2019年11月21日
机器学习入门的经验与建议
专知会员服务
90+阅读 · 2019年10月10日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
60+阅读 · 2019年5月30日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
直播 | 训练深度脉冲神经网络
AI科技评论
6+阅读 · 2019年1月24日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
脉冲神经网络,下一代机器学习?
专知
12+阅读 · 2018年1月13日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
Arxiv
0+阅读 · 2021年8月25日
Arxiv
7+阅读 · 2021年7月5日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
6+阅读 · 2019年4月8日
SepNE: Bringing Separability to Network Embedding
Arxiv
3+阅读 · 2019年2月26日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
CoCoNet: A Collaborative Convolutional Network
Arxiv
6+阅读 · 2019年1月28日
VIP会员
相关资讯
脉冲神经网络(SNN)概述
人工智能前沿讲习班
60+阅读 · 2019年5月30日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
直播 | 训练深度脉冲神经网络
AI科技评论
6+阅读 · 2019年1月24日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
脉冲神经网络,下一代机器学习?
专知
12+阅读 · 2018年1月13日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
相关论文
Arxiv
0+阅读 · 2021年8月25日
Arxiv
7+阅读 · 2021年7月5日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
6+阅读 · 2019年4月8日
SepNE: Bringing Separability to Network Embedding
Arxiv
3+阅读 · 2019年2月26日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
CoCoNet: A Collaborative Convolutional Network
Arxiv
6+阅读 · 2019年1月28日
Top
微信扫码咨询专知VIP会员