项目名称： 前馈神经网络的奇异学习动态研究
项目编号： No.60875035
项目类型： 面上项目
立项/批准年度： 2009
项目学科： 轻工业、手工业
项目作者： 魏海坤
作者单位： 东南大学
项目金额： 28万元
中文摘要： 由于结构对称性等原因，多层感知器、RBF网等前馈神经网络的参数空间中存在大量的奇异区域。受这些奇异区域的影响，前馈神经网络的学习过程中普遍存在着局部最小点多、学习速度慢、学习易陷入平坦区（plateau）等异常现象。研究奇异区域附近的学习动态，对理解神经网络的动力学行为、改善神经网络设计等具有重要意义。本课题拟通过分析奇异区域的稳定性及其附近的学习轨迹，研究神经网络的奇异学习动态，并揭示plateau现象为代表的各类奇异学习行为的内在机理。研究结果将为改进神经网络学习和设计提供理论支持。
中文关键词： 神经网络；奇异性；学习动态；plateau现象
英文摘要：
英文关键词：
成为VIP会员查看完整内容
相关内容
人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月15日
相关VIP内容
相关资讯
相关论文
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月15日
微信扫码咨询专知VIP会员