增量构造式随机循环神经网络
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TP18

基金项目:

国家自然科学基金(61973306, 62373361); 江苏省优秀青年基金(BK20200086); 安徽省教育厅重点项目(2022AH051361, 2023AH052233)


Incremental-construction Random Recurrent Neural Network
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对循环神经网络(recurrent neural network, RNN)的结构不易确定、参数学习过程复杂等问题, 提出一种增量构造式随机循环神经网络(incremental-construction random RNN, IRRNN), 实现了RNN结构的增量构造与参数的随机学习. 首先建立隐含节点增量构造的约束机制, 同时利用候选节点池策略实现隐含节点的优选, 避免了网络随机构造的盲目性; 进一步, 从模型参数的局部优化与全局优化两个角度考虑, 提出模型参数的两种增量随机(incremental random, IR)学习方法, 即IR-1与IR-2, 并证明了其万能逼近特性; 同时通过研究IRRNN的动态特性, 分析了IRRNN的泛化性能. 通过实验验证了IRRNN在动态特性、紧凑性和精度等多个方面具有良好特性.

    Abstract:

    Due to the difficulty in determining the structure and training the parameters of recurrent neural network (RNN), an incremental-construction random RNN (IRRNN) is proposed to realize the incremental construction of RNN structures and the random learning of network parameters. The IRRNN establishes an incremental constraint mechanism for hidden nodes and uses the candidate node pool strategy to realize the optimal selection of hidden nodes, avoiding the blindness of random construction of the network. Two incremental random learning methods, termed IR-1 and IR-2, are designed for local and global optimization of model parameters. Additionally, their universal approximation property is proved. Meanwhile, the dynamic property of the IRRNN model is studied to analyze its generalization performance. Experiments validated that the IRRNN exhibits favorable dynamic properties, compactness, and accuracy.

    参考文献
    相似文献
    引证文献
引用本文

李文艺,代伟,南静,刘从虎.增量构造式随机循环神经网络.软件学报,,():1-21

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-10-06
  • 最后修改日期:2024-01-11
  • 录用日期:
  • 在线发布日期: 2024-12-25
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号