深度学习算法的激活函数研究

张有健; 陈晨; 王再见

首页> 中文期刊> 《无线电通信技术》 >深度学习算法的激活函数研究

深度学习算法的激活函数研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

作为深度学习算法中重要的环节,激活函数可以为神经网络引入非线性因素.大量学者通过提出或改进激活函数的方法在一定程度上提高了算法的优化及泛化能力.研究了现阶段的激活函数,将激活函数大致分为S系激活函数和ReLU系激活函数,从不同激活函数的功能特点和存在的饱和性、零点对称和梯度消失及梯度爆炸的现象进行研究分析,针对Sigmoid,Tanh,ReL,P-ReLU,L-ReLU等典型激活函数分别应用在卷积神经网络(Covolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)中测试.在CNN中使用MNIST,CIFAR-10经典数据集测试不同激活函数,并在RNN中使用大豆粮油数据集对大豆的产值进行预警,通过结果得到S系激活函数比ReLU系激活函数收敛更快,而ReLU系激活函数则在精度上优于S系激活函数,其中P-ReLU在大豆产值预测中达到93％的最高精度.

著录项

来源
《无线电通信技术》 |2021年第1期|115-120|共6页
作者
张有健; 陈晨; 王再见;
展开▼
作者单位

安徽师范大学物理与电子信息学院安徽芜湖241002;

安徽省智能机器人信息融合与控制工程实验室安徽芜湖241002;

安徽师范大学物理与电子信息学院安徽芜湖241002;

安徽省智能机器人信息融合与控制工程实验室安徽芜湖241002;

安徽师范大学物理与电子信息学院安徽芜湖241002;

安徽省智能机器人信息融合与控制工程实验室安徽芜湖241002;

展开▼
原文格式 PDF
正文语种 chi
中图分类人工神经网络与计算;
关键词
激活函数; 卷积神经网络; 循环神经网络; 深度学习;

相似文献

中文文献
外文文献
专利

1. 基于Swish激活函数的人脸情绪识别的深度学习模型研究 [J] . 王灵矫1 ,李乾1 ,郭华1 . 图像与信号处理 . 2019,第003期
2. 关于非线性激活函数的深度学习分类方法研究 [J] . 杨国亮 ,许楠 ,李放 . 江西理工大学学报 . 2018,第003期
3. 深度学习中三种常用激活函数的性能对比研究 [J] . 周畅 ,米红娟 . 北京电子科技学院学报 . 2017,第004期
4. BP神经网络算法考虑激活函数后对强震路基塌陷变形预测研究 [J] . 张聚贤 ,刘伟 . 地震工程学报 . 2019,第002期
5. BP神经网络算法考虑激活函数后对强震路基塌陷变形预测研究 [J] . 张聚贤1 ,刘伟2 . 地震工程学报 . 2019,第002期
6. 基于新组合激活函数的ＢＰ算法的ＡＮＮ及其在连续模糊控制中的应用 [C] . 沈晓晖 . 全国工业控制系统学术会议 . 1994
7. 一种新型自适应神经网络激活函数用于深度学习研究 [A] . 刘宇晴 . 2020

深度学习算法的激活函数研究

摘要

著录项

相似文献

相关主题

期刊订阅