激活函数

摘要： 目的:解决烟叶分级准确率不高的问题。方法:提出一种改进的基于卷积神经网络的烟叶分级模型,根据VGG16网络结构,以自定义的方式搭建网络模型;将空洞卷积代替原有的传统卷积,增加图像感受野的同时避免了图像特征的损失,并将激活函数改为Leaky;elu,修正数据的分布,解决ReLU函数的硬饱和问题;用41种等级的烟叶图片加以测试。结果:试验改进算法分级准确率达95.89%,与传统SVM算法相比提高了10.46%,与经典VGG16算法相比提高了7.87%,损失率最终收敛于0.13。结论:与原始模型和传统特征提取的方式相比,试验算法在烟叶分级准确率性能上有所提高。

摘要： 餐桌清理机器人能够对餐具进行自动分类与定位,并通过机械臂抓取回收,实现自动清理餐桌的功能。针对餐桌清理机器人硬件性能的局限性和餐具目标的多尺度特点,文中提出一种基于多尺度分离的改进YOLOv4-Tiny实时性餐具检测模型。设计HS-CSP(Hierarchical-Split Cross Stage Partial)模块增强模型的多尺度特征提取能力;应用Mish激活函数改进Leaky ReLU激活函数;应用AdaBelief优化器改进Adam优化器,在自建的餐具数据集上进行训练。通过对比实验得出3个改进点可有效提升模型的检测精度。最后,对比YOLOv3算法、CenterNet算法和YOLOv4-Tiny算法的检测准确性与检测速度。实验结果表明:文中的改进模型有较好的综合性能,准确率达到86.13%,检测帧数达到176 f/s;与另外两种算法相比,参数量相近时,YOLOv4-Tiny算法的检测精度有所提升,且检测速度可以满足实时性要求。该模型在餐桌清理机器人的餐具检测方面具有较好的应用价值。

摘要： 番茄病害的及时检测可有效提升番茄的质量和产量。为实现番茄病害的实时无损伤检测,本研究提出了一种基于改进MobileNetV3的番茄叶片病害分类识别方法。首先选择轻量级卷积神经网络MobileNetV3,在Image Net数据集上进行预训练,将预训练得到的共享参数迁移到对番茄叶片病害识别的模型上并做微调处理。采用相同的训练方法对VGG16、ResNet50和Inception-V3三种深度卷积网络模型也进行迁移学习并进行对比,结果显示MobileNetV3的总体学习效果最好,在Mixup混合增强和focal loss损失函数下对10类番茄病害的平均测试识别准确率达到94.68%。在迁移学习的基础上继续改进MobileNetV3模型,在卷积层引入空洞卷积和感知机结构,采用GLU(Gated Liner Unit)闸门机制激活函数,训练得到最佳的番茄病害识别模型,平均测试的识别准确率98.25%,模型的数据规模43.57 MB,单张番茄病害图像的检测耗时仅0.27 s。经十折交叉验证(10-Fold Cross-Validation),模型的鲁棒性良好。本研究可为番茄叶片病害的实时检测提供理论基础和技术支持。

摘要： 与传统的机理性水质预测模型和机器学习算法相比,深度学习模型依靠自身的激活函数,能够更好的处理水质因子时序性和非线性等特点,一定程度上解决了传统水质模型预测精度低的问题。在满足一定的精度情况下,预测未来较长时间的水质状态,为水质预测预警提供了新的机遇与途径。本文回顾了深度学习模型预测原理、预测对象以及水质预测预警的研究进展,主要分析了近年来深度学习模型在水质预测上的应用,并分析了影响深度学习模型预测精度的因素。在此基础上对深度学习模型预测水质进行了展望,提出了要发展天地空一体化的水质监测预测系统。

摘要： 将深度卷积神经网技术应用于人脸微表情识别是近年来的研究热点,但是,研究成果还未进一步完善,主要表现在其识别能力还是拥有精度不足等问题。本文提出了一种改进的LeNet-5卷积神经网络,在卷积神经网络中引入随机失活法(Dropout),消除过拟合现象,提升神经网络算法精度。

摘要： 为解决在数据不平衡条件下使用XGBoost框架处理二分类问题时算法对少数类样本的识别能力下降的问题,提出了基于代价敏感激活函数的XGBoost算法(Cost-sensitive Activation Function XGBoost,CSAF-XGBoost)。在XGBoost框架构建决策树时,数据不平衡会影响分裂点的选择,导致少数类样本被误分。通过引入代价敏感激活函数改变样本在不同预测结果下损失函数的梯度变化,来解决被误分的少数类样本因梯度变化小而无法在XGBoost迭代过程中被有效分类的问题。通过实验分析了激活函数的参数与数据不平衡度的关系,并对CSAF-XGBoost算法与SMOTE-XGBoost,ADASYN-XGBoost,Focal loss-XGBoost,Weight-XGBoost优化算法在UCI公共数据集上的分类性能进行了对比。结果表明,在F1值和AUC值相同或有提高的情况下,CSAF-XGBoost算法对少数类样本的检出率比最优算法平均提高了6.75%,最多提高了15%,证明了CSAF-XGBoost算法对少数类样本有更高的识别能力,且具有广泛的适用性。

摘要： 针对污水处理过程具有复杂非线性特性以及出水BOD难以精确测量的问题,文中提出一种基于变宽度的逆平方根和高斯函数线性组合的RBF神经网络软测量方法。神经网络的激活函数由逆平方根函数和高斯函数线性组合,弥补了单一激活函数在某些区间饱和的问题,提高了隐层激活函数的表达能力和自适应能力。由于激活函数的宽度对模型的泛化性能有较大的影响,因此引入基于核密度的变宽度策略可以有效提高网络泛化能力。文中采用改进LM算法实现了神经网络参数的在线学习。基于污水处理过程实际运行数据的仿真实验表明,所提方法对于出水BOD具有较高的预测精度和良好的自适应能力。

摘要： 为解决噪声干扰导致轴承故障分类准确率降低的问题,提出了一种基于格拉姆角场(GAF)和多尺度卷积神经网络(MSCNN)的端到端故障诊断方法。通过对故障信号进行GAF图像变换保留时间序列的相关性与依赖性,并将图像输入MSCNN中进行分类,利用改进的激活函数克服传统CNN的梯度下降问题以获得更好的分类结果。试验结果表明,所提方法在轴承故障诊断中的分类准确率能够达到99.67%,而且具有较高的鲁棒性,适用于不同工况下轴承振动信号的故障诊断。

摘要： 针对轻量型深度神经网络SqueezeNet存在中间流动数据量大及消耗计算周期长等问题,文中提出以处理块结构划分整个网络来加速计算。每个处理块由Expand层和Squeeze层组成。以Squeeze层结束的处理块结构减少了计算模块与内存间流动的中间数据量,降低了读写消耗。利用激活函数的特性,在核心计算模块引入提前结束卷积计算技术,并为其设计有效索引生存单元、有效索引控制取值单元和卷积判断单元,可跳过卷积计算中无效值占用的计算量和计算周期。实验结果表明,该加速器能减少55.38%的数据流动量,并将无效值所占的计算量和计算周期减少14.68%。

摘要： 尽管基于卷积神经网络(CNN)的人脸检测器在精度上已经有了很大提升,但所需的计算量和模型复杂度越来越高,如何在计算能力有限的嵌入式设备上应用人脸检测模型是一个很大的挑战。针对320×240分辨率输入图像的人脸检测在嵌入式系统上的应用问题,提出了一种基于轻量级网络的低分辨率人脸检测算法。该算法使用注意力机制、结合了Distance-IoU (DIoU)与非极大值抑制(NMS)、使用Mish激活函数,同时针对人脸特征比例设置合适的先验框,实现了精度和速度的平衡,并部署到嵌入式平台中。具体地,用深度可分离卷积替代普通卷积,并在卷积块后加入注意力模块(CBAM),使网络更关注待识别的目标物体;代替ReLU激活函数,采用了Mish激活函数来提高模型推理速度;通过结合DIoU与NMS,提高模型对小人脸的检测能力。实验在WIDERFACE数据集的结果证明,该方法不仅能实时高精度地进行人脸检测,而且在小分辨率输入上,精度高于传统算法。扩充数据集之后,模型在复杂光照下的泛化性得到提高。

摘要： 激活函数是一个神经元及网络的核心,Hopfield网络激活函数形式的选用和设计是由网络的复杂性和具体任务要求所决定的,通常依据特定问题所要获得的输出值的不同来选择相应的激活函数.激活函数的设计和选用是否合理直接决定着算法是否成功并影响到算法性能的优劣性.本文详细介绍了一种激活函数来检测各类QAM信号,并用高阶QAM激活函数来检测低阶QAM信号.文中还给出了能量函数的设计与分析,盲检测信号权矩阵的配置方法.实验仿真结果表明,本文所选的激活函数能很好的检测出各类QAM信号,而且在各类QAM信号中具有较强的适应性.

摘要： 本文对激活函数可训练的神经元模型进行了研究。文章重点介绍了TAF神经元的一般模型,并从计算高效性的角度给出了构造TAF神经元激活函数的两类方法。

摘要： 每一分钟世界失去48个足球场的原始森林,为了遏止破坏原始森林的行为,统计人类在森林地区的活动痕迹尤为重要,其困难之处在于森林地区遥感影像中地物交错,而且气象特征难以用区域分割方式表达.本文针对高分遥感影像多标签分类问题,提出一种基于卷积神经网络将多标签分类问题转化为多类分类问题的方法,用sigmoid激活函数替代多类分类中的softmax激活函数,用阈值搜索函数求得二分类的自适应阈值,相比手动提取特征的XGBoost方法和OVR方法的F2值(召回率和准度的调和平均数的变体,权重为2)高出0.03到0.05.试验中基于八万平方米森林地区的3米分辨率红、绿、蓝、近红外四波段卫星遥感影像,进行了包括树木、云、居民区、道路、水体等17类多标签分类研究.实验结果表明,本文提出的sigmoid激活函数结合阈值搜索的方法可以有效的提高多标签分类的性能,该研究将有助于进行高分影像场景理解,更精准地发现原始森林砍伐行为.

摘要： 提出一种基于自然梯度的语音盲分离改进算法。该算法主要是通过选择合适的非线性激活函数及自适应步长因子对传统的自然梯度算法进行改进。计算机模拟实验结果显示，该算法能够有效分离随机混合的自然语音信号。

摘要： 混沌时间序列预测是信号处理和自动控制领域中一个重要的研究方向，神经网络学习算法在处理这种高复杂性，强非线性的时间序列具有很好的优势。本文中，作者应用一种具有良好性能的单隐层前向神经网络学习算法，极端学习机（ELM）学习算法，来进行混沌时间序列问题的预测，仿真结果表明ELM算法在具有较快学习速度的前提下，能够获得较好的预测性能。且极端学习机激活函数的选择具有问题依赖性。

摘要： 本文提出一种电力谐波的测量方法,首先确定初相角,在初相角已知的状态下,利用多层前馈网络测量谐波的幅值.使用动量法和学习率自适应法训练网络,并对神经元不同的激活函数进行讨论.经过训练的神经网络可以测量出各次谐波,对含有谐波的畸变电流的仿真结果说明了该方法的有效性.

摘要： 在没有假设激活函数有界和可微的条件下,给出了一类时滞神经网络可保证指数周期解存在且唯一的充分条件.所得结论推广了作者先前的工作.

摘要： 本研究以三维几何模型组件为例,采用增加动量因子和学习速率的方法对基本BP神经网络进行改进,实现了对三维模型的分类。在分类过程中,首先获取各个三维几何组件的边界框(Bounding Box),从中提取需要的输入信息,而后利用改进的BP网络对从三维几何模型提取到的数据进行分类。通过与传统的BP网络进行对比,表明改进后的BP网络收敛速度快,精度高,可以用于三维几何组件分类。

摘要： 本研究以三维几何模型组件为例,采用增加动量因子和学习速率的方法对基本BP神经网络进行改进,实现了对三维模型的分类。在分类过程中,首先获取各个三维几何组件的边界框(Bounding Box),从中提取需要的输入信息,而后利用改进的BP网络对从三维几何模型提取到的数据进行分类。通过与传统的BP网络进行对比,表明改进后的BP网络收敛速度快,精度高,可以用于三维几何组件分类。

摘要： 本研究以三维几何模型组件为例,采用增加动量因子和学习速率的方法对基本BP神经网络进行改进,实现了对三维模型的分类。在分类过程中,首先获取各个三维几何组件的边界框(Bounding Box),从中提取需要的输入信息,而后利用改进的BP网络对从三维几何模型提取到的数据进行分类。通过与传统的BP网络进行对比,表明改进后的BP网络收敛速度快,精度高,可以用于三维几何组件分类。

摘要： 本公开涉及一种激活函数处理方法，该激活函数处理方法包括：通过参考共享查找表，在第一模式下处理第一激活函数，该共享查找表包括第一激活函数的多个函数值；并且通过参考共享查找表，在第二模式下处理第二激活函数，第二激活函数是与第一激活函数不同的函数。

摘要： 本发明公开了一种激活函数安全计算方法和Tanh函数安全计算方法，本发明为了保留原有的Sigmoid函数算法结构，采用随机参数的方式实现安全计算，解决了现有技术中将隐私保护深度学习算法中的Sigmoid函数替换为相应密码学友好的函数进行安全计算，改变了原有的算法结构，导致隐私保护深度学习算法性能变差的问题。

摘要： 本发明公开了一种神经网络激活函数模拟电路及其设计方法，该神经网络激活函数模拟电路由三级放大电路级联组成，用于实现Sigmoid函数，第一级放大电路由带偏置的同相组态运算放大器构成，第二级和第三级放大电路由反相组态运算放大器构成；将Sigmoid函数简化为y＝0.2x+0.5，将模拟电路输入电压信号分为三段，由第一级放大电路将三段信号并行映射到0‑5V；由第二级和第三级放大电路依次进行线性变换，将0‑5V最终映射到0‑1V。本发明电路结构简单，功耗低，可以近似实现Sigmoid函数功能，降低用于实现神经网络的硬件系统资源消耗，提高神经网络激活函数硬件电路运算速度，在人工神经网络硬件实现电路领域具有广阔的应用前景。

摘要： 本公开包括与定义用于人工智能(AI)操作的激活函数有关的设备和方法。实例设备可包括数个存储器阵列和控制器，其中所述控制器包括数个激活函数寄存器，其中所述数个激活函数寄存器定义由所述设备执行的人工智能(AI)操作的激活函数。

摘要： 本发明提供了一种计算机视觉神经网络中替换激活函数的重训练方法及系统，涉及计算机视觉神经网络技术领域，该方法包括：单阶段的替换训练方法范式或两阶段的替换训练方法范式；所述单阶段的替换训练方法范式或所述两阶段的替换训练方法范式包括：指定训练方案参数后启动训练程序，再给出替换激活函数后的模型权重文件。本发明适用性良好，表现稳定，能够快速且稳定地把精度重训练至原模型精度接近的水准。

摘要： 本发明公开了具有非凸激活函数的噪声抑制零化神经网络求解时变矩阵平方根，首先对原始问题进行抽象与建模，将问题转化为求解时变矩阵平方根的数学模型，之后将该数学模型通过求导和克罗内克积转化为动态矩阵线性方程问题，采用非凸激活和噪声抑制零化神经网络进行迭代求解，在求解的过程中不断对系统残差以及状态变量进行映射及变换，调整网络的求解策略。最终当迭代求解出的模型系统满足预定义的条件及精度后停止迭代并输出模型系统。和传统的其他求解时变矩阵平方根的方法相比，本发明算法有更高的收敛精度、收敛速度和鲁棒性。

摘要： 本发明公开了一种加速训练循环神经网络的混合激活函数确定方法，包括步骤：初始化循环神经网络的权值参数W，以及混合激活函数的参数；将数据集输入循环神经网络，计算误差分量，更新权值参数，计算代价函数下降幅度；若代价函数下降幅度Jd满足预设条件，则更新激活函数参数；迭代训练循环神经网络，直至代价函数J小于预设数值χ或达到预定迭代训练次数。采用本发明，结合双曲正切函数和线性函数，提出了混合激活函数，彻底消除激活函数的饱和区，确保激活函数在误差反向传播过程中其导数不再为0。本方法简单、实用，便于推广，具有很大的应用价值。

摘要： 神经计算电路(180)含有一位于一半导体衬底(0)之中的乘法器(152)和一堆叠在所述乘法器(152)之上的三维存储（3D‑M）阵列(196)。3D‑M阵列(196)存储至少一激活函数的查找表。3D‑M阵列(196)与乘法器(152)至少部分重合，乘法器(152)的输出与3D‑M阵列(196)的输入耦合。3D‑M阵列(196)最好是三维只读存储器（3D‑ROM），尤其是三维印录存储器（3D‑P）。

摘要： 本发明属于神经网络技术领域，公开一种改进型的神经网络半饱和激活函数模型的设计方法：S1、将神经网络的连接权重梯度分解为权值累积影响因子和激活函数导数累积影响因子；S2、把神经网络的激活函数的输入划分为大于等于零和小于零的数据范围；S3、针对大于等于零的数据范围，生成半饱和激活函数必须满足的第一选择条件；S4、依据第一选择条件，选择一个非饱和的激活函数作为神经网络的半饱和激活函数的第一组成部分；S5、针对小于零的数据范围，生成半饱和激活函数必须满足的第二选择条件；S6、依据第二选择条件，构造一个饱和的激活函数作为神经网络的半饱和激活函数的第二组成部分，本发明在相同神经网络下，能表现出更好的收敛速度和稳定性。

摘要： 本发明公开了一种基于激活函数的轨迹数据融合方法，包括：S1、设立外点剔除条件，将不满足条件的GPS位移数据作为外点剔除；S2、对物体建立运动系统模型并采用卡尔曼滤波公式，对GPS位移数据和磁感应数据进行滤波；S3、以磁感应速度数据进行对齐计算，并根据不同的先后顺序对GPS位移数据和磁感应位移数据进行插值对齐；S4、引入基于运动速度的激活函数，计算融合后的数据。本发明采用事件触发外点剔除策略剔除GPS数据中的外点、对不同传感器数据分别进行卡尔曼滤波、采用双向插值的方式进行数据对齐以及在数据融合中引入速度导向的激活函数等对数据融合技术改进的措施，可以获得更准确的轨迹数据。