神经网络集成

摘要： 针对单一神经网络存在精度低、泛化能力弱等问题,提出了基于神经网络集成的阵地工程效能评估模型。结合某合成旅阵地工程规划方案效能评估实例,由历史数据独立训练出若干个神经网络,选出多个精度较高且差异性较大的个体网络,组合构成神经网络集成。仿真实验结果表明,神经网络集成的评估性能明显优于最优的单个神经网络,且操作简单,评估快速,结果稳定,对于神经网络集成在评估领域中的推广应用具有积极意义。

摘要： 针对单一神经网络存在精度低、泛化能力弱等问题,提出了基于神经网络集成的阵地工程效能评估模型.结合某合成旅阵地工程规划方案效能评估实例,由历史数据独立训练出若干个神经网络,选出多个精度较高且差异性较大的个体网络,组合构成神经网络集成.仿真实验结果表明,神经网络集成的评估性能明显优于最优的单个神经网络,且操作简单,评估快速,结果稳定,对于神经网络集成在评估领域中的推广应用具有积极意义.

摘要： 针对量子免疫算法在神经网络集成结论生成时存在精英损失和过早收敛的问题,提出了改进量子免疫算法.改进算法在免疫选择时采用精英策略保留最优个体,提升了收敛效率,并引入反转策略增加个体多样性,加强了全局搜索能力.仿真实验结果表明,改进量子免疫算法是集成结论优化的有效方法,泛化性能明显优于简单平均、推广集成等传统方法.

摘要： 论文针对目前神经网络集成结论生成方法存在的问题,改进量子遗传算法,提出了一种新的集成结论生成方法.该方法利用量子旋转门更新种群以增加种群的多样性,并采用精英策略保留最优群体以加快寻优速度.仿真实验结果表明,该方法得到的集成结论,泛化性能明显优于简单集成、推广集成等传统方法.

摘要： CEVA宣布其CEVA-BXDSP内核与瞄准会话型人工智能和情境感知应用的WhisPro语音识别软件现在支持TensorFlow Lite for Microcontrollers,后者是一款可量产的跨平台框架,用于在边缘设备中的低功耗处理器上部署微型机器学习应用。

摘要： 命名实体识别通常利用词向量模型提取词向量空间作为固定全局特征,通过单一神经网络进行训练并测试结果,特征提取单一,泛化能力不佳.针对上述问题,使用神经网络集成,将多个双向长短时记忆神经网络进行有效结合、综合决策.将ε不敏感损失函数引入到双向长短时记忆神经网络中,证明其能保证个体分类器的差异性.通过实验分析不同的词特征提取、神经网络模型结构、模型参数对个体分类器差异性的影响,通过理论分析和实验研究对集成学习在命名实体识别领域中个体分类器差异性带来的有益效果进行研究.通过实验结果验证了个体分类器差异性与集成学习的提升度之间的密切联系.

摘要： 针对宫颈细胞病理图像自动筛查问题,本文提出一种基于人工智能技术的计算机辅助诊断方法.该方法通过对宫颈细胞病理图像采用自适应双阈值法进行初步检测,再采用改进Chan-Vase模型进行精确分割,提取出细胞(粘连簇团)中的不同区域.然后,结合病理诊断专家规则,构建相应的正交特征集.在此基础上,使用神经网络集成模型进行正常、疑似病变二分类识别,完成计算机辅助诊断.实验表明,本文方法能够有效完成宫颈病理细胞(粘连簇团)的分类识别,具有较高的正确率(84%)与较低的误判率(2.1%).满足了在保证判断正确率的条件下,尽量降低将疑似病变样本误判为正常样本的实际病理诊断要求.%Aiming to the automatic screening of cervical cytopathological images,an artificial intelli-gence based automatic diagnosis-assisted method was proposed.First of all,adaptive dual threshold method was used to detect the cervical cytopathological images initially.Secondly,improved Chan-Vase model was used to precisely extract different areas of adhesive cell cluster.After that,the related feature set was built according to the diagnostic rules of pathological experts.At last,neural network ensemble was applied to normal or suspected lesions two-classification recognition.The result of the experiment showed that cervical cell lesions could be effectively distinguished according to clas-sification with this method,which had high accuracy(84%)and low rate of misjudgment(2.1%), meeting the practical requirement of pathological diagnosis,which is reducing the miscalculating of the suspected lesions to normal ones,meanw hile assuring the diagnostic accuracy.

摘要： 应用人工神经网络,对油基钻井液体系CQ-WOM在不同密度和高温高压条件下的Φ3读值、塑性黏度和动切力三个流变性参数进行预测.在模型训练中,文章采用了神经网络集成来提高人工神经网络的泛化能力.模型检验结果表明,采用神经网络集成后,预测精度大幅提高,可以快速准确地预测油基钻井液模型的高温高压流变性.运用神经网络集成进行预测,能大幅提高预测精度,可快速准确预测.

摘要： 针对神经网络集成技术,分别介绍了个体网络生成方法和集成结论生成方法,通过数值试验,验证了神经网络集成技术的计算性能具有明显的优势.

摘要： 随着国家科技水平的进步,科研人员将神经网络集成和规则学习进行了结合,进一步提出了以神经网络集成作为规则学习算法的基础.这种先进的规则学习算法是将神经网络集成作为前提,使用神经网络集成的方式总结出规则学习所使用的数据集,然后再学习规则学习算法.

摘要： 将神经网络集成(NNE)算法应用于表面肌电信号(sEMG)的模式识别领域中,并通过小波包分解(WPD)算法提取表面肌电信号的特征向量,利用Bagging算法生成神经网络集成模型,采用BP神经网络作为参与集成的单个神经网络,利用相对多数投票决策法获得集成神经网络的输出.最后,将采集得到的手臂4个不同运动模式下的表面肌电信号进行模式识别,实验结果表明,与单个神经网络相比,集成神经网络可以显著地提高sEMG的识别率,证明了将神经网络集成用于sEMG模式识别的有效性和可行性.

摘要： 神经网络集成通过训练多个神经网络并通过Bagging方法将其结果按投票规则进行合成,Bagging是一种用来提高学习算法准确度的方法,就可以显著地提高学习系统的泛化能力.本文针对三维模型检索系统,设计并实现了一个以神经网络为弱分类器的、基于Bagging的三维模型类别识别系统.对Princeton Shape Benchmark的实验表明,与单个神经网络分类器相比,集成后的系统在三维模型类别识别中取得了较好的效果.

摘要： 神经网络集成通过训练多个神经网络并将其结论进行融合,可以显著地提高学习系统的泛化能力.本文从神经网络集成构造过程综述了提高神经网络集成性能的方法,针对目前集成方法研究中网络生成过程和决策过程集成输出不一致的问题,本文提出一种新的集成模式-紧凑神经网络集成模式,该模式在同一个学习过程中同时优化成员网络结构参数和成员网络的权重,从而可望使训练过程与决策过程一致,并有望使网络集成的稳定性和泛化性得到提高.

摘要： 在机械产品的可靠性分析、设计和使用中,产品故障分布是科学决策的重要依据.目前常见的数据分布类型的判别方法都存在一定的局限性,本文提出了一种新的判别方法一基于神经网络集成的可靠性分布模式的智能判别法.这种方法通过多个神经网络的集成来协同识别产品故障分布,所以它较之单个神经网络有更强的推广能力、更容易训练.仿真结果表明,将神经网络集成理论应用于可靠性分布模式的自动识别是可行的、有效的.

摘要： 针对标准参照测验题库建设中存在的问题,提出了运用广义回归神经网络集成来估计标准参照测验的IRT项目参数的新方法,讨论了建立神经网络集成的理论依据,给出了实现方法,并以单参数的Logistic模型为研究对象进行模拟实验研究.结果表明,在较小考生样本情况下,相对于传统IRT方法,神经网络集成可以得到远远优于它的结果。

摘要： 应用人工神经网络,对油基钻井液体系在不同密度和高温高压条件下的Φ3、塑性黏度和动切力3个流变性参数进行预测.在模型训练中,采用了神经网络集成来提高人工神经网络的泛化能力.模型检验结果表明:采用神经网络集成后,预测精度大幅提高,可以快速准确地预测油基钻井液的高温高压流变性.

摘要： 本文提出了一种新的基于选择性神经网络集成的图像相关反馈机制。在用户标注正负示例的基础上，首先利用改进的Bagging算法训练出若干个体网络分类器，之后提出一种新颖的基于可达性矩阵的简单聚类方法(AM)对个体网络聚类，自动获得聚类数目以及聚类结果,在每一类中选择最优网络进行集成,并在相关类上寻找相似图像。在COREL图像库中的实验表明，与传统的基于K-means聚类和最大最小距离法(MM)聚类进行的神经网络集成相比，该聚类集成机制获得了更高的查全率和查准率，并且兼顾了运行的高效性以及算法的智能性。

摘要： 利用遗传算法的全局搜索能力同时进化设计三层BP神经网络的结构和连接权,并以进化后的网络结构和连接权作为新的神经网络结构和初始连接权,再进行新一轮BP神经网络训练,把训练后的结果采用简单平均集成,以此建立气候预测模型.以广西的月降水量进行实例分析,计算结果表明该方法预报精度高、而且在实际预报中易于操做,是一种具有较高应用价值的预测方法.

摘要： 垃圾邮件的误判问题一直是反垃圾邮件领域中未能得到根本解决的难点.基于清华大学邮箱系统及反垃圾邮件网关系统进行了一整年的部署和实验(2011年9月至2012年10月),通过用户对可疑垃圾邮件点击召回的历史行为进行分析,并采用对其感兴趣的垃圾邮件进行文本相似度计算以及关键参数预测的方法来智能化预测用户对当前某一封垃圾邮件的感兴趣程度,即基于用户主观的选择和体验来帮助用户自动召回其可能感兴趣、然而却被反垃圾邮件网关误判的垃圾邮件,解决了传统过滤方法无法杜绝误判的问题.

摘要： 垃圾邮件的误判问题一直是反垃圾邮件领域中未能得到根本解决的难点.基于清华大学邮箱系统及反垃圾邮件网关系统进行了一整年的部署和实验(2011年9月至2012年10月),通过用户对可疑垃圾邮件点击召回的历史行为进行分析,并采用对其感兴趣的垃圾邮件进行文本相似度计算以及关键参数预测的方法来智能化预测用户对当前某一封垃圾邮件的感兴趣程度,即基于用户主观的选择和体验来帮助用户自动召回其可能感兴趣、然而却被反垃圾邮件网关误判的垃圾邮件,解决了传统过滤方法无法杜绝误判的问题.

摘要： 提供一种大幅缩小电路规模以及成本、具有高效且多样性的神经网络电路。该神经网络电路具备：记忆单元(1)，用于实现将1位的输入数据(I)与加权系数(W)进行相乘的乘算功能且与输入数据(I)的数量相同；以及多数判定电路(2)，用于实现将各记忆单元(1)中的乘算结果进行相加且将激活函数应用于该加算结果并输出1位的输出数据的加算/应用功能。各记忆单元(1)存储作为“1”或“0”的加权系数、或“NC”的任意一个，在输入数据(I)＝存储值的情况下输出“1”，在输入数据(I)的值≠存储值的情况下输出“0”，在存储了“NC的情况下对其进行输出。多数判定电路(2)基于输出“1”的记忆单元(1)的总数与输出“0”的记忆单元(1)的总数而输出“1”或“0”。

摘要： 一种用于矩阵计算的光子张量核集成电路的硬件架构及其神经网络训练方法。基于光电混合相干探测与电子累积原理，实现了一种集成化的光子点积计算单元(以下简称DPU)，并且将DPU阵列式排布，形成大规模并行化的矩阵乘法计算硬件，即张量核。通过双层扇入波导总线设计，实现了二维大规模DPU阵列的互连。本发明还具体提出了将光子张量核集成电路应用于神经网络训练中的方法。本发明实现高速数据加载与高速矩阵计算；避免的了光电时钟速率不匹配导致的木桶短板效应；双层波导总线设计避免波导交叉的损耗与串扰；可以应用于所有包含矩阵计算的算法中，包括神经网络推理与训练。

摘要： 提供一种大幅缩小电路规模以及成本、具有高效且多样性的神经网络电路。该神经网络电路具备：记忆单元(1)，用于实现将1位的输入数据(I)与加权系数(W)进行相乘的乘算功能且与输入数据(I)的数量相同；以及多数判定电路(2)，用于实现将各记忆单元(1)中的乘算结果进行相加且将激活函数应用于该加算结果并输出1位的输出数据的加算/应用功能。各记忆单元(1)存储作为“1”或“0”的加权系数、或“NC”的任意一个，在输入数据(I)＝存储值的情况下输出“1”，在输入数据(I)的值≠存储值的情况下输出“0”，在存储了“NC的情况下对其进行输出。多数判定电路(2)基于输出“1”的记忆单元(1)的总数与输出“0”的记忆单元(1)的总数而输出“1”或“0”。

摘要： 本发明提供一种不需要偏置的神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序。二值化神经网络电路(100)具有：输入输入值x1～xn(xi)(二值)的输入节点和输入权重w1～wn(wi)(二值)的输入部(101)；XNOR门电路(102)，其接收输入值x1～xn和权重w1～wn，且进行XNOR逻辑运算；求和电路(103)，其求出各XNOR逻辑值的总和；批归一化电路(41)，其通过扩大归一化范围且使中心位移的处理来修正由二值化导致的分布不平衡；和激活函数电路(35)，其使用激活函数fsgn(B)对信号B进行转换，其中所述信号B是对求出总和之后的信号Y进行批归一化得到的信号。

摘要： 本发明提供一种无需批归一化电路的神经网络电路装置、神经网络、神经网络处理方法及神经网络的执行程序。二值化神经网络电路(100)具备：输入输入值x1～xn(xi)(二值)的输入节点及输入加权w1～wn(wi)的输入部(101)、接收输入值x1～xn及加权w1～wn并采用XNOR逻辑的XNOR门电路(102)、输入多位偏置W'的多位偏置W'输入部(110)、取各XNOR逻辑值和多位偏置W'的总和的求和电路(103)及对于取总和后的信号Y仅输出符号位的激活电路(120)。

摘要： 本发明提高数据并行型分散学习的吞吐量。神经网络系统具有存储器和访问存储器的多个处理器，多个处理器中的每一个处理器在多次学习中的每一次学习中，基于训练数据的输入和神经网络内的参数执行神经网络的运算来计算神经网络的输出，计算计算出的输出与训练数据的教师数据的差分相对于参数的梯度或者基于梯度的更新量，(1)在梯度或者更新量的累积不小于阈值的第一情况下，执行多个处理器将分别计算出的多个梯度或者更新量的累积发送到多个处理器内的其它的处理器来汇集多个梯度或者更新量的累积，接收汇集后的梯度或者更新量的累积，用汇集后的梯度或者更新量的累积更新参数的第一更新处理，(2)在梯度或者更新量的累积小于阈值的第二情况下，执行多个处理器不进行基于发送的多个梯度或者更新量的累积的汇集，用多个处理器分别计算出的梯度或者更新量更新各自的参数的第二更新处理。

摘要： 本公开涉及训练神经网络的方法、训练神经网络的系统以及神经网络。一种用于训练第一神经网络，以在图像输入到第一神经网络时，检测在该图像上可见并且属于给定对象类别的对象的视点的方法，包括：提供不同视点下的多对图像的数据集，提供被配置成能够得出对象的外观信息的第二神经网络，提供被配置成能够使用外观信息和视点，得出所述类别的对象的合成图像的第三神经网络，联合训练第一神经网络、第二神经网络和第三神经网络。

摘要： 根据本发明的分布式处理用人工神经网络运算加速装置可以具有：外部主存储器，存储针对输入神经元的输入数据和突触权重；内部缓冲存储器，存储构成所述人工神经网络运算的各个循环所需的突触权重和输入数据；DMA模块，用于与所述外部主存储器及内部缓冲存储器直接发送和接收数据；神经网络运算装置，针对构成人工神经网络运算的各个循环重复地处理以下一系列顺序过程：读取存储在所述内部缓冲存储器的突触权重和输入数据、执行人工神经网络运算、将运算结果存储在所述外部主存储器；CPU，用于控制在所述外部主存储器和内部缓冲存储器存储针对输入神经元的输入数据和突触权重的操作和所述神经网络运算装置的运行；及通用通信中介块，可以与无关集成电路的类型地以物理方式连接的其他加速装置发送和接收针对所述输入神经元的输入数据和突触权重以及在所述神经网络运算装置执行的运算结果。

摘要： 一种卷积神经网络(CNN)处理装置(1)，设置有：输入缓冲器(10)，用于存储要对CNN应用的输入信号A；权重缓冲器(11)，用于存储权重U；卷积运算单元(12)，执行包括输入信号A与权重U之间的乘积‑求和运算的卷积运算；存储单元16，存储表(160)，在该表中，转换‑量化处理的输入与输出彼此相关联，其中，转换‑量化处理接受卷积运算的运算结果作为所述输入，基于预定条件来转换输入值，通过降低转换后的数据的比特精度来进行量化，并且输出结果；以及处理单元(14)，参考表(160)以获取转换‑量化处理的与卷积运算的运算结果相对应的输出。

摘要： 本发明提供一种能够通过减少存储器数量而将其配置在芯片上的神经网络电路装置、神经网络处理方法和神经网络的执行程序。三状态神经网络电路(200)具有非零卷积运算电路(21)、求和电路(22)和激活函数电路(23)，其中，所述非零卷积运算电路(21)在中间层中接收用于进行卷积的输入值Xi和权重Wi来进行卷积运算；所述求和电路(22)求取通过卷积运算得到的各运算值和偏置W0的总和；所述激活函数电路(23)用激活函数f(u)对求取总和得到的信号Y进行转换。非零卷积运算电路(21)跳过权重Wi为零的权重，来根据非零权重和与该非零权重对应的输入值Xi进行卷积运算。