随机神经网络

摘要： 深度生成先验为如图像、音频和文本之类的复杂结构化数据提供了强大的模型。在反问题中使用这些先验通常需要根据对其输出的观察来估计多层深层神经网络中的输入和/或隐藏信号。虽然这些方法在实践中取得了成功,但由于底层优化问题的非凸性,严格性能分析变得复杂。Parthe Pandit等人2020年4月在《IEEE Journal on Selected Areas in Information Theory》发表文章,提出了一种用于多层随机神经网络推理的新算法--多层向量近似消息传递算法(ML-VAMP)。

摘要： 短期负荷受社会因素和自然因素的影响,使得精准负荷预测困难重重.为了提高短期电力负荷预测精度,提出一种基于改进一般随机神经网络的负荷预测模型.随机神经网络与传统的BP神经网络相比的优势在于随机神经网络在参数优化过程中不会陷入局部最优,但是随机神经也存在自身的不足.针对一般随机神经网络优化过慢;参数优化朝着局部数据而不是整体训练数据,导致最后保存模型不是对整个训练集整体的最优模型.提出在随机神经网络预测模型中用Adam算法替代传统的梯度下降优化算法加快优化,并在随机神经网络模型每次更新后计算整体数据的损失函数,保存损失函数最小时的模型.通过实验分析,验证改进的随机神经网络模型更加有效.

摘要： 给出了一种新的稳定性判据:基于线性矩阵不等式(LMI)的输入状态稳定性判据.基于模型变换,通过构造合适的Lyapunov函数,利用随机分析理论、伊藤(It?'s)公式和一些不等式方法,以线性矩阵不等式形式给出了随机变时滞神经网络的随机输入状态稳定的充分条件.然后通过数值算例说明所提出的方法有较小的保守性,表明所提出方法的有效性.%A new stability criterion based on the linear matrix inequality (LMI) input-to-state stability criterion is given. Based on model transformation, input-to-state stability of Stochastic neural networks with Time-Varying Delay is given a sufficient condition in form of linear matrix inequality by constructing appropriate Lyapunov-Krasovskii functional, stochastic analysis theory and It?'s formula and applying some inequality approach. Then, the proposed method is proven to be less conservative by illustrating with the numerical examples, which shows the effectiveness of the method.

摘要： 使用M矩阵方法,结合随机分析理论和自适应控制技术,讨论一类具有马尔可夫切换的随机时滞Cohen-Grossberg神经网络的自适应均方指数同步问题,获得保证误差系统指数稳定的充分条件.一个数值仿真例子验证了所得结论的正确性和有效性.%By using M-matrix method combined with stochastic analysis theory and adaptive control technique,the adaptive mean square exponential synchronization for a class of stochastic delayed CohenGrossberg neural networks with Markovian switching is studied.Meanwhile,some sufficient conditions for the exponential stability of the error system are derived.A numerical simulation example is provided to examine the correctness and effectiveness of the obtained theoretic results.

摘要： 为了探讨带有时变时滞的不确定随机神经网络的几乎必然指数稳定问题,通过构造一个合适的李雅普诺夫函数,利用李雅普诺夫函数法、随机分析法及线性矩阵不等式得到了不确定随机神经网络的几乎必然指数稳定的充分条件,验证了已知条件满足引理,表明带时滞的随机系统在时滞小于某个上界时,带时变时滞的不确定随机神经网络是几乎必然指数稳定的.所给出的判据是由线性矩阵不等式表示的,该判据是否有解可以通过Matlab工具箱快速地得到解决.

摘要： 运用Lyapunov函数方法，基于泛函微分方程的不变原理、随机分析理论以及自适应反馈控制技术，给出了具有Markov切换的随机神经网络混合时滞依赖的自适应同步的充分性判据，它与线性矩阵不等式方法相比更容易验证。最后，通过一个数值模拟例子验证了理论结果的正确性及有效性。%By using the Lyapunov function,the invariant principle of functional differential equation and stochastic analysis theory,as well as adaptive feedback control technique, some sufficient conditions are derived to achieve complete adaptive synchronization of the addressed neural networks. Our synchronization criterion is easily verified and does not solve any linear matrix inequality. Moreover, a numerical example and its simulation are provided, which demonstrate the effectiveness and correctness of the theoretical results.

摘要： 在仅要求时滞函数有上界的条件下,运用随机分析理论和微分不等式技巧得到了同时具有时变时滞和分布时滞的随机神经网络的p阶矩指数稳定充分条件,并用具体算例验证了方法的有效性,文章结论推广和改进了相关文献的结果.

摘要： 研究了一类具有时变时滞的离散时间随机神经网络的全局指数稳定性和全局鲁棒指数稳定性.首先构造了包含更多交叉项信息的新的Lyapunov泛函,然后将时滞区间等分为2个子区间,根据时滞函数所处不同的子区间更加细致地讨论了Lyapunov泛函Ll 相应项导数的上界,再利用不等式技巧,自由权矩阵和凸组合方法得到系统时滞相依的均方全局指数稳定新判据,还给出了系统具有范数有界的参数不确定情形下的全局鲁棒指数稳定判据,本文结果具有更少的的保守性,最后举例说明了本文方法的有效性.

摘要： 基于动态随机神经网络(DRNN:Dynamical Random Neural Network)求解典型旅行商优化问题TSP(Traveling Salesman Problem),通过简化方程参数的改进算法,针对解决大规模TSP的求解效果在时间以及路径寻优上所存在的问题,提出一种新的分区方案来解决中国31城市的旅行商问题.所获得的最优路径结果与目前公开文献中已有的其他神经网络所解的结果相比较,显示出采用随机神经网络解决多于10个变量TSP问题的优越性.实验结果表明,采用该方法解决31个城市TSP的优化,所得出的最短距离(15112.7km)比已有5种算法的结果都要少.

摘要： 多媒体数据是十分巨大的，因而必须对它进行压缩。神经网络编码是一种新兴的编码技术，该文在分析了随机神经网络的基本原理的基础上，推导了它的学习公式，然后用随机神经网络实现了一个图象编码器，并和普通bp网络作了比较。

摘要： 本发明提供一种不需要偏置的神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序。二值化神经网络电路(100)具有：输入输入值x1～xn(xi)(二值)的输入节点和输入权重w1～wn(wi)(二值)的输入部(101)；XNOR门电路(102)，其接收输入值x1～xn和权重w1～wn，且进行XNOR逻辑运算；求和电路(103)，其求出各XNOR逻辑值的总和；批归一化电路(41)，其通过扩大归一化范围且使中心位移的处理来修正由二值化导致的分布不平衡；和激活函数电路(35)，其使用激活函数fsgn(B)对信号B进行转换，其中所述信号B是对求出总和之后的信号Y进行批归一化得到的信号。

摘要： 本发明提供一种无需批归一化电路的神经网络电路装置、神经网络、神经网络处理方法及神经网络的执行程序。二值化神经网络电路(100)具备：输入输入值x1～xn(xi)(二值)的输入节点及输入加权w1～wn(wi)的输入部(101)、接收输入值x1～xn及加权w1～wn并采用XNOR逻辑的XNOR门电路(102)、输入多位偏置W'的多位偏置W'输入部(110)、取各XNOR逻辑值和多位偏置W'的总和的求和电路(103)及对于取总和后的信号Y仅输出符号位的激活电路(120)。

摘要： 本发明提高数据并行型分散学习的吞吐量。神经网络系统具有存储器和访问存储器的多个处理器，多个处理器中的每一个处理器在多次学习中的每一次学习中，基于训练数据的输入和神经网络内的参数执行神经网络的运算来计算神经网络的输出，计算计算出的输出与训练数据的教师数据的差分相对于参数的梯度或者基于梯度的更新量，(1)在梯度或者更新量的累积不小于阈值的第一情况下，执行多个处理器将分别计算出的多个梯度或者更新量的累积发送到多个处理器内的其它的处理器来汇集多个梯度或者更新量的累积，接收汇集后的梯度或者更新量的累积，用汇集后的梯度或者更新量的累积更新参数的第一更新处理，(2)在梯度或者更新量的累积小于阈值的第二情况下，执行多个处理器不进行基于发送的多个梯度或者更新量的累积的汇集，用多个处理器分别计算出的梯度或者更新量更新各自的参数的第二更新处理。

摘要： 本公开涉及训练神经网络的方法、训练神经网络的系统以及神经网络。一种用于训练第一神经网络，以在图像输入到第一神经网络时，检测在该图像上可见并且属于给定对象类别的对象的视点的方法，包括：提供不同视点下的多对图像的数据集，提供被配置成能够得出对象的外观信息的第二神经网络，提供被配置成能够使用外观信息和视点，得出所述类别的对象的合成图像的第三神经网络，联合训练第一神经网络、第二神经网络和第三神经网络。

摘要： 根据本发明的分布式处理用人工神经网络运算加速装置可以具有：外部主存储器，存储针对输入神经元的输入数据和突触权重；内部缓冲存储器，存储构成所述人工神经网络运算的各个循环所需的突触权重和输入数据；DMA模块，用于与所述外部主存储器及内部缓冲存储器直接发送和接收数据；神经网络运算装置，针对构成人工神经网络运算的各个循环重复地处理以下一系列顺序过程：读取存储在所述内部缓冲存储器的突触权重和输入数据、执行人工神经网络运算、将运算结果存储在所述外部主存储器；CPU，用于控制在所述外部主存储器和内部缓冲存储器存储针对输入神经元的输入数据和突触权重的操作和所述神经网络运算装置的运行；及通用通信中介块，可以与无关集成电路的类型地以物理方式连接的其他加速装置发送和接收针对所述输入神经元的输入数据和突触权重以及在所述神经网络运算装置执行的运算结果。

摘要： 一种卷积神经网络(CNN)处理装置(1)，设置有：输入缓冲器(10)，用于存储要对CNN应用的输入信号A；权重缓冲器(11)，用于存储权重U；卷积运算单元(12)，执行包括输入信号A与权重U之间的乘积‑求和运算的卷积运算；存储单元16，存储表(160)，在该表中，转换‑量化处理的输入与输出彼此相关联，其中，转换‑量化处理接受卷积运算的运算结果作为所述输入，基于预定条件来转换输入值，通过降低转换后的数据的比特精度来进行量化，并且输出结果；以及处理单元(14)，参考表(160)以获取转换‑量化处理的与卷积运算的运算结果相对应的输出。

摘要： 本发明提供一种能够通过减少存储器数量而将其配置在芯片上的神经网络电路装置、神经网络处理方法和神经网络的执行程序。三状态神经网络电路(200)具有非零卷积运算电路(21)、求和电路(22)和激活函数电路(23)，其中，所述非零卷积运算电路(21)在中间层中接收用于进行卷积的输入值Xi和权重Wi来进行卷积运算；所述求和电路(22)求取通过卷积运算得到的各运算值和偏置W0的总和；所述激活函数电路(23)用激活函数f(u)对求取总和得到的信号Y进行转换。非零卷积运算电路(21)跳过权重Wi为零的权重，来根据非零权重和与该非零权重对应的输入值Xi进行卷积运算。

摘要： 本发明提供了一种生成训练神经网络的训练数据的方法、训练神经网络的方法和利用神经网络进行自主操作的方法，以及相关设备和系统。一方面，提供了一种训练用于环境中对象的自主操作的神经网络的方法，包括：基于样本数据集生成策略值；基于所述策略值生成近似动作值函数；通过所述近似动作值函数为所述样本数据集中的所有状态以及所有可能动作生成近似策略值集；基于近似策略值计算所述神经网络的训练目标；计算训练误差作为所述训练目标和所述样本数据集中对应的状态动作对的策略值之间的差值；更新所述神经网络的至少一些参数以最小化所述训练误差。

摘要： 一种用于处理包括运算处理图在内的神经网络模型的神经网络系统，该神经网络系统包括运算处理器，其中该运算处理图包括多个运算，该运算处理器包括存储第一模块输入特征图的内部存储器。该运算处理器被配置为：基于所存储的第一模块输入特征图，通过执行多个运算中的第一运算来获得第一分支输出特征图；以及基于所存储的第一模块输入特征图，通过执行多个运算中的第二运算来获得第二分支输出特征图。该内部存储器在执行第一运算时保持对第一模块输入特征图的存储。

摘要： 本实用新型属于新型计算技术领域，公开了一种基于随机计算的神经网络随机数发生器共享电路，应用于人工神经网络电路；包括随机数模块，比特流生成模块，随机计算模块和数据存储模块。所述随机计算模块包括多个神经计算单元，所述神经计算单元包括乘法电路，带缩放加法电路以及激活函数电路，所述带缩放加法电路基于并行累加器，能够降低运算电路对输入比特流非相关性的要求，进而使随机数发生器可以在整个人工神经网络电路中共享，一个完整神经网络仅需使用一个随机数发生器。相比于现有的基于随机计算的神经网络电路，本实用新型极大的节省硬件资源，降低功耗，同时提高运算精度。