无监督学习

摘要： 三维肺部电子计算机断层扫描(computed tomography,CT)图像非刚性配准是医学图像配准领域中最重要的任务之一.但是,肺部组织受呼吸运动影响而产生的非线性形变与大尺度位移给三维肺部CT图像的非刚性配准带来巨大挑战.针对这一难题,设计开发了一种基于无监督学习端到端的配准方法.通过改进现有U-Net神经网络结构,在跳接之间引入Inception模块,充分融合多尺度深层特征生成高精度的稠密位移向量场.为保证位移向量场光滑,在损失函数中加入雅可比正则化项,以达到训练中显式惩罚位移向量场中奇点的目的.另外,为缓解现有公开数据资源有限导致的过拟合问题,提出了一种基于三维薄板样条(3D-thin plate spline,3D-TPS)变换的数据增强方法实现对训练数据的扩充,将具有60套三维肺部CT图像的训练数据集EMPIRE10扩充为6060套以满足卷积神经网络训练的需要.设计验证实验,通过与基于学习的Voxelmorph方法和两个包含传统方法配准工具包ANTs和Elastix进行比较.实验结果表明:在公开可用的DIR-Lab 4 DCT数据集上,所提出的方法在目标配准误差(target registra-tion error,TRE)上达到次优的2.09 mm,平均Dice得分达到最优的0.987,同时所生成的扭曲图像中几乎不存在折叠体素.

摘要： 近年来,随着获取信息手段的增多,对高维度数据的聚类变得越来越难.利用深度学习与聚类分析相结合的方式,通过对深度聚类算法的深入调查与研究,提出了基于自编码器的多模态嵌入式聚类模型,该模型分别将自编码器、卷积自编码器、卷积变分自编码器模型提取的特征进行自适应特征融合,再将融合后的特征输入深度聚类层得到聚类结果.多模态数据有助于提取更全面的数据信息,自适应特征融合能够很好地计算每个模态提取特征对融合特征的贡献度,从而提高无监督聚类算法的稳定性.提出的模型在4种公开数据集上进行了实验,验证了该模型的有效性,聚类结果优于现有流行的算法.

摘要： 水电站的安全监测涉及电力供应的基本保障,本文通过对北京十三陵蓄能电厂引水系统压力钢管1、2号支管的健康监测数据进行无监督学习,将机器学习算法应用在工程数据处理实际中,为工程提供有效技术手段的可行性。本文从工程中设备运行的实时健康监测数据出发,提出了一种单类支持向量机(one class SVM,OCSVM)无监督学习算法,通过设备正常运行数据特征训练OCSVM模型,利用现有设备运行数据检测运行异常状态,现场数据实验结果验证了所提出的OCSVM算法的有效性。

摘要： 地震相是沉积相在地震剖面上的反映,能为地下资源尤其是油气资源的勘探开发提供有效依据。近年来随着人工智能的快速发展和油气人工智能的有力推进,国内外学者提出了多种地震相智能识别的方法。对地震相智能识别方法进行了归纳总结,将其归纳为无监督学习、监督学习和半监督学习3类,并详细介绍了这3类方法的原理、应用现状及其优缺点。无监督学习利用没有标签的地震数据进行学习聚类,从而实现地震相的自动识别,具有简单易操作的特点。监督学习主要利用标签数据反馈学习,通过学习不断接近标签,从而使得该方法在地震相识别中具有更高的精度。半监督学习在地震数据标签不足的情况下,利用合成伪标签等方式进行学习,但伪标签中存在的误差会降低该方法的精度。最后以神经网络地震相识别为例,对地震相智能识别技术进行了展望。

摘要： 伴随着问题场景数据在规模上的快速增长和构成上的复杂化,精确估计簇的个数和簇的中心点是当下聚类算法处理和分析复杂大规模数据的重要挑战.簇数及簇心的精确估计对于部分有参聚类算法、数据集整体复杂性度量和数据简化表示等都十分关键.文中在深入分析I-nice的基础上,提出基于候选中心融合的多观测点I-nice聚类算法.在原多观测点投影分治框架上采用混合高斯模型(Gaussian Mixture Model,GMM),结合粗细粒度最佳GMM搜索策略,实现数据子集的精确划分.此外,基于候选中心点分别到各观测点的距离值及最佳GMM,构造候选中心点的GMM构件向量,并设计一组闵可夫斯基距离对进行候选中心点间的相异度度量,实现基于GMM构件向量相异度的多观测点I-nice候选中心融合.不同于现有聚类算法,文中算法联合优化分治环节数据子集划分和候选中心集成这两个关键过程,实现成百上千个簇的精确高效估计.在真实数据集和仿真数据集上的一系列实验表明,文中算法能精确估计簇数和簇中心,具备较高的聚类精度.实验同时验证算法的有效性及在各类数据场景下的稳定性.

摘要： 为鉴别杂波点迹和目标点迹,消除杂波对雷达性能的影响,提出了一种基于竞争神经网络的雷达杂波抑制方法。首先,选取雷达点迹形成过程中能够反映目标点迹和杂波点迹差异化的特征,作为神经网络输入数据;然后,根据输入输出的数据维度设计竞争神经网络分类器,并对其进行训练;最后,利用训练好的神经网络分类器对雷达点迹进行聚类,对识别为杂波的点迹进行滤除,达到抑制杂波的目的。对雷达实测数据的测试结果证明:所提出的无监督学习方法的杂波抑制效果优于传统的有监督学习BP神经网络算法,能够实现点迹类别未知情况下的雷达点迹鉴别和杂波抑制功能。

摘要： 随着我国经济社会的快速发展和电力行业的不断进步,电网中大量的建设方案和二次装备是否满足规范以及相关参数标准要求,均得到了业内人士的广泛关注。在此背景下,本文对基于无监督学习的二次设备配置智能校核工具进行研究,探讨了该项目开展和市场需求的背景,并论述了基于无监督学习的二次设备配置智能校核工具的建设目标,分析了该智能校核工具的设计原则、设计标准、系统架构、应用架构、技术架构等内容,并进一步研究了不同模块的设计功能,最后对基于无监督学习的二次设备配置智能校核工具的具体应用进行探讨,旨在为无监督学习的二次设备配置智能校核工具应用水平的快速提升和应用范围的进一步拓宽带来更多参考和启迪。

摘要： 针对深度学习在红外与可见光图像融合时无法同时满足运算效率和融合效果的问题,提出了一种无监督端到端的红外与可见光图像融合模型。该模型的图像特征提取模块采用结构重参数化方法,有效提升了算法的运行效率;同时引入了注意力机制,减小了冗余信息对融合结果的干扰;损失函数基于结构相似度设计。对比实验结果表明,该模型保证了融合效果并提升了运行速度,相比于不使用结构重参数化的方法,运行速度提升了34%。

摘要： 介绍自编码器、生成式对抗网络、BERT等无监督深度学习方法,阐述其在电子健康档案数据挖掘中的应用以及存在的挑战,指出无监督深度学习技术能够加速医疗知识发现和临床决策支持,促进个性化医学发展。

摘要： 采用无监督学习算法对105例抑郁症患者的多个实验室检验项目进行分组实验,将分组模型应用在88例测试数据集上,使用统计学方法检验分组结果,最终结果表明大部分组间差异有统计学意义,精神类疾病会对实验室检验项目产生一定影响。

摘要： 基于面波的地下横波速度成像是近地表勘查的主要方法,相比钻探等技术更具有经济、高效、高适用性的优点,广泛应用于地质勘探、岩土工程勘察、地质灾害调查等领域.面波成像其重要的一步是拾取频散曲线以反演地下横波速度结构,因此自动、准确的频散曲线拾取方法能够显著提高面波勘探的效率.面波的频率速度谱中通常存在干扰噪声和高阶面波的影响,传统频散曲线拾取方法通常采用人工判断,受到操作精度和时间成本的制约,难以进行大规模的采用.无监督学习是不需要训练标记数据,而是依据数据内在联系进行自动判断并分组,计算过程快速简单,容易对决策依据进行解释.实验基于无监督学习方法,采用Kmeans、PCA(主成分分析)两种无监督学习方法组合自动拾取频散曲线.Kmeans算法采用贪心策略使聚点收敛于簇内样本均值,以能量为权重进行迭代计算,聚点将收敛于高能量值频散曲线部位.PCA对原始数据特征维度进行降维处理,识别聚集的高密度频散曲线聚点与离散聚点的差异,从而分离出频散曲线能量聚点.

摘要： 为了有效解决数据流分类中的噪音和概念漂移问题,提出了一种基于朴素贝叶斯和无监督学习的数据流分类算法.该算法采用集成学习的思想,以朴素贝叶斯作为基分类器进行集成分类,使用谱聚类算法对数据进行聚类,通过对比分类和聚类的结果过滤噪音,同时采用假设检验μ方法检测漂移,动态更新集成分类模型,以适应概念变化.实验结果表明,该算法在时间花销和预测准确率上能够取得较好的效果.

摘要： 该文以应用层流量分类为重点，分析了流量分类中的一些关键问题;为了适应现代网络管理，实现对应用层流量的实时监控，针对现有方法存在的问题，提出了一种分层次的应用层流量识别方法。为了具有对新应用的发现能力，结合基于深层包检测和基于数据流特征的方法，并同时使用基于无监督学习技术，发现P2P等新的网络应用。通过对校园网流量的跟踪，证明了该方法的有效性。结果表明，识别流行的P2P应用具有较高的准确性。

摘要： 目前针对JPEG图像的MB1隐写算法的检测率较低，本文对MB1算法进行了深入研究，基于无监督学习中的支持向量数据描述法提出了一种MB1隐写分析方法。该方法克服了现有基于模式识别的隐写分析方法对于训练样本集要求高的缺点，提高了方法的泛化能力。并且在特征提取中选择对DCT域隐写敏感的易变特征，提高了对MB1隐写算法的检测率。

摘要： 人脑究竟能否掌握新的语言规则,这是语言学习研究领域一直争议的问题.习得年龄、输入量和相似性,哪个才是影响语言规则学习的重要因素?学界始终没有统一的结论.本研究以成年汉语母语者为研究对象,基于小数据的人工语法学习(Artificial Grammar Learning,AGL)范式设计实验,采用跟踪调查和事件相关电位技术,探讨在高/低输入量条件下,人脑加工与汉语相似程度不等的三种句法结构时的神经机制.结果发现,成人可以在小数据学习范式下,运用无监督学习方法掌握新的语言规则;人脑可以基于少量的规则输入习得多种人工语法,并表现出趋近于母语加工的自动加工模式;人脑通过竞争的方式习得新的语言规则.本研究丰富了AGL范式下的语言学习理论,并可以对自然语言处理相关研究提供一些启示.

摘要： 数据融合算法能够实现对海量数据的整合和特征提取,以便形成更为清晰、可靠的数据,满足不同用户需求,但传统基于BP神经网络的数据融合算存在局部最优及泛化能力差的问题,本文引入了一种无监督学习技术自动编码器,并将其与分簇协议相结合衍生出了新型数据融合算法SAEMAD,最终经过实验对比,在同等条件下,该算法较BPNDA算法具有更好的数据特征提取优势.

摘要： 当前新出现的深度学习理论在机器学习、信号处理、人工智能和模式识别等领域引起了广泛的关注.深度置信网络是当前深度学习理论的一种代表性方法,具有较强的无监督特征学习能力.本文提出一种利用深度置信网络实现语音情感识别的新方法,即先采用深度置信网络对提取的情感声学特征进行无监督学习,获取更高层次的抽象特征,然后将其用于初始化多层感知器模型中的隐层网络权重值,最后利用该初始化后的多层感知器实现语音情感的识别.在德语Berlin情感语音数据库中的实验结果表明,该方法优于其它使用的情感识别方法.

摘要： 现今网络管理对各种应用的网络流量的管理要求越来越精确，而传统的网络管理软件及网络工具仅通过SNMP协议获得对OSI模型第三、四层网络性能的监测和网络流量的检查，获得的信息资料简单而笼统。因此，为了适应现代网络发展的需要，应对网络流量中各种应用进行分别监控。现在主要有两大类方法，基于深层包检测的方法和基于数据流特征的方法，但两种方法各有利弊，为了实现对网络应用层流量的实时监控，同时具有对新型网络应用的发现能力，本文提出了一种分层次的同时使用上述两种方法并着重使用基于无监督的学习技术来学习和发现P2P等新型网络流量的新思路，并得出了一定结论。

摘要： 在缺乏标注数据的条件下本文把藏文正字检错任务视为一个分类问题,首先从语言知识中构建音节混淆子集并给每个原句加噪,然后建立深层双向表征的BERT作为分类模型,最后为了证明本方法的有效性,构建两个基线模型和三种不同领域的测试集,实验结果显示本方法的结果优于两个基线模型.本方法在相同领域测试集上句子分类的正确率达到93.74％,不同领域测试集上也能达到83.6％.对错误音节的识别结果为74.53％,同时对无错误音节的误判率只有2.3％.

摘要： 在缺乏标注数据的条件下本文把藏文正字检错任务视为一个分类问题,首先从语言知识中构建音节混淆子集并给每个原句加噪,然后建立深层双向表征的BERT作为分类模型,最后为了证明本方法的有效性,构建两个基线模型和三种不同领域的测试集,实验结果显示本方法的结果优于两个基线模型.本方法在相同领域测试集上句子分类的正确率达到93.74％,不同领域测试集上也能达到83.6％.对错误音节的识别结果为74.53％,同时对无错误音节的误判率只有2.3％.

摘要： 本发明公开了一种基于有监督学习和无监督学习的反欺诈方法，具体步骤如下：数据预处理，数据转换，创建高斯混合模型，期望最大化算法，有监督学习，无监督学习，预测，该基于有监督学习和无监督学习的反欺诈方法使用有监督学习和无监督学习结合的方法来建立反欺诈模型，有监督学习模型和无监督学习模型被包含在一个大的模型中，这个大的模型将达到集成模型的效果，预测的结果将会优于单独考虑有监督学习或无监督学习时的效果，而且有监督学习和无监督学习是互补的，两种学习方式结合将可以检测出已知的欺诈模式和未知的欺诈模式。

摘要： 本发明提供了一种无监督学习的视觉表示学习系统及方法，该系统包括：编码器、译码器、分类器；编码器、译码器、分类器均由深度卷积神经网络构成；编码器接收输入数据，并将输入数据转换为输入数据的表示后发送给译码器；译码器根据输入数据的表示得到重建数据，并将重建数据发送给编码器；以使得编码器根据重建数据得到重建数据的表示；分类器与编码器级联，构成判别器，判别器用于区分出接收到的数据是输入数据的还是重建数据。相较于基于生成模型的表示学习系统，本发明中的系统无需任何关于表示的先验分布，避免了过于简单的先验假设引入的偏差。相较于基于重建任务的表示学习系统，本发明系统能更有效地提取数据的全局中高阶特征。

摘要： 本发明公开一种基于无监督学习深度学习网络的中文检测方法及系统。本发明使用无监督学习法训练一个深度卷积神经网络，而后使用该网络对自然图像中的各个候选文字区域进行分类，最后对分类为文字的区域进行文本行聚合，检测得到图像中的文字区域。本发明抓住深度学习网络对图像特征超强的提取能力，利用无监督学习强大的训练能力，针对中文字特征训练深度卷积神经网络，实现文字区域定位和分割，方法简单有效；针对文字特征构建了深度卷积神经网络无监督学习方法，在文字检测方面具有更好的针对性，因此具有更高的主动性和精确性。

摘要： 本发明公开了一种融合无监督学习和自监督学习的中文拼写纠错方法，首先，利用混淆集对模型进行预训练，在预训练时不再替换为随机的字，而是替换为混淆集中的字使模型学到字音和字形相关信息；在训练时利用无监督学习和自监督学习对中文拼写错误进行检测和纠正，并利用混淆集进行候选字的选取；最后在中文拼写纠错领域的测试集上测试模型在字级层面和句级层面的纠错性能。本发明融合无监督学习和自监督学习提高模型中文拼写纠错性能的方法所训练的模型能够使模型更好的学习到字音和字形信息，使得模型在中文拼写纠错领域的性能得到提高。

摘要： 本发明公开了一种基于有监督学习和无监督学习的反欺诈方法，具体步骤如下：数据预处理，数据转换，创建高斯混合模型，期望最大化算法，有监督学习，无监督学习，预测，该基于有监督学习和无监督学习的反欺诈方法使用有监督学习和无监督学习结合的方法来建立反欺诈模型，有监督学习模型和无监督学习模型被包含在一个大的模型中，这个大的模型将达到集成模型的效果，预测的结果将会优于单独考虑有监督学习或无监督学习时的效果，而且有监督学习和无监督学习是互补的，两种学习方式结合将可以检测出已知的欺诈模式和未知的欺诈模式。

摘要： 本发明涉及一种融合无监督学习和监督学习的反馈式分类方法：通过无监督学习对原始特征集合进行分类，获得带标签信息的分类结果；将分类结果随机均分为训练组和对照组，训练组作为监督学习的输入，采用特征选择算法，使监督学习的分类准确率最高，并获得对应的特征子集；重构对照组特征集合，即依据特征子集的特征类别提取对照组特征集合相对应的特征子集，将重构后的对照组特征集合作为训练组获得的监督学习模型的输入，计算其分类准确率；通过设定分类准确率阈值作为迭代的终止条件，分类准确率高于预设阈值则终止迭代，获得分类结果，否则重构原始特征集合，并依次迭代，直到满足预设条件。该分类方法对未知分类标签的分类问题具有很好的适应性、准确性。

摘要： 本发明公开了一种基于强化学习和无监督学习的机器人技能学习方法及系统，在执行某一指定任务时，机器人控制器控制执行机构作出动作，图像采集子系统采集执行机构在任务环境下的实时状态图像，无监督学习子系统的编码器将实时状态图像转换成实时状态编码，以及以设定的执行机构执行完成指定任务时的状态图像作为目标图像，将其转换成目标编码；深度强化学习子系统再根据实时状态编码和目标编码，输出下一时刻执行机构的动作值；机器人控制器根据执行机构的动作值，实时控制执行机构作出相应动作，直至执行机构执行完成任务。本发明系统相比于普通的端到端网络，更加具有通用性，不仅可以应用于不同的目标以及任务，也可以压缩训练时间。

摘要： 本发明提供了一种无监督学习的视觉表示学习系统及方法，该系统包括：编码器、译码器、分类器；编码器、译码器、分类器均由深度卷积神经网络构成；编码器接收输入数据，并将输入数据转换为输入数据的表示后发送给译码器；译码器根据输入数据的表示得到重建数据，并将重建数据发送给编码器；以使得编码器根据重建数据得到重建数据的表示；分类器与编码器级联，构成判别器，判别器用于区分出接收到的数据是输入数据的还是重建数据。相较于基于生成模型的表示学习系统，本发明中的系统无需任何关于表示的先验分布，避免了过于简单的先验假设引入的偏差。相较于基于重建任务的表示学习系统，本发明系统能更有效地提取数据的全局中高阶特征。

摘要： 本发明中提出的一种基于深度无监督学习的视觉相似性学习方法，其主要内容包括：紧凑簇和批次的生成、卷积神经网络(CNN)的训练、局部时间池化和多实例学习，其过程为，先从样本中获取相关联的初始样本集，然后优化单个成本函数得到紧凑的簇(位置分布紧凑且相似的样本组)，并选择相似性相互一致的簇组成随机梯度下降(SGD)批次，接着，交替地对CNN进行训练，以及对产生的相似点执行局部时间池化操作，并使用得到的相似点重新计算簇和批次，迭代多次之后得到样本之间的相似性。本发明解决了以往的视觉相似性学习方法需要大量手工标注数据且计算成本高的问题，能够提供更精细的相似结构，在姿态分析任务和分类问题上具有良好的性能。

摘要： 本发明公开一种基于无监督学习深度学习网络的中文检测方法及系统。本发明使用无监督学习法训练一个深度卷积神经网络，而后使用该网络对自然图像中的各个候选文字区域进行分类，最后对分类为文字的区域进行文本行聚合，检测得到图像中的文字区域。本发明抓住深度学习网络对图像特征超强的提取能力，利用无监督学习强大的训练能力，针对中文字特征训练深度卷积神经网络，实现文字区域定位和分割，方法简单有效；针对文字特征构建了深度卷积神经网络无监督学习方法，在文字检测方面具有更好的针对性，因此具有更高的主动性和精确性。