统计语言模型

摘要： 本文将信息论的方法引入藏文信息处理技术研究领域,采用一种基于统计语言模型的信息熵估计方法,在300多万(音节)字的藏语单语语料规模上,对不同藏语语言模型估算了信息熵及其复杂度。

摘要： 该文从训练词向量的语言模型入手,研究了经典skip-gram、CBOW语言模型训练出的词向量的优缺点,引入TFIDF文本关键词计算法,提出了一种基于关键词改进的语言模型.研究发现,经典skip-gram、CBOW语言模型只考虑到词本身与其上下文的联系,而改进的语言模型通过文本关键词建立了词本身与整个文本之间的联系,在词向量训练结果的查准率和相似度方面,改进模型训练出的词向量较skip-gram、CBOW语言模型有一个小幅度的提升.通过基于维基百科1.5GB中文语料的词向量训练实验对比后发现,使用CBOW-T FIDF模型训练出的词向量在相似词测试任务中结果最佳;把改进的词向量应用到情感倾向性分析任务中,正向评价的精确率和F1值分别提高了4.79％ 、4.92％,因此基于统计语言模型改进的词向量,对于情感倾向性分析等以词向量为基础的应用研究工作有较为重要的实践意义.

摘要： 最新的研究表明,从大量源代码中提取代码特征,建立统计语言模型,对代码有着良好的预测能力.然而,现有的统计语言模型在建模时,往往采用代码中的文本信息作为特征词,对代码的语法结构信息利用不充分,预测准确率仍有提升空间.为提高代码预测性能,提出了方法的约束关系这一概念;在此基础上,研究Java对象的方法调用序列,抽象代码特征,构建统计语言模型来完成代码预测,并研究基于方法约束关系的代码预测模型在Java语言中的适用范围.实验表明,该方法较现有的模型提高了8％ 的准确率.

摘要： 文本分类在文本信息处理过程中有关键作用,能帮助人们提取有用信息,有效组织文本信息.本文主要介绍了文本分类的背景、国内外的研究现状以及利用机器学习方法解决文本分类问题的一般步骤.文章第二部分对中文分词、特征向量提取、分类器训练和评估原理做了重点介绍,包括了自然语言处理的统计语言模型,机器学习的KNN、SVM、神经网络算法.

摘要： 本文主要介绍了基于统计语言模型的中文分词方法。第一部分介绍了什么是中文分词以及中文分词的意义;第二部分介绍了中文分词的国内研究现状和当前的研究热点;第三部分是文章主要部分,介绍了统计语言模型,利用隐马尔可夫假设简化语言模型使得语言模型在计算上变得可能,以及如何利用简化的语言模型进行中文分词

摘要： 文本分类能帮助有效组织信息,快速区分信息质量,满足用户个性需求.本文主要介绍的内容有文本分类的背景、国内外的研究现状以及利用神经网络方法解决文本分类问题的一般步骤.文章第二部分对中文分词、特征向量提取、分类器训练和评估原理做了重点介绍,包括了自然语言处理的统计语言模型,机器学习的神经网络算法.

摘要： 词向量是词的一种特征表示,是很多自然语言处理任务的基础步骤.本文介绍了一种用深度学习训练词向量的方法,训练好的词向量具有维度低、保留语义相似性的特征.对某个特定语料库训练词向量,用统计语言模型进行中文分词,去掉停用词之后,构造词库;利用CBOW模型在词库上面训练得到词向量.本文介绍了深度学习在自然语言处理任务中的一个应用,具有一定的理论和实践意义.

摘要： 实体关系抽取是信息抽取的一项重要内容,通过实体关系的抽取能够发现文本中的有价值信息.本文在分析和比较了有监督、无监督、弱监督以及开放式等关系抽取方法的原理和特点的基础上,建立了基于文献的地质实体关系抽取模型:采用统计语言模型作为关系抽取方式、采用Bootstrapping算法作为关系扩展方式.最后据此进行了关联关系发现和关系扩展发现实验.%Relation extraction is an important section of information extraction,which play an crucial role in valuable information discovering.On the ground of analyzing and comparing,including supervised methods,unsupervised methods,self-supervise methods and open information extraction methods,this essay has built a Geologic Entity Relation Extraction Model,using statistical language models for relation extraction and bootstrapping models for relation extension.Finally,according to the above analysis,the experiment of incidence relation discovery and relation extension discovery were carried out.

摘要： In order to solve the problem of time consuming and error pronein selecting optimal "brick"to assemble functional protein expression vector,based on statistical language model (SLM),a dynamic program-ming algorithm of protein expression vector was carried out.By collecting the statistical parameters of BioBrick standard parts and transforming the assembling process into SLM,a dynamic programming algorithm could be performed to choose suitable parts to compose the final genetic construction.The result showed this method had high accuracy,redundant operations could be reduced and the time and cost required for conducting bio-logical experiment could be minimized.The method could be not only used to optimize a design in a synthetic biological robotic platform,but also independently used to automate the DNA assembly process in synthetic biology.It could also be iterated and then give out different optimized results for consideration.%针对合成生物学基因片段组装中选择最优“零件”组装功能性蛋白质表达载体费时且易出错的问题，提出一种基于引入统计语言模型（SLM）与动态规划算法的蛋白质表达载体设计方法。该方法通过统计合成生物学标准“零件”（BioBrick）的参数，将基础“零件”组装过程转化为 SLM，用动态规划算法找到最优路径，以实现蛋白质表达载体的设计。实验结果证明该方法准确率高，可以减少真实装配过程的冗余操作，节省时间和费用，可用来优化其他合成生物学软件设计结果，也可独立使用来模拟装配合成生物学基因片段产生蛋白质表达载体，还可被迭代从而给出不同的优化结果供选择。

摘要： 自动校对是自然语言处理领域中一项重要的研究内容。在蒙古文信息处理研究中,对蒙古文自动校对的探索还没有提出一个很好的解决方案。本文介绍了基于统计语言模型的蒙古文词汇分析校正方法,并重点探讨了模型的设计和可行性.

摘要： 本文主要讲述了在大词汇量连续语言识别系统中统计语言模型的训练,同时,针对训练出来的语言模型太大,训练时间长的问题,提出了一种新的语料选择的方法,该方法大大降低了语言模型的大小,并能基本保证较好的性能.

摘要： 20年来中文信息处理取得了巨大成绩,这是有目共睹的.当前摆在学界面前的一个重要任务是确立全局的战略目标,并尽快在一些社会急需的发展方向上取得实质性的突破.本文首先对国内外自然语言处理技术的一些最重大成果作了一个简单的介绍,然后通过一些具体的实例来说明统计语言模型在自然语言处理中的广泛应用.

摘要： 统计语言模型在实际应用中显示出了不俗的效果，近年来使用得越来越广泛。但由于语言的灵活性，模型的数据稀疏问题始终不能避免，现有的平滑方法只考虑了模型中元素出现的频数，没有考虑到语言的使用是随着时间变化的。本文分析了模型中词语随着时间的变化而出现的频数变化情况，利用时间序列模型分析中的预测方法获得下一个阶段的数据来估计模型的参数，提出了一种对在时间线上频教增加的词语增加概率值，对频数减少的则降低概率值的动态分布平滑方法。实验数据显示，本平滑方法具有一定的优越性。

摘要： 本文提出了一种有效的汉语分词方法。该方法在计算N元概率时采用统计语言模型中常用的Katz平滑算法,对计算N元概率时所用的最大似然法和加1平滑算法进行了改进,同时采用了将字符串映射到整数的方法设计了N元短语的词典结构,以降低分词系统的空间/时间复杂度。

摘要： 基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法。传统的统计聚类方法基于含婪原则，常以语料的似然函数或困惑度(perplexity)作为评价标准。这种传统的聚类方法的主要缺点是聚类速度慢，初值对结果影响大，易陷入局部最优.本文利用互信息定义了一种词相似度，在词相似度的基础上给出了词集合相似度的定义。基于相似度，提出了一种自下而上的分层聚类算法，这种方法不但能改善聚类效果，而且可根据不同的模型选择不同的相似度定义，因而提高聚类的使用效果。实验证明，该算法在计算复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进。

摘要： 基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法.传统的统计方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准.这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优.本文提出了一种新颖的词相似度定义,在词相似度的基础上,还首次给出了词集合相似度的定义.基于相似度,提出了一种自下而上的分层聚类算法,这种方法不但能改善聚类效果,而且可根据不同的模型选择不同的相似度定义,因而提高聚类的使用效果.实验证明,该算法在计算复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进.

摘要： 统计方法处理口语至今仍然是口语处理的核心技术. 目前处理水平较高的英语,中文及日本语等语言均采用统计处理方法. 但是,各自语言存在独特的发音方式和文本构造,即使是采用同类方法建立语音-语言模型，由于语言本身的差异也会引起性能上的较大差异. 研究和定量分析这种差异对于新语言口语处理性能的改善将有很大帮助. 本文以蒙古语为例研讨了黏着性语言语音识别在使用不同结构语言模型时的识别精度. 结果显示和常用bigram模型和聚类模型相比,通过相似词分类后的聚类模型可以提高识别精度.

摘要： 统计方法处理口语至今仍然是口语处理的核心技术. 目前处理水平较高的英语,中文及日本语等语言均采用统计处理方法. 但是,各自语言存在独特的发音方式和文本构造,即使是采用同类方法建立语音-语言模型，由于语言本身的差异也会引起性能上的较大差异. 研究和定量分析这种差异对于新语言口语处理性能的改善将有很大帮助. 本文以蒙古语为例研讨了黏着性语言语音识别在使用不同结构语言模型时的识别精度. 结果显示和常用bigram模型和聚类模型相比,通过相似词分类后的聚类模型可以提高识别精度.

摘要： 统计方法处理口语至今仍然是口语处理的核心技术. 目前处理水平较高的英语,中文及日本语等语言均采用统计处理方法. 但是,各自语言存在独特的发音方式和文本构造,即使是采用同类方法建立语音-语言模型，由于语言本身的差异也会引起性能上的较大差异. 研究和定量分析这种差异对于新语言口语处理性能的改善将有很大帮助. 本文以蒙古语为例研讨了黏着性语言语音识别在使用不同结构语言模型时的识别精度. 结果显示和常用bigram模型和聚类模型相比,通过相似词分类后的聚类模型可以提高识别精度.

摘要： 本发明的语言模型生成装置具有：替换语句生成部，其使用由多个句子构成的学习用的例文中包含的语句的各词素、和词素的原始表述的近义词，来生成由词素的原始表述与词素的原始表述的近义词的组合和各词素的原始表述的近义词彼此间的组合构成的多个替换语句；以及语言模型生成部，其根据生成的多个替换语句和学习用的例文生成作为N元模型的语言模型，因此，能够获得即使是学习用的例文中不存在的单词链也会减少语音识别的误识别的语言模型。

摘要： 本发明公开了一种基于统计学和预训练语言模型的多标签文本分类方法，包括以下步骤：S1、对需要分类的训练语料进行预处理；S2、建立基于统计学方法和语言模型的标签获取模型；S3、对获取的标签数据进行处理；S4、建立基于预训练语言模型的多标签分类模型，利用得到的标签数据进行模型训练；S5、使用训练好的多标签文本分类模型，对待分类的文本数据进行多标签分类。本发明提出一种结合了统计学方法与预训练语言模型标签获取方法，使用ALBERT语言模型来获取文本的语义编码信息，不需要人工标注数据集，能够提高获取标签的准确度。

摘要： 本公开提供一种预训练语言模型的训练方法、语言模型的训练方法及装置，包括：获取样本文本，根据样本文本执行预训练任务中的至少两种，得到预训练语言模型，其中，预训练任务包括：前向因果语言建模任务、反向因果语言建模任务以及掩码语言建模任务，前向因果语言建模任务为由样本文本中在前的词预测样本文本中在后的词的建模任务，反向因果语言建模任务为由样本文本中在后的词预测样本文本中在前的词的建模任务，掩码语言建模任务为由样本文本中非掩码位置的词预测样本文本中掩码位置的词的建模任务，可以实现从多个维度进行预训练，从而实现训练的多样性和灵活性，且可以使得从多个维度训练得到的预训练语言模型具有较高的准确性和可靠性。

摘要： 本说明书实施例提供一种语言模型的训练及分词预测方法和装置、语言模型，采用分词及其笔画集合来训练语言模型以及预测目标分词，由于提取出分词级以及笔画级的特征，特征粒度更小，因此，训练出的语言模型准确度较高，预测目标分词的准确性也越高。

摘要： 公开了一种利用语言模型预测词出现概率的方法和装置、语言模型训练方法和装置、存储介质以及电子设备。其中的利用语言模型预测词出现概率的方法包括：通过语言模型的输入层获取待预测数据中的各词的词向量；通过所述语言模型中的每一隐层对本隐层的与所述词向量对应的输入向量进行扩张卷积以及非线性变换，得到本隐层的输出向量；通过所述语言模型的输出层对与该输出层相邻的隐层的输出向量进行预测，得到所述待预测数据中的各词在相应历史词后的出现概率。本公开提供的上述技术方案有利于提高语言模型的预测效率和训练效率，并有利于提高语言模型预测结果的准确性，且使语言模型能够利用较长长度的历史词对目标词进行出现概率预测。

摘要： 本发明的语言模型生成装置具有：替换语句生成部，其使用由多个句子构成的学习用的例文中包含的语句的各词素、和词素的原始表述的近义词，来生成由词素的原始表述与词素的原始表述的近义词的组合和各词素的原始表述的近义词彼此间的组合构成的多个替换语句；以及语言模型生成部，其根据生成的多个替换语句和学习用的例文生成作为N元模型的语言模型，因此，能够获得即使是学习用的例文中不存在的单词链也会减少语音识别的误识别的语言模型。

摘要： 一种通过使用语言模型得分前瞻值来执行帧同步集束搜索的话音识别装置防止了正确答案假设的删减，同时抑制假设数目的增长。一种语言模型得分前瞻值赋值设备108被设置有定义词语音素串的词语词典203、赋值词语的出现容易度得分的语言模型202、以及平滑化语言模型得分前瞻值计算装置201。平滑化语言模型得分前瞻值计算装置201从由词语词典203定义的词语的音素串以及由语言模型202定义的语言模型得分获得词语中每个音素处的语言模型得分前瞻值，使得防止语言模型得分前瞻值集中在词语的开头。

摘要： 本发明提供一种为句子获得语言模型概率的方法和装置、构建语言模型的方法和装置以及基于语料库的机器翻译方法和系统。该为句子获得语言模型概率的方法，包括：通过对于句子中的各个单词，尝试将其与后面的单词组成通常被作为一个词使用的组合词，而确定与该句子的语言模型概率的计算有关的各个词及其概率；以及基于所确定的与该句子的语言模型概率的计算有关的各个词及其概率，获得该句子的语言模型概率。在本发明中，通过尝试将句子中的各个单词与其后面的单词组合，能够确保在语言模型概率的计算中复合词不被拆分，从而为句子获得准确的语言模型概率，准确地体现句子的质量。

摘要： 本发明提供一种为句子获得加权语言模型概率的方法和装置、构建加权语言模型的方法和装置以及基于语料库的机器翻译方法和系统。该为句子获得加权语言模型概率的方法，包括：对于句子中与语言模型概率的计算有关的各个单词组，利用该单词组的权重对该单词组的概率进行加权；以及根据上述与语言模型概率的计算有关的各个单词组的加权后的概率，为上述句子获得加权语言模型概率；其中，上述各个单词组的权重是根据句子的结构设定的、用于反映该单词组对于句子流利度的影响程度的权重。在本发明中，通过根据句子的结构，对句子中与语言模型概率的计算有关的各个单词组指派反映该单词组对于句子流利度的影响程度的权重，能够基于句子的结构更准确地体现句子的流利度。

摘要： 本发明公开了一种基于统计学和预训练语言模型的多标签文本分类方法，包括以下步骤：S1、对需要分类的训练语料进行预处理；S2、建立基于统计学方法和语言模型的标签获取模型；S3、对获取的标签数据进行处理；S4、建立基于预训练语言模型的多标签分类模型，利用得到的标签数据进行模型训练；S5、使用训练好的多标签文本分类模型，对待分类的文本数据进行多标签分类。本发明提出一种结合了统计学方法与预训练语言模型标签获取方法，使用ALBERT语言模型来获取文本的语义编码信息，不需要人工标注数据集，能够提高获取标签的准确度。