首页> 中国专利> 一种句子向量模型训练方法

一种句子向量模型训练方法

页面导航

摘要
著录项
相似文献

摘要

本发明提供一种句子向量模型训练方法，包括：S1、对多个原始句子进行数据增强处理，得到每个原始句子的多个相似句子，将所有句子复制多份后用于构建多个句子对及其相似性标签；S2、用BERT模型基于所述多个句子对进行预训练，得到第一BERT模型，其中，所述预训练包括利用句子对进行掩码语言模型预训练以及利用句子对和相似性标签进行的判断两个句子是否相似的预训练；S3、利用相应领域的任务对应的分类数据集对第一BERT模型进行微调，得到句子向量模型，该模型具有较好的泛化能力。基于句子向量模型采用的文本检索方法，提高文本检索效率。

著录项

公开/公告号CN113553824A

专利类型发明专利
公开/公告日2021-10-26

原文格式PDF
申请/专利权人临沂中科好孕智能技术有限公司;
展开▼

申请/专利号CN202110766647.5
发明设计人姜怀臣;张毅阳;李冬冬;
展开▼

申请日2021-07-07
分类号G06F40/194(20200101);G06F40/211(20200101);G06F40/284(20200101);G06F40/30(20200101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);
代理机构11280 北京泛华伟业知识产权代理有限公司;
代理人王勇
地址 276023 山东省临沂市河东区芝麻墩街道沂蒙云谷应用孵化中心3楼
入库时间 2023-06-19 13:00:48

相似文献

专利
中文文献
外文文献

1. 一种句子向量模型训练方法 [P] . 中国专利： CN113553824A . 2021-10-26
2. 一种基于向量同态加密的隐私保护的线性SVM模型训练方法 [P] . 中国专利： CN108521326B . 2021.02.19
3. A method for Acoustic Model Training, which includes a forced alignment of Speech Training Data, process data and obtain the estimated Scattering matrices of Scattering matrices, skew the intermediate class and Internal diagonalize matrices and in Intermediate Class Terna and Estimating eigenvectors, to obtain new functions using discriminative vectorTrain a New Acoustic Model, to Save the Model, method and System for Acoustic Model Training [P] . CL2015000445A1 . 2015-06-19

机译：一种用于声学模型训练的方法，其中包括语音训练数据，过程数据的强制对齐以及获得估计的散射矩阵的散射矩阵，使中间类别和内部对角化矩阵倾斜以及在中间类别Terna和估计特征向量中倾斜，以获得新功能使用判别向量训练新的声学模型，以保存模型，方法和系统以进行声学模型训练
4. A computer implemented method for Predicting the performance of Voice Recognition, characterized in that it comprises the steps of: at least accept input, compute a Vector of characteristics to introduce such Entry, said at least one vector of features in a model Prediction, and obtain a prediction for the entrance from the prediction Model; System; method [P] . CL2015000447A1 . 2015-10-30

机译：一种用于预测语音识别性能的计算机实现的方法，其特征在于，该方法包括以下步骤：至少接受输入，计算特征向量以引入这种输入，模型预测中所述特征向量中的至少一个，并获得对来自预测模型的入口的预测;系统;方法
5. TRANSLATION MODEL TRAINING METHOD, SENTENCE TRANSLATION METHOD AND APPARATUS, AND STORAGE MEDIUM [P] . EP3792789A1 . 2021-03-17

机译：翻译模型训练方法，句子翻译方法和装置和存储介质