基于BERT模型的中文医学文献分类研究

赵旸; 张智雄; 刘欢; 丁良萍

首页> 中文期刊> 《现代图书情报技术》 >基于BERT模型的中文医学文献分类研究

基于BERT模型的中文医学文献分类研究

开具论文收录证明 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

【目的】探究BERT中文基础模型（BERT-Base-Chinese）和BERT中文医学预训练模型（BERT-RePretraining-Med-Chi）在中文医学文献分类上的分类效果及差异原因。【方法】以34万篇中文医学文献摘要为医学文本预训练语料,分别以16 000和32 000条中文医学文献摘要为分类的训练样本,并以另外的3 200条摘要作为测试样本,利用BERT的两个模型进行中文医学文献分类研究,以SVM模型作为对比基准。【结果】BERT的两种模型在分类效果上均优于SVM模型,两种模型的F1值均比SVM模型高出0.05左右;BERT-RePretraining-Med-Chi模型在两种样本量下的F1值分别达到0.839 0和0.860 7,均为三者中最好的分类效果。【局限】仅对中图分类号R下的16个类别进行分类研究,其余4个类别因数据量过少等原因而未纳入分类体系中。【结论】BERT-Re-Pretraining-Med-Chi模型能够显著提升医学文献的分类效果;基于BERT的深度学习方法在多类别大规模训练集下更能体现其分类的优越性。

著录项

来源
《现代图书情报技术》 |2020年第8期|41-49|共9页
作者
赵旸; 张智雄; 刘欢; 丁良萍;
展开▼
作者单位

1. 中国科学院文献情报中心 2. 中国科学院大学经济与管理学院图书情报与档案管理系 3. 科技大数据湖北省重点实验室 4. 中国科学院武汉文献情报中心;

展开▼
原文格式 PDF
正文语种 chi
中图分类分类法;医学与其他学科的关系;
关键词
深度学习; BERT; 文献分类; 预训练模型;

相似文献

中文文献
外文文献
专利

1. 基于BERT-BiLSTM-CRF模型的中文实体识别研究 [J] . 沈同平 ,俞磊 ,金力 . 齐齐哈尔大学学报（自然科学版） . 2022,第001期
2. 基于BERT嵌入BiLSTM-CRF模型的中文专业术语抽取研究 [J] . 吴俊 ,程垚 ,郝瀚 . 情报学报 . 2020,第004期
3. 基于BERT模型的医学短文本分类算法研究 [J] . 田晗 ,徐春 . 伊犁师范学院学报（自然科学版） . 2021,第004期
4. 基于BERT-Att-biLSTM模型的医学信息分类研究 [J] . 於张闲 ,胡孔法 . 计算机时代 . 2020,第003期
5. 基于多层次概念语义网络结构的中文医学信息语义标引体系和语义检索模型研究 [J] . 李毅 ,庞景安 . 情报学报 . 2003,第004期
6. 一种基于组织架构的灰色文献分类体系-中国科协系统文献分类研究 [C] . 吕瑞花 ,乔新歌 . 《图书情报工作》杂志社、图书情报工作研究会第25次图书馆学情报学学术研讨会 . 2011
7. 基于BERT模型和条件随机场的中文分词研究分析 [A] . 陈晨 . 2020

基于BERT模型的中文医学文献分类研究

摘要

著录项

相似文献

相关主题

期刊订阅