基于BERT-AWC的文本分类方法研究

李金彪; 侯进; 李晨; 陈子锐; 何川

首页> 中文期刊> 《微电子学与计算机》 >基于BERT-AWC的文本分类方法研究

基于BERT-AWC的文本分类方法研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题,对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征,为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征,再进一步获取到文本的局部特征,由此弥补了BERT模型无法提取词向量的缺点.BERT模型本身具有的自注意力网络可提取到文本的全局特征来突出全文的重点含义,与此同时在BERT算法中又引入了局部特征,通过将描述文本的局部特征以及全局特征按照重要程度进行融合,最终生成了更加丰富的文本信息.将融合后的特征输入softmax层得到模型的分类结果.平衡多头设计、层级参数共享机制、全连接层优化等方法的运用在保证算法准确度的前提下大大降低了模型参数量,最终形成了一种基于混合注意力机制的BERT-AWC轻量化文本分类算法.在多个公开数据集上的实验结果表明,相较于基准算法BERT,该算法在多个公开数据集上的预测精度均有1~5%的提升,而模型参数量仅为BERT的3.6%,达到了设计预期.

著录项

来源
《微电子学与计算机》 |2022年第6期|41-50|共10页
作者
李金彪; 侯进; 李晨; 陈子锐; 何川;
展开▼
作者单位

西南交通大学信息科学与技术学院智能感知智慧运维实验室;

西南交通大学综合交通大数据应用技术国家工程实验室;

西南交通大学计算机与人工智能学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
文本分类; 注意力机制; 卷积神经网络; 混合注意力机制;

相似文献

中文文献
外文文献
专利

1. 基于文本分类技术的煤矿违章行为统计方法研究 [J] . 栗婧 ,张志珍 ,杜璇 . 矿业科学学报 . 2022,第3期
2. 基于ERNIE-RCNN梅花研究信息文本分类方法 [J] . 付红萍 ,陈恺之 ,陈志泊 . 东北农业大学学报 . 2022,第5期
3. 基于CNN深度学习的自媒体文本分类方法的研究 [J] . 祝亮 . 电脑知识与技术 . 2021,第021期
4. 基于深度学习的文本分类方法研究综述 [J] . 万家山 ,吴云志 . 天津理工大学学报 . 2021,第002期
5. 基于多粒度建模的半监督文本分类方法研究 [J] . 余本功 ,汲浩敏 . 现代情报 . 2021,第006期
6. 基于词向量和主题向量嵌入的文本分类方法研究 [C] . Mao Wenliang ,毛文梁 ,Feng Dawei . 2017年全国高性能计算学术年会 . 2017
7. 基于特征扩展的短文本分类方法研究 [A] . 杨长辉 . 2022

基于BERT-AWC的文本分类方法研究

摘要

著录项

相似文献

相关主题

期刊订阅