DCsR:一种面向中文文本的集成式纠错框架

曹军航; 黄瑞章; 白瑞娜; 赵建辉

首页> 中文期刊> 《计算机工程与科学》 >DCsR:一种面向中文文本的集成式纠错框架

DCsR:一种面向中文文本的集成式纠错框架

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

中文文本纠错技术在自然语言处理中有着非常重要的应用。针对书写灵活多变的中文文本,现有的纠错模型无法覆盖多种错误类型且存在从候选集合TOPK中挑选TOP1时出错概率极大的问题。提出了一种面向中文文本的集成式纠错框架——DCsR,摒弃以往建立在已知错误类型的假设上利用单一模型进行纠错的解决方案,根据不同场景选择添加多种表现优异的纠错模型分别进行纠错再集成召回更全面的候选集,同时根据自定义特征的重要程度建立了一个多策略、可拓展的候选排序算法,以挑选更具有公信力的修正结果。DCsR框架有效地解决了模型的偏向性问题,进一步全面提升了对中文文本拼写纠错的能力。实验结果表明,在公开数据集SIGHAN15上,对比现在的主流纠错模型,使用DCsR框架进行纠错的F1值比表现最优的单模型纠错高出了3.93%,进一步提升了对中文文本的纠错能力。针对CGED2020进行的消融实验也表明了DCsR框架的有效性。

著录项

来源
《计算机工程与科学》 |2023年第2期|370-380|共11页
作者
曹军航; 黄瑞章; 白瑞娜; 赵建辉;
展开▼
作者单位

公共大数据国家重点实验室;

贵州大学计算机科学与技术学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类文字信息处理;
关键词
中文文本纠错; DCsR框架; 集成式纠错; 特征重要程度; 候选排序算法;

相似文献

中文文献
外文文献
专利

1. 面向中文网络评论情感分类的集成学习框架 [J] . 黄佳锋 ,薛云 ,卢昕 . 中文信息学报 . 2018,第009期
2. ALICE:一种面向中文科技文本分析的预训练语言表征模型 [J] . 王英杰 ,谢彬 ,李宁波 . 计算机工程 . 2020,第2期
3. 一种面向海量中文文本的典型类属关系识别方法 [J] . 刘琦 ,肖仰华 ,汪卫 . 计算机工程 . 2015,第002期
4. 一种面向中文敏感网页识别的文本分类方法 [J] . 陈欣 ,张菁 ,李晓光 . 测控技术 . 2011,第5期
5. 基于分布式框架下的中文文本特征分类 [J] . 张慧芳 ,宗彩乐 ,张晓琳 . 电脑与电信 . 2019,第005期
6. 面向中文陌生文本的人机交互式分词方法 [C] . 李斌 ,陈小荷 . 第三届学术计算语言学研讨会 . 2006
7. 面向分布式文本知识管理的中文分词与文本分类研究 [A] . 李志国 . 2008

DCsR:一种面向中文文本的集成式纠错框架

摘要

著录项

相似文献

相关主题

期刊订阅