首页> 中文会议>中国中文信息学会二十五周年学术会议 >基于统计的汉字极限熵估测

基于统计的汉字极限熵估测

页面导航

摘要
著录项
相似文献
相关主题

摘要

文字符号的极限熵是在充分考虑上下文信息条件下,字符所包含平均信息量的大小.本文分别利用两种统计方法来估计汉字的极限熵:第一种方法通过计算汉字的n阶熵来逼近极限熵;第二种方法则通过建立统计语言模型,计算模型与平衡测试样本集之间的交叉熵给出汉字极限熵上界的估计.在实验中我们比较了这两种方法并得出结论:基于词的语言模型估计方法比基于字的直接计算方法得到了汉字熵的更为精确的估计,其熵值为5.31比特.实验中我们还使用了多种平滑技术对模型进行平滑,并比较了这些方法的优劣.

著录项

来源
《中国中文信息学会二十五周年学术会议》|2006年|542-551|共10页
会议地点北京
作者
孙帆; 孙茂松;
展开▼
作者单位

中国中文信息学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类 TP391.12;
关键词
极限熵; 语言模型; 平滑技术; 线性插值;

相似文献

中文文献
外文文献
专利

1. 汉字的极限熵 [J] . 冯志伟 . 中文信息 . 1996,第2期
2. 基于信息熵的静态手写汉字签名鉴定研究 [J] . 王洪革 ,宋晓雪 ,潘石 . 计算机应用与软件 . 2013,第001期
3. 基于峭度熵与分层极限学习机的动量轮轴承故障诊断研究 [J] . 刘鹭航 ,张强 ,王虹 . 中国空间科学技术 . 2021,第003期
4. 基于p阶最大相关熵准则损失函数的鲁棒极限学习机 [J] . 张秋桥 ,王冰 ,汪海姗 . 计算机应用研究 . 2021,第012期
5. 基于信息熵与改进极限学习机的中长期径流预测 [J] . 岳兆新 ,艾萍 ,熊传圣 . 水利水电科技进展 . 2021,第004期
6. 稳态轴对称黑洞的热力学熵和统计力学熵 [C] . 荆继良 . 中国科协首届学术年会 . 1999
7. 等熵相对论Euler方程组Cauchy问题整体熵解的Newton极限 [A] . 黄敏 . 2010

基于统计的汉字极限熵估测

摘要

著录项

相似文献

相关主题

期刊订阅