一种高效的基于互学习的在线蒸馏系统

胡干; 梁兴柱

首页> 中文期刊> 《电子世界》 >一种高效的基于互学习的在线蒸馏系统

一种高效的基于互学习的在线蒸馏系统

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

蒸馏是一种让较少参数的学生模型学习大型教师模型知识的有效方法,然而这样高性能的教师模型往往很难获得。因此,一些研究人员提出了一种让每个学生模型相互学习的策略,以取代传统的师生学习范式。虽然这种方法最近取得了良好的效果,但学生网络之间的相互学习很容易提前达到饱和。故此提出了一种基于互学习的在线蒸馏系统(MLS)用于在线知识蒸馏,该系统为每个学生模型提出了一个权重评估机制(LFS)和一个虚拟教师。

著录项

来源
《电子世界》 |2021年第23期|132-134|共3页
作者
胡干; 梁兴柱;
展开▼
作者单位

安徽理工大学;

安徽理工大学;

安徽理工大学环境友好材料与职业健康研究院(芜湖);

展开▼
原文格式 PDF
正文语种 chi
中图分类中等教育;
关键词
学习范式; 教师模型; 在线蒸馏; 虚拟教师; 模型学习; 权重评估;

相似文献

中文文献
外文文献
专利

1. 一种基于特征哈希的高效低周低压定值在线巡检系统设计与实现 [J] . 张治 ,陈翔 ,刘频 . 电力系统装备 . 2021,第024期
2. 一种基于隶属度函数在线学习优化策略的T-S模糊系统的L2-L∞/H∞混合控制 [J] . 董久祥 ,张振兴 . 辽宁师范大学学报（自然科学版） . 2021,第003期
3. 一种基于隶属度函数在线学习优化策略的T-S模糊系统的L_(2)-L_(∞)/H_(∞)混合控制 [J] . 董久祥 ,张振兴 . 辽宁师范大学学报:自然科学版 . 2021,第3期
4. 一种基于微信的在线学习系统设计 [J] . 赵彦哲 . 科技展望 . 2017,第016期
5. 一种基于SPOC模式的在线学习系统设计 [J] . 李月 . 现代计算机（专业版） . 2017,第036期
6. 一种蒸馏过程浓度在线软测量与推断控制系统的设计 [C] . 赵丹丹 ,邹志云 ,郭宁 . 第三届全国虚拟仪器学术交流大会 . 2009
7. 简单接头蛋白PDZK1配体的鉴定，配体间功能性相互联系预测以及验证;通过整合机器学习算法预测系统高效鉴定HPV 16 E6相互作用PDZ结构域蛋白 [A] . 胡斯奇 . 2009

一种高效的基于互学习的在线蒸馏系统

摘要

著录项

相似文献

相关主题

期刊订阅