首页> 中文期刊> 《计算机工程与科学》 >基于EMD距离的稀疏自编码器

基于EMD距离的稀疏自编码器

         

摘要

KL散度在机器学习领域被广泛地用于模型损失函数之中来度量分布的距离。在稀疏自编码器中,KL散度被用作损失函数的惩罚项来度量神经元输出与稀疏参数的距离,使得神经元输出趋近稀疏参数,从而抑制神经元的激活以得到稀疏编码。在WGAN中,Wasserstein距离被用于解决GAN的梯度消失和模式塌陷问题,使得GAN的训练更加稳定。得益于Wasserstein距离在GAN中的成功应用,提出了基于EMD距离的稀疏自编码器SAE-EMD。实验结果表明,相比于使用KL散度与JS散度,使用EMD距离作为惩罚项的稀疏自编码器可以使得真实样本与重构样本之间的重构误差减小,并且随着惩罚参数的增大,编码更加稀疏。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号