• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>Conference on Image Processing: Algorithms and Systems III; 20040119-20040121; San Jose,CA; US >Neural Networks: Different problems require different learning rate adaptive methods
【24h】

Neural Networks: Different problems require different learning rate adaptive methods

机译：神经网络：不同的问题需要不同的学习率自适应方法

获取原文
获取原文并翻译 | 示例
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

In a previous study, a new adaptive method (AM) was developed to adjust the learning rate in artificial neural networks: the generalized no-decrease adaptive method (GNDAM). The GNDAM is fundamentally different from other traditional AMs. Instead of using the derivative sign of a given weight to adjust its learning rate, this AM is based on a trial and error heuristic where global learning rates are adjusted according to the error rates produced by two identical networks using different learning rates. This AM was developed to solve a particular task: the orientation detection of an image defined by texture (the texture task). This new task is also fundamentally different from other traditional ones since its data set is infinite, each pattern is a template used to generate stimuli that the network learns to classify. In the previous study, the GNDAM showed its strength over standard backpropagation for this particular task. The present study compares this new AM to other traditional AMs on the texture task and other benchmark tasks. The results showed that some AMs work well for some tasks while others work better for other tasks. However, all of them failed to achieve a good performance on all tasks.
机译：在先前的研究中，开发了一种新的自适应方法（AM）来调整人工神经网络中的学习率：广义无减小自适应方法（GNDAM）。 GNDAM从根本上不同于其他传统AM。该AM不是基于给定权重的导数符号来调整其学习率，而是基于反复试验的启发式方法，其中根据两个相同网络使用不同的学习率所产生的错误率来调整全局学习率。开发此AM是为了解决特定任务：纹理定义的图像的方向检测（纹理任务）。这项新任务与其他传统任务也有根本不同，因为它的数据集是无限的，每种模式都是用于生成网络学习分类的刺激的模板。在先前的研究中，对于该特定任务，GNDAM表现出优于标准反向传播的强度。本研究将这种新的AM与纹理任务和其他基准任务上的其他传统AM进行了比较。结果表明，某些AM可以很好地完成某些任务，而另一些AM可以更好地完成其他任务。但是，他们所有人都未能在所有任务上取得良好的表现。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号