首页> 中国专利> 基于对比学习的小样本学习鲁棒性提升方法

基于对比学习的小样本学习鲁棒性提升方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明公开了一种基于对比学习的小样本学习鲁棒性提升方法，包括以下步骤：S1、对原始数据集进行预处理，构造对抗数据集和对比数据集；S2、将原始数据集、对抗数据集和对比数据集分别输入预训练语言模型中，得到相应的嵌入表示，并使用对比学习损失函数计算三种嵌入表示之间的距离；S3、根据对比学习损失函数与原模型的损失函数计算模型更新的梯度，以总体损失更小为目标来训练模型。本发明通过构造对抗和对比数据集为模型鲁棒性学习提供数据支持，使用对比学习目标函数计算损失能够更好地获取原始样本与对抗样本的相似性，也能更好地区分原始样本与对比样本的差异，从而提升模型受到对抗或者对比扰动时的鲁棒性。

著录项

公开/公告号CN114781651A

专利类型发明专利
公开/公告日2022-07-22

原文格式PDF
申请/专利权人清华大学深圳国际研究生院;鹏城实验室;
展开▼

申请/专利号CN202210565539.6
发明设计人郑海涛;阳佳城;王晖;江勇;夏树涛;肖喜;蒋芳清;
展开▼

申请日2022-05-23
分类号G06N20/00;G06F40/30;G06F40/242;G06F40/166;
代理机构深圳新创友知识产权代理有限公司;
代理人江耀纯
地址 518055 广东省深圳市南山区西丽街道深圳大学城清华校区A栋二楼
入库时间 2023-06-19 16:03:19

法律信息

法律状态公告日

法律状态信息

法律状态
2022-07-22

公开

发明专利申请公布

相似文献

专利
中文文献
外文文献

1. 基于对比学习的小样本学习鲁棒性提升方法 [P] . 中国专利： CN114781651A . 2022-07-22
2. 一种基于自监督学习的遥感图像分类网络鲁棒性提升方法 [P] . 中国专利： CN114067177A . 2022-02-18
3. Pedestrian detector learning method and learning apparatus for robust surveillance based on image analysis, and test method and testing apparatus using the same [P] . 日本专利： JP2020119558A . 2020-08-06

机译：基于图像分析的用于鲁棒性监视的行人检测器学习方法和学习设备，以及使用该方法的测试方法和测试设备
4. CNN LEARNING METHOD AND LEARNING DEVICE FOR FLUCTUATION-ROBUST OBJECT DETECTOR BASED ON CNN USING TARGET OBJECT ESTIMATING NETWORK ADAPTABLE TO CUSTOMERS' REQUIREMENTS SUCH AS KEY PERFORMANCE INDEX AND TESTING METHOD AND TESTING DEVICE USING THE SAME [P] . 韩国专利： KR20200091323A . 2020-07-30

机译：基于目标神经网络的CNN波动-鲁棒性目标检测器的CNN学习方法和学习装置，可根据客户的需求作为关键性能指标，测试方法和测试装置
5. Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same [P] . 美国专利： US10482584B1 . 2019-11-19

机译：用于在极端情况下利用容错和波动鲁棒性的多个神经网络消除抖动相机获取的视频抖动的学习方法和学习装置，以及使用该方法的学习方法和测试设备