【导读】NeurIPS,全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),作为关于机器学习和计算神经科学的国际会议,每年固定在12月举行,由NIPS基金会主办。NeurIPS是机器学习领域的顶级会议 ,是神经计算方面最好的会议之一 。在中国计算机学会的国际学术会议排名中,NeurIPS为人工智能领域的A类会议。NeurIPS 2021于12月6日-12月14日在加拿大蒙特利尔采用线上线下结合的方式举办。

来自OpenAI的研究人员Lilian Weng和Jong Wook Kim对自监督学习做了最新的报告,非常值得关注。

Lilian Weng现为OpenAI应用人工智能研究负责人,主要从事机器学习、深度学习和网络科学研究 。她本科毕业于香港大学,硕士就读于北京大学信息系统与计算机科学系,之后前往印度安纳大学布鲁顿分校攻读博士。

Lilian Weng经常在个人博客分享学习和工作笔记,感兴趣的可以戳这里: https://lilianweng.github.io/lil-log/。

Jong Wook Kim,OpenAI研究技术人员,参与Jukebox和CLIP这样的项目。研究兴趣包括大规模多模态深度学习和音乐理解。

自监督学习:自预测与对比学习

自监督学习是一种很好的方法,可以从大量的未标记数据中提取训练信号,并学习良好的表示,以方便下游的任务,在这些任务中收集特定于任务的标签非常昂贵。本教程将着重介绍自监督学习的两种主要方法:自预测和对比学习。自预测是指自监督的训练任务,在这种训练任务中,模型学会从剩余数据中预测一部分可用数据。对比学习是通过从数据集构造相似和不同的对,来学习一个相似数据样本保持相近而不同数据样本相距较远的表示空间。本教程将涵盖这两个主题和跨各种应用程序的方法,包括视觉、语言、视频、多模态和强化学习。

https://nips.cc/Conferences/2021/Schedule?showEvent=21895

● 导论 Introduction: motivation, basic concepts, examples.

● 早期工作 Early work: look into connection with old methods.

● 方法 Methods

○ Self-prediction 

○ Contrastive Learning

● 前置任务 Pretext tasks: a wide range of literature review.

● 技术 Techniques: improve training efficiency.

● 未来方向 Future directions

成为VIP会员查看完整内容
52
0

相关内容

自监督学习(self-supervised learning)可以被看作是机器学习的一种“理想状态”,模型直接从无标签数据中自行学习,无需标注数据。
【NeurIPS 2021】多视角对比图聚类
专知会员服务
24+阅读 · 2021年10月31日
专知会员服务
52+阅读 · 2021年7月23日
最新《域自适应视觉应用》ECCV2020教程,67页PPT
专知会员服务
20+阅读 · 2020年12月24日
最新《自监督表示学习》报告,70页ppt
专知会员服务
70+阅读 · 2020年12月22日
【EMNLP2020】序列知识蒸馏进展,44页ppt
专知会员服务
30+阅读 · 2020年11月21日
最新《域自适应视觉应用》ECCV2020教程,43页PPT
专知会员服务
22+阅读 · 2020年11月5日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
63+阅读 · 2020年10月20日
计算机视觉中的自监督表示学习近期进展
PaperWeekly
7+阅读 · 2020年10月5日
对比自监督学习
深度学习自然语言处理
32+阅读 · 2020年7月15日
【自监督学习】OpenAI科学家一文详解自监督学习
产业智能官
20+阅读 · 2020年3月18日
OpenAI科学家一文详解自监督学习
新智元
12+阅读 · 2019年11月20日
Arxiv
34+阅读 · 2021年2月10日
Arxiv
14+阅读 · 2020年7月21日
Arxiv
18+阅读 · 2018年8月19日
小贴士
相关VIP内容
【NeurIPS 2021】多视角对比图聚类
专知会员服务
24+阅读 · 2021年10月31日
专知会员服务
52+阅读 · 2021年7月23日
最新《域自适应视觉应用》ECCV2020教程,67页PPT
专知会员服务
20+阅读 · 2020年12月24日
最新《自监督表示学习》报告,70页ppt
专知会员服务
70+阅读 · 2020年12月22日
【EMNLP2020】序列知识蒸馏进展,44页ppt
专知会员服务
30+阅读 · 2020年11月21日
最新《域自适应视觉应用》ECCV2020教程,43页PPT
专知会员服务
22+阅读 · 2020年11月5日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
63+阅读 · 2020年10月20日
相关资讯
微信扫码咨询专知VIP会员