关于NLP自监督学习,面试时被问崩溃了!

2022 年 7 月 13 日 夕小瑶的卖萌屋

不要错过文末福利❤

扫盲自监督无监督

(有不少同学还答不上来自监督和无监督真正的区别,我不是针对谁。)


无监督学习:无监督学习不依赖任何标签值,通过对数据内在特征的挖掘,找到样本间的关系,比如聚类相关的任务。


自监督学习:和无监督学习不同,自监督学习主要是利用辅助任务 (pretext)从大规模的无监督数据中挖掘自身的监督信息,通过这种构造的监督信息对网络进行训练,从而可以学习到对下游任务有价值的表征。


总结:自监督学习的监督信息不是人工标注的,而是是通过辅助任务 (pretext) 在大规模无监督数据中自动构造监督信息,通过得到的标签,就可以类似有监督学习一样进行训练。


自监督无监督发展


自监督学习cv方向的视频,医学图像,自动驾驶等领域发展态势十分良好,比如基于对比学习的自监督学习方法《moco》的提出就对cv领域的相关研究产生了深远的影响。


同理,自监督学习在推动自然语言处理(NLP)领域取得了巨大成功,包括Collobert-Weston 2008 model, Word2Vec, GloVE, fastText等。系统以这种方式进行预训练产生的性能要比仅以监督方式进行训练时高得多。


nlp从哪入手自监督学习


掌握自监督无监督学习在nlp领域的技术演化,就是在打地基!16号晚深度之眼邀请到5年深度学习和机器学习经验,在ICDM等会议发表多篇学术论文的赵老师来为大家讲解自监督无监督在nlp领域的技术发展要点,以及对比学习的重点。从经典论文cpc(《Representation Learning with Contrastive Predictive Coding》)入手,带你吃透nlp自监督学习。最后还有nlp自监督学习学习路径推荐!内容丰富,超值干货,不容错过。


扫描下方二维码

0.1元购课

购课后添加小享

以免错过直播通知

并领取福利(文末)


直播剧透


1.自然语言处理自监督发展历程与前进方向

2.技术演化路径

3.NLP预训练技术串讲

4.NLP中的对比学习

5.经典论文CPC讲解

6.学习路径推荐


扫描下方二维码

0.1元购课

购课后添加小享

以免错过直播通知

并领取福利(文末)


文末福利


价值198元的AI环境配置教程

购买自监督课程后加小享免费领取!


扫描下方二维码

0.1元购自监督

购课后添加小享

领取AI环境搭建学习视频


本文部分内容来源于网络侵删

登录查看更多
0

相关内容

《自监督学习》最新报告,45页ppt
专知会员服务
74+阅读 · 2022年9月14日
自监督学习理论
专知会员服务
54+阅读 · 2022年8月23日
【NAACL2021】信息解缠正则化持续学习的文本分类
专知会员服务
19+阅读 · 2021年4月11日
自监督学习最新研究进展
专知会员服务
76+阅读 · 2021年3月24日
专知会员服务
43+阅读 · 2021年1月18日
【AACL2020】自监督学习的自然语言处理
专知会员服务
51+阅读 · 2020年12月12日
杀疯了!Transformer强势闯入CV界秒杀CNN
PaperWeekly
0+阅读 · 2022年5月31日
入门NLP必读的10篇baseline论文
机器学习与推荐算法
0+阅读 · 2022年3月17日
2022入坑图像分割,我该从哪儿入手?
CVer
2+阅读 · 2022年2月24日
Transformer秒杀CNN,凭什么?
专知
0+阅读 · 2021年11月15日
2021年,还能入坑NLP吗?
图与推荐
0+阅读 · 2021年10月9日
2021入坑NLP?我劝你冷静一下
PaperWeekly
0+阅读 · 2021年10月8日
ACL 2021 | 今年NLP的这些论文,你不能错过!
微软研究院AI头条
0+阅读 · 2021年8月3日
面试题:预训练方法 BERT和OpenAI GPT有什么区别?
七月在线实验室
14+阅读 · 2019年5月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
28+阅读 · 2021年9月26日
Arxiv
13+阅读 · 2021年3月29日
Arxiv
19+阅读 · 2018年3月28日
Arxiv
12+阅读 · 2018年1月28日
VIP会员
相关VIP内容
《自监督学习》最新报告,45页ppt
专知会员服务
74+阅读 · 2022年9月14日
自监督学习理论
专知会员服务
54+阅读 · 2022年8月23日
【NAACL2021】信息解缠正则化持续学习的文本分类
专知会员服务
19+阅读 · 2021年4月11日
自监督学习最新研究进展
专知会员服务
76+阅读 · 2021年3月24日
专知会员服务
43+阅读 · 2021年1月18日
【AACL2020】自监督学习的自然语言处理
专知会员服务
51+阅读 · 2020年12月12日
相关资讯
杀疯了!Transformer强势闯入CV界秒杀CNN
PaperWeekly
0+阅读 · 2022年5月31日
入门NLP必读的10篇baseline论文
机器学习与推荐算法
0+阅读 · 2022年3月17日
2022入坑图像分割,我该从哪儿入手?
CVer
2+阅读 · 2022年2月24日
Transformer秒杀CNN,凭什么?
专知
0+阅读 · 2021年11月15日
2021年,还能入坑NLP吗?
图与推荐
0+阅读 · 2021年10月9日
2021入坑NLP?我劝你冷静一下
PaperWeekly
0+阅读 · 2021年10月8日
ACL 2021 | 今年NLP的这些论文,你不能错过!
微软研究院AI头条
0+阅读 · 2021年8月3日
面试题:预训练方法 BERT和OpenAI GPT有什么区别?
七月在线实验室
14+阅读 · 2019年5月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员