导读:预训练模型在NLP大放异彩,并开启了预训练-微调的NLP范式时代。由于工业领域相关业务的复杂性,以及工业应用对推理性能的要求,大规模预训练模型往往不能简单直接地被应用于NLP业务中。本文将为大家带来小米在预训练模型的探索与优化。

成为VIP会员查看完整内容
18

相关内容

小米公司正式成立于 2010 年 4 月,是一家以智能手机、智能硬件和 IoT 平台为核心的消费电子及智能制造公司。创业仅7年时间,小米的年收入就突破了千亿元人民币。截止 2018 年,小米的业务遍及全球 80 多个国家和地区。小米的使命是,始终坚持做“感动人心、价格厚道”的好产品,让全球每个人都能享受科技带来的美好生活。
专知会员服务
46+阅读 · 2021年2月2日
【AAAI2021】知识图谱增强的预训练模型的生成式常识推理
专知会员服务
112+阅读 · 2020年12月9日
专知会员服务
20+阅读 · 2020年10月4日
最新《图嵌入组合优化》综述论文,40页pdf
专知会员服务
73+阅读 · 2020年8月31日
专知会员服务
111+阅读 · 2020年8月22日
专知会员服务
78+阅读 · 2020年8月4日
【知识图谱】知识图谱在小米的落地与挑战
产业智能官
4+阅读 · 2019年12月3日
NLP领域预训练模型的现状及分析
AI科技评论
5+阅读 · 2019年11月1日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
英伟达Faster Transformer:作者带你揭秘BERT优化
机器之心
13+阅读 · 2019年9月18日
【GitHub】BERT模型从训练到部署全流程
专知
34+阅读 · 2019年6月28日
如何优化你的图像分类模型效果?
AI研习社
4+阅读 · 2019年5月26日
雷军强推:小米造最强超分辨率算法,现已开源
机器之心
7+阅读 · 2019年2月20日
Arxiv
0+阅读 · 2021年2月26日
Arxiv
29+阅读 · 2020年3月16日
Arxiv
11+阅读 · 2019年6月19日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Arxiv
3+阅读 · 2018年8月27日
VIP会员
相关VIP内容
专知会员服务
46+阅读 · 2021年2月2日
【AAAI2021】知识图谱增强的预训练模型的生成式常识推理
专知会员服务
112+阅读 · 2020年12月9日
专知会员服务
20+阅读 · 2020年10月4日
最新《图嵌入组合优化》综述论文,40页pdf
专知会员服务
73+阅读 · 2020年8月31日
专知会员服务
111+阅读 · 2020年8月22日
专知会员服务
78+阅读 · 2020年8月4日
相关资讯
【知识图谱】知识图谱在小米的落地与挑战
产业智能官
4+阅读 · 2019年12月3日
NLP领域预训练模型的现状及分析
AI科技评论
5+阅读 · 2019年11月1日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
英伟达Faster Transformer:作者带你揭秘BERT优化
机器之心
13+阅读 · 2019年9月18日
【GitHub】BERT模型从训练到部署全流程
专知
34+阅读 · 2019年6月28日
如何优化你的图像分类模型效果?
AI研习社
4+阅读 · 2019年5月26日
雷军强推:小米造最强超分辨率算法,现已开源
机器之心
7+阅读 · 2019年2月20日
相关论文
Arxiv
0+阅读 · 2021年2月26日
Arxiv
29+阅读 · 2020年3月16日
Arxiv
11+阅读 · 2019年6月19日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Arxiv
3+阅读 · 2018年8月27日
微信扫码咨询专知VIP会员