随着ChatGPT等服务被部署到数百万用户中,生成语言模型最近大受欢迎。这些神经模型令人着迷、有用,而且令人难以置信地神秘:我们不是设计我们希望它们做的事情,而是将它们推向正确的方向,并且必须发现它们能够做什么。但是我们怎么能依赖这些难以理解的系统呢?

本次演讲将描述我们希望从文本生成模型中获得的一些关键特征,例如一致性和正确性,并展示我们如何设计算法以更可靠地生成具有这些属性的文本。我们还将强调使用这种模型的一些挑战,包括需要发现和命名新的和通常意想不到的突发行为。最后,我们将讨论这对理解模型的重大挑战的影响,以便我们可以安全地控制它们的行为。

Ari Holtzman是华盛顿大学的博士生。他的研究广泛关注文本的生成模型:我们如何使用它们,如何更好地理解它们。他的研究兴趣广泛,从对话(包括在2017年赢得第一届亚马逊Alexa奖)到文本生成的基础研究,如提出Nucleus Sampling,这是一种广泛用于部署系统(如GPT-3 API和学术研究)的解码算法。Ari在纽约大学完成了计算机科学和语言哲学相结合的跨学科学位。

成为VIP会员查看完整内容
61

相关内容

大模型是基于海量多源数据打造的预训练模型,是对原有算法模型的技术升级和产品迭代,用户可通过开源或开放API/工具等形式进行模型零样本/小样本数据学习,以实现更优的识别、理解、决策、生成效果和更低成本的开发部署方案。
大型语言模型的挑战与应用,72页pdf
专知会员服务
85+阅读 · 2023年7月21日
《大型语言模型》最新全面概述
专知会员服务
98+阅读 · 2023年7月14日
【ACL2023】从语言模型生成文本,140页ppt
专知会员服务
42+阅读 · 2023年7月10日
【神经语言生成:形式化,方法与评价,70页pdf】
专知会员服务
34+阅读 · 2020年8月8日
【综述】关键词生成,附10页pdf论文下载
专知会员服务
52+阅读 · 2019年11月20日
自然语言处理常识推理综述论文,60页pdf
专知
68+阅读 · 2019年4月4日
理解人类推理的深度学习
论智
17+阅读 · 2018年11月7日
【教程】如何使用深度学习为照片自动生成文本描述?
GAN生成式对抗网络
20+阅读 · 2017年11月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
The Importance of Distrust in AI
Arxiv
0+阅读 · 2023年7月25日
A Survey of Large Language Models
Arxiv
278+阅读 · 2023年3月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员