大型语言模型可以生成流畅的文本,并可以按照自然语言指令解决各种任务,而无需特定任务的训练。然而,要控制它们的生成以满足不同应用所需的各种约束条件是非常困难的。在这项工作中,我们提出了INSTRUCTCTG,这是一个受控文本生成框架,它通过依据约束条件的自然语言描述和演示来结合不同的约束条件。特别地,我们首先通过一组现成的自然语言处理工具和简单的启发式方法来提取自然文本中的潜在约束条件。然后,我们将这些约束条件转化为自然语言指令,以形成弱监督的训练数据。通过在输入之前添加约束条件的自然语言描述和一些演示,我们微调了一个预训练的语言模型,以包括各种类型的约束条件。与现有的基于搜索或基于评分的方法相比,INSTRUCTCTG 对不同类型的约束条件更加灵活,并且对生成质量和速度的影响要小得多,因为它不修改解码过程。此外,INSTRUCTCTG 还允许模型通过使用指令调整的语言模型的少量样本任务泛化和上下文学习能力来适应新的约束条件而无需重新训练。代码将在 https://github. com/MichaelZhouwang/InstructCTG 上提供。

成为VIP会员查看完整内容
27

相关内容

国际机器学习大会(International Conference on Machine Learning,简称ICML ) 是由国际机器学习学会(IMLS)主办的机器学习国际顶级会议。 2023年7月23日至29日周六在夏威夷会议中心举行。
【ICML2023】POUF:面向提示的大型预训练模型无监督微调
专知会员服务
35+阅读 · 2023年5月18日
【CVPR2023】基于文本到图像扩散模型的开放词汇全景分割
专知会员服务
79+阅读 · 2021年10月15日
人大最新《基于Transformer 的视频语言预训练》综述论文
专知会员服务
43+阅读 · 2021年9月27日
专知会员服务
18+阅读 · 2021年9月13日
知识增强的文本生成研究进展
专知会员服务
95+阅读 · 2021年3月6日
扩散模型在文本生成领域的应用
新智元
0+阅读 · 2022年10月13日
NAACL 2022 | 基于Prompt的文本生成迁移学习
PaperWeekly
1+阅读 · 2022年8月31日
自然语言生成资源列表
专知
17+阅读 · 2020年1月4日
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年6月12日
Arxiv
0+阅读 · 2023年6月9日
Arxiv
11+阅读 · 2019年6月19日
Arxiv
21+阅读 · 2019年3月25日
VIP会员
相关VIP内容
【ICML2023】POUF:面向提示的大型预训练模型无监督微调
专知会员服务
35+阅读 · 2023年5月18日
【CVPR2023】基于文本到图像扩散模型的开放词汇全景分割
专知会员服务
79+阅读 · 2021年10月15日
人大最新《基于Transformer 的视频语言预训练》综述论文
专知会员服务
43+阅读 · 2021年9月27日
专知会员服务
18+阅读 · 2021年9月13日
知识增强的文本生成研究进展
专知会员服务
95+阅读 · 2021年3月6日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员