对话管理器是任务型对话系统的核心模块,它有两个重要的任务:对话状态跟踪和对话策略优化。对话状态跟踪的作用是用来估计用户 的目标,对话策略决定着系统应该给用户回复什么动作。部分可观测 马尔科夫决策过程为基于数据驱动的对话管理方法提供了良好的理论 支撑,各种基于数据驱动的对话管理方法被提出,但是在实际应用中 这些方法还面临着两个重要的挑战:训练数据极度稀疏和对话领域扩 展及迁移。训练数据的稀疏原因主要来自四个方面:任务型对话数据 收集困难、数据标注复杂、对话数据变化多样和强化学习的反馈信号 稀疏;对话领域扩展和迁移是对话系统认知边界扩展的重要体现。

本论文的第一部分围绕对话状态跟踪任务中训练数据稀疏和对话 领域扩展两个核心挑战,基于 知识与数据双驱动的思想提出了两种新 型的对话状态跟踪方法。

针对训练数据稀疏的问题,本论文提出了一种基于规则和数据相 结合的混合对话状态跟踪方法:有约束的马尔科夫贝叶斯多项式模型。在该方法中,对话状态跟踪模型被定义为一组满足一定约束条件的多 项式函数,人类的先验知识和领域知识被编码在这些约束中。在合理 的假设下,对话状态跟踪模型的优化问题可以转化为整数线性规划问 题。求解该整数线性规划问题,就可以得到一组符合人类先验知识和 领域知识的对话状态跟踪模型,然后可以利用有标注的数据挑选性能 最好的模型。在对话状态跟踪标准测试集上的实验表明,在训练数据 稀疏和比较充足的两种情况下,该方法相对于已有的规则模型和统计 模型,都取得了显著的性能提升。

针对对话领域扩展的问题,本论文提出了一种通用的端到端对话 状态跟踪模型。解决对话领域扩展问题的关键在于使模型能够自适应语义槽的动态扩展,并且可以实现语义槽之间知识的迁移。本论文提 出了基于结构化深度学习的通用对话状态跟踪模型,利用图神经网络 基于领域本体知识来自动构建语义关系图,有效地支持对话领域的扩 展,目前在多个标准测试数据集上均取得最优的性能。

本论文的第二部分围绕对话策略优化任务中训练数据稀疏和对话 领域迁移两个挑战,同样基于 知识与数据双驱动的思路分别提出了两 种新型的对话策略优化方法。

针对训练数据稀疏特别是反馈信号稀疏的问题,本论文提出了基 于伴随学习的对话策略在线优化方法。传统的基于规则的策略通常在 预定义的范围内比较可靠,但是不具有自适应能力,而基于强化学习 的方法虽然可以根据用户的反馈自动优化,但是其初始性能往往很差, 并且学习效率低下。本文提出的伴随学习框架将两种策略结合起来, 其中基于规则的策略充当“老师”,并通过提供示例动作和额外收益两 种方式来指导数据驱动的强化学习策略。实验结果表明,该方法显著 地提高了在线策略优化的初始性能以及学习效率。

针对对话领域迁移的问题,本论文提出了基于结构化深度强化学 习的通用策略优化模型。整个模型由一些子网络组成,每个子网络对 应一个有向图中的节点,此图的结构是根据领域本体中的语义槽及它 们的关系来定义。每个节点都可以被视为一个子智能体,在对话策略 做决策时,每个子智能体都可以与其在图中的邻居通信,从而交换有 用信息。当对话领域发生变化时,只是模型的图结构发生了变化,而 智能体的参数不会发生变化,所以仍然能够正常进行决策。在剑桥大 学对话策略测试基准上的评估结果表明,该模型在多数任务上取得目 前最优的性能,并实现了比较高效的对话策略领域迁移。

总而言之,针对训练数据稀疏的问题,本论文基于知识和数据双 驱动的思路提出了系列融入规则的统计学习方法,显著降低了模型对 大规模训练数据的依赖;针对对话领域扩展和迁移的问题,本论文同 样基于知识和数据双驱动的思路提出了系列知识引导的结构化深度学 习模型,能够有效支持语义槽的扩展和知识的迁移。

成为VIP会员查看完整内容
37

相关内容

【博士论文】集群系统中的网络流调度
专知会员服务
40+阅读 · 2021年12月7日
【博士论文】视觉语言交互中的视觉推理研究
专知会员服务
58+阅读 · 2021年12月1日
【博士论文】推荐系统多行为建模与隐私保护研究
专知会员服务
52+阅读 · 2021年11月27日
专知会员服务
13+阅读 · 2020年12月12日
应用知识图谱的推荐方法与系统
专知会员服务
114+阅读 · 2020年11月23日
专知会员服务
24+阅读 · 2020年9月11日
【CIKM2020-阿里】在线序列广告的用户隐藏状态推断
专知会员服务
23+阅读 · 2020年9月5日
NLP实践:对话系统技术原理和应用
AI100
34+阅读 · 2019年3月20日
【小夕精选】多轮对话之对话管理(Dialog Management)
夕小瑶的卖萌屋
27+阅读 · 2018年10月14日
多轮对话之对话管理:Dialog Management
PaperWeekly
18+阅读 · 2018年1月15日
阿里巴巴首次近万字公布人工智能对话交互技术
全球人工智能
3+阅读 · 2017年12月5日
干货|深度强化学习在面向任务的对话管理中的应用
全球人工智能
13+阅读 · 2017年9月14日
Arxiv
0+阅读 · 2022年1月24日
Arxiv
19+阅读 · 2021年4月8日
QuAC : Question Answering in Context
Arxiv
4+阅读 · 2018年8月21日
VIP会员
相关VIP内容
【博士论文】集群系统中的网络流调度
专知会员服务
40+阅读 · 2021年12月7日
【博士论文】视觉语言交互中的视觉推理研究
专知会员服务
58+阅读 · 2021年12月1日
【博士论文】推荐系统多行为建模与隐私保护研究
专知会员服务
52+阅读 · 2021年11月27日
专知会员服务
13+阅读 · 2020年12月12日
应用知识图谱的推荐方法与系统
专知会员服务
114+阅读 · 2020年11月23日
专知会员服务
24+阅读 · 2020年9月11日
【CIKM2020-阿里】在线序列广告的用户隐藏状态推断
专知会员服务
23+阅读 · 2020年9月5日
相关资讯
微信扫码咨询专知VIP会员