Creating presentation materials requires complex multimodal reasoning skills to summarize key concepts and arrange them in a logical and visually pleasing manner. Can machines learn to emulate this laborious process? We present a novel task and approach for document-to-slide generation. Solving this involves document summarization, image and text retrieval, slide structure and layout prediction to arrange key elements in a form suitable for presentation. We propose a hierarchical sequence-to-sequence approach to tackle our task in an end-to-end manner. Our approach exploits the inherent structures within documents and slides and incorporates paraphrasing and layout prediction modules to generate slides. To help accelerate research in this domain, we release a dataset about 6K paired documents and slide decks used in our experiments. We show that our approach outperforms strong baselines and produces slides with rich content and aligned imagery.


翻译:制作演示材料需要复杂的多式联运推理技能,以总结关键概念,并以逻辑和视觉上令人愉快的方式安排这些概念。机器能否学习模仿这种艰苦的过程?我们为从文件到滑动的生成提出了一个新的任务和方法。解决这个问题需要文件汇总、图像和文本检索、幻灯片结构和布局预测,以便以适合展示的形式安排关键要素。我们建议了一种分级顺序到顺序的方法,以便以端到端的方式处理我们的任务。我们的方法利用了文档和幻灯片中固有的结构,并结合了参数和布局预测模块来生成幻灯片。为了帮助加速这一领域的研究,我们发布了一套关于实验中使用的6K对齐文档和幻灯片甲板的数据集。我们展示了我们的方法超越了强大的基线,产生了内容丰富且图像一致的幻灯片。

14
下载
关闭预览

相关内容

专知会员服务
25+阅读 · 2021年4月2日
最新《自监督表示学习》报告,70页ppt
专知会员服务
84+阅读 · 2020年12月22日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
67+阅读 · 2020年10月24日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
167+阅读 · 2020年6月28日
少标签数据学习,54页ppt
专知会员服务
192+阅读 · 2020年5月22日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
MIT新书《强化学习与最优控制》
专知会员服务
269+阅读 · 2019年10月9日
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
学术报告|港科大助理教授宋阳秋博士
科技创新与创业
7+阅读 · 2019年7月19日
已删除
将门创投
8+阅读 · 2019年6月13日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Arxiv
3+阅读 · 2018年12月18日
Arxiv
3+阅读 · 2017年12月18日
VIP会员
相关VIP内容
专知会员服务
25+阅读 · 2021年4月2日
最新《自监督表示学习》报告,70页ppt
专知会员服务
84+阅读 · 2020年12月22日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
67+阅读 · 2020年10月24日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
167+阅读 · 2020年6月28日
少标签数据学习,54页ppt
专知会员服务
192+阅读 · 2020年5月22日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
MIT新书《强化学习与最优控制》
专知会员服务
269+阅读 · 2019年10月9日
相关资讯
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
学术报告|港科大助理教授宋阳秋博士
科技创新与创业
7+阅读 · 2019年7月19日
已删除
将门创投
8+阅读 · 2019年6月13日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Top
微信扫码咨询专知VIP会员