SIGGRAPH ASIA 2020 微软亚洲研究院论文精选

2020 年 12 月 8 日 微软研究院AI头条

编者按：由 ACM SIGGRAPH 举办的 SIGGRAPH ASIA 2020 大会于12月4日-13日在线上举办，本届大会涉及了视觉科学、艺术、动画、游戏、互动、教育、电影等多个领域。今天我们将为大家介绍一下微软亚洲研究院在 SIGGRAPH ASIA 2020 上发表的两篇论文，内容涉及了真实世界数字化方法和草图到 CAD 建模领域。

基于深度学习表达实现360度自由视角重光照

Deferred Neural Lighting: Free-viewpoint Relighting from Unstructured Photographs

论文链接：http://yuedong.shading.me/project/defnlight/DeferredNeuralLighting.pdf

真实世界数字化是指将某个真实世界存在的物体或场景，通过计算机图形学的方法得到该真实场景的数字化表达，从而可以生成在全新视角和光照下的高逼真图片。

相关的真实世界数字化的方法可以分为两大类：传统基于建模的方法和基于图片的方法。随着深度学习的发展，用于全新视角生成的深度学习表达和方法也不断被提出。然而，基于图片的方法为了得到高逼真的结果，往往依赖于专业的、高精度的采集设备以及密集的场景采样数据，这大大限制了其使用场景。此外，很多基于图片的方法仅支持新视角的生成而无法实现重光照。如图1，通过一个富有挑战性的例子展示了目前方法存在的局限性。

图1：现有方法的对比展示。 (a)为参考图片；(c)是现有基于图片方法的结果；(d)为现有基于图片新视角生成方法的扩展，这些方法都未能正确捕捉反射效果；(e)是基于建模方法的结果，同样无法正确处理高光反射；作为对比，(b)是新研究方法得到的结果。

本篇论文中提出的研究方法的目标是针对生活中的真实场景，使用轻量级的采集条件获得的图片作为输入，实现高真实感的360度自由视角的重光照。为了实现以上目标，微软亚洲研究院的研究员们提出了结合深度学习的全新三维物体表达和相应的全新渲染流程。

图2：该方法流程总览

图2展示了该方法的主要流程——首先将投影到屏幕空间的可学习的深度纹理贴图与预先渲染得到的光照信号相乘，接着将其输入给深度渲染网络，最后输出渲染结果。

然而，由于训练数据仅包含点光源，深度渲染网络无法很好地处理带有颜色的或者低频的光照，从而导致网络的输出带有明显瑕疵。为此，全新的光照增强策略被提出，以解决光照泛用性问题。其核心思路是使用经典的基于图片的重光照方法来合成环境光照下的渲染图片数据集，然后在该增强的环境光照数据集和原拍摄的点光源数据集下一起训练。图3展示了对比结果，从图中可以看出，光照增强策略可以显著提升在环境光照下的结果质量。关于提出的深度表达的参数细节以及其他实现细节，感兴趣的读者可以深度阅读论文。

图3：左侧图片为参考图片，中间图片是经过光照增强策略训练后的预测结果，右侧为没有该策略情况下的预测结果。

研究员们拍摄了大量真实世界的复杂物体，图4展示了该方法的预测结果和参考图片的对比，需要注意的是，这些数据并没有被用于训练。从图中可以看出，拍摄的数据集涵盖了多种复杂物体，但该方法仍可以在这些复杂的真实场景上生成真实的渲染结果。

图4：在真实拍摄数据上，使用方法和参考图片的对比。每个物体的左列是参考图片，右列则是预测输出。二者之间的图片是误差图片放大5倍的结果。

图5进一步展示了其他视角下的结果以及部分场景在环境光照下的渲染结果。

图5：更多的例子。其中(a)、 (b)、 (c)为点光源下的渲染结果，而(d)、(e)、(f)为环境光照下的渲染结果。

此外，本篇论文提出的方法还对粗糙几何的误差具有鲁棒性。图6展示了不同“粗糙”层次的粗糙几何的结果。其中 (c) 对应的粗糙几何的质量类似于在真实拍摄中重建的物体几何质量，而 (d) 是一个更加粗糙的版本，可以看到在 (c)、 (d) 中，几何存在很多缺失和不匹配，例如树上端的星形已经几乎消失，但仍然可以给出高逼真的渲染结果。

图6：对于不同粗糙度几何的鲁棒性。

如下是更多的例子以及连续旋转视角和光照的展示视频。

综上，微软亚洲研究院的研究员们提出了一种结合深度学习的全新三维物体表达和相应的全新渲染流程，可以以轻量级拍摄条件得到的无结构图片集作为输入，实现360度自由视角下的重光照，实验证明该方法对于很多真实世界的复杂物体和场景可以得到逼真的渲染结果。此外，新的光照增强训练策略也可以扩展该方法适用的光照范围。

从草图到 CAD：通过上下文相关的草图绘制进行序列化 CAD 建模

Sketch2CAD: Sequential CAD Modeling by Sketching in Context

论文链接：https://arxiv.org/abs/2009.04927

GitHub代码: https://github.com/Enigma-li/Sketch2CAD

传统的产品设计流程从概念设计开始，由工程师建模转化为 CAD 模型，再经分析验证后进行生产制造。在概念设计阶段，设计人员为了便捷构思和自由表达，往往以绘制草图的方式完成。如图7所示，草图绘制的过程（第一行）是很明显的从主体到细节的序列，其顺序与软件建模 CAD 的过程（第二行）非常类似。为了加速从设计到建模的迭代，减少人力成本，微软亚洲研究院的研究员与合作者们提出了将草图绘制序列翻译成 CAD 建模操作序列的方法 Sketch2CAD，从而实现直观、自然的 CAD 建模（图8）。

图7： (a) 绘制草图进行产品概念设计，(b)CAD 软件中的建模，两者展现出了非常相似的序列过程。

图8：Sketch2CAD 系统。从一个启发式的产品设计草图(a,©Koos Eissen and Roselien Steur) 出发，系统支持用户交互绘制一系列的平面草图(b)，之后再将草图序列转译为 CAD 操作序列 (c)，执行该序列就得到了重建的 CAD 模型 (d)。

尽管具有相似的顺序结构，但草图和 CAD 操作之间仍存在巨大的差异。草图是固定视角下的二维平面图，因为手绘而没有精确几何，而且同一组笔画可以有完全不同的理解方法，这样的二义性需要更多上下文信息才能去除（图8 (b)）。比较而言，CAD 每一步都是精确的三维几何操作，其执行结果完全确定，否则无法用于生产制造（图8 (c,d)）。为了完成从草图序列到 CAD 序列的翻译，研究员们通过借助机器学习的方法来对抗草图的不精确和二义性。

如图9所示，机器学习模型利用草图所在模型作为上下文信息，使用卷积神经网络进行 CAD 操作的分类和关键参数的回归。随后，作为后处理，进一步通过搜索和几何拟合的方法完全恢复 CAD 操作。通过组合机器学习模型的统计稳定性和几何优化的精确性，该方法完成了从自由草图到精准 CAD 操作的转译。