Hatching is a common method used by artists to accentuate the third dimension of a sketch, and to illuminate the scene. Our system SHAD3S attempts to compete with a human at hatching generic three-dimensional (3D) shapes, and also tries to assist her in a form exploration exercise. The novelty of our approach lies in the fact that we make no assumptions about the input other than that it represents a 3D shape, and yet, given a contextual information of illumination and texture, we synthesise an accurate hatch pattern over the sketch, without access to 3D or pseudo 3D. In the process, we contribute towards a) a cheap yet effective method to synthesise a sufficiently large high fidelity dataset, pertinent to task; b) creating a pipeline with conditional generative adversarial network (CGAN); and c) creating an interactive utility with GIMP, that is a tool for artists to engage with automated hatching or a form-exploration exercise. User evaluation of the tool suggests that the model performance does generalise satisfactorily over diverse input, both in terms of style as well as shape. A simple comparison of inception scores suggest that the generated distribution is as diverse as the ground truth.


翻译:画家们用一种常见的方法来强调草图的第三个维度,并照亮场景。我们的系统SHAD3S试图在孵化通用三维(3D)形状时与人竞争,并试图以形式探索来帮助她。我们的方法的新颖之处在于,我们除了对3D形状的输入不作任何假设外,对它没有其它的3D形状,然而,根据关于照明和纹理的背景资料,我们合成了草图上的准确的孵化模式,而没有3D或伪的3D。在这个过程中,我们帮助一种廉价而有效的方法,以合成一个与任务相关的足够大的高度忠诚数据集;b)建立一个带有有条件的基因对抗网络(CGAN)的管道;c)与GIMP(GIMP)建立互动工具,这是艺术家们参与自动孵化或形式探索活动的一个工具。对工具的用户评价表明,模型表现在风格和形状上均令人满意地概括了各种投入。对初始分数的比较表明,所产生的分布是多种多样的。

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
近期必读的六篇 ICLR 2021【推荐系统】相关投稿论文
专知会员服务
46+阅读 · 2020年10月13日
 【SIGGRAPH 2020】人像阴影处理,Portrait Shadow Manipulation
专知会员服务
28+阅读 · 2020年5月19日
开源书:PyTorch深度学习起步
专知会员服务
49+阅读 · 2019年10月11日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
38+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
KDD2020推荐系统论文聚焦
机器学习与推荐算法
15+阅读 · 2020年6月28日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
From Points to Multi-Object 3D Reconstruction
Arxiv
0+阅读 · 2020年12月21日
Arxiv
0+阅读 · 2020年12月16日
Arxiv
5+阅读 · 2018年5月1日
VIP会员
Top
微信扫码咨询专知VIP会员