如何让AI画一幅水墨画?

2019 年 9 月 9 日 中国科学院自动化研究所

CASIA
解锁更多智能之美


如何让AI画一幅水墨画?


中国的水墨作品令人骄傲,优美的线条、朦胧的意境、独特的用墨手法为水墨作品添加了迷人的色彩。本文带你揭开水墨作品创作的神秘面纱,领略水墨作品创作过程。


中国水墨作品,包括水墨画和书法等形式。


图1 中国传统水墨艺术作品


从制作技法上来说,水墨画可分为工笔画和写意画。工笔画画法工整细致,力求写实,重形式而轻意达,绘制过程繁琐技法复杂;写意画画法简练,力求形似,注重作者的思想表达。写意作品绘制主题常见,绘制技法明确,作品笔画轮廓清晰。因此,水墨画的AI创作相关研究主要针对写意作品展开。


具体而言,将一张静态的写意作品的扫描件(或照片)输入,然后提取画作中的笔画,对笔画进行合理分析建模,由笔画间相互关系推断绘制过程,并设计渲染方法进行动态重构展示。


水墨画创作的三个阶段:


图2 小写意水墨画多阶段绘制过程示意


第一阶段:优先绘制一些比较显著的笔画,

第二阶段:逐步绘制细节笔画,

第三阶段:最后绘制装饰性笔画。


在每一阶段,具体的笔画顺序仍有待确定。笔画顺序受多种因素影响,包括形状、阴影、颜色、语义信息和画家的运动反射等。因此在计算绘制顺序的时候,考虑加入局部约束规则。


图3 笔画排序规则


R1:空间规则(Proximity):绘制过程中画家通常会从一个笔画移动到另一个空间距离近的笔画,以便节省时间保证绘画节奏。

R2:色彩规则(Color):为保证绘画节奏,绘制过程中画家通常将笔画根据颜色分组,同一组内笔画颜色相同,绘制时先绘制完同一组颜色相同的笔画。

R3:形状规则(Shape):不同形状的笔画通常由不同类型的画笔(笔刷的大小不同)绘制完成,画家通常也会将几何形状不同的笔画分组进行绘制

R4:墨色枯润(Wetness):在绘制过程中,画家通常会用同一根墨笔连续绘制多个笔画。绘制过程中毛笔上含的水分逐渐减少,这使得这些接连绘制的笔画墨色会呈现由润到枯的变化。

R5:墨色浓淡(Thickness):与墨色枯润变化相似,在一个局部区域内,墨色较浓的笔画往往绘制顺序优先于墨色较淡的。

R6:笔画大小(Size):画家在多阶段绘制框架下逐步添加笔画的过程中,会倾向于根据笔画的面积、长短及尺度信息优先添加比较重要的笔画。

R7:圆形约束(Rounding):在水墨画绘制过程中,通常使用两个笔画来绘制一个圆形物体,如葡萄、眼睛、花瓣等。这两个笔画的起始端点十分接近,两终点距离亦然。


AI 绘制水墨画,需要这几步:


1. 笔画特征提取(考虑笔画端点、长度、面积、尺度、形状、枯润、浓淡、颜色),

2. 多阶段表示:当笔画数较多时,偏序关系较复杂,不利于计算与分析。为方便计算,科研人员进一步将G(S)化简为哈斯图H(S),

3. 目标建立:将顺序计算定义为目标函数的求解问题,

4. 目标求解:基于自然进化策略优化求解。



图4 基于多阶段先验的重构模型流程图


结果展示:

图5 水墨画绘制过程动态展示及与画家实绘过程的对比


得到水墨画的绘制顺序后,科研人员将笔画序列中的每个笔画按照笔画绘制方向动态绘制出来。 笔刷在宣纸上的绘制过程抽象为一个圆锥体按一定轨迹在平面内移动。笔杆在空间中具有三个方向的平移自由度,同时可进行旋转。通过将毛笔移动过程与圆锥模型的位置移动做映射,结合墨色枯润变化实现对笔迹建模。


图6 基于椭圆模型的笔画动态显示


水墨画动态绘制应用场景


水墨画创作重构不仅仅是一项极具研究价值的课题,并且有着多样化的应用场景。


1. 水墨教学软件(早教类)


帮助小孩子找到兴趣所在,将教学指导与益智游戏结合起来,寓教于乐不在话下。


图7 应用示例:交互式水墨画早教


2. 动画生成


辅助中国风动画作品的生成,为中国动漫事业添砖加瓦。


图8 应用示例:水墨风格“讲故事”



当然,相关研究不仅仅止步于水墨画的创造重构,还可以生成指定文字序列的书法作品。


不同于绘画作品绘制顺序变化多样,书法作品的写作顺序往往是约定俗成的。现有方法通过大量人力物力进行字体库设计,且现有的字库多采用统一的字号,但实际上书法家在书写时字体大小变化多样。即便处于同一副作品中,不同位置的同一个字符大小也不尽相同。


因此,考虑书法作品中字符之间的尺寸搭配、间距控制等,设计以下的方法流程:


1. 用户给定一串文字序列,

2. 从支撑数据库中选出指定字符,

3. 若查找失败,使用相关字库作为补充,

4. 确定每个字体的大小,并以第一个字符大小为基础,计算其状态值,并根据概率转移矩阵P逐个确定后续字体状态,最终根据状态值调整每个字体大小完成最终作品生成。


图9 书法作品自动生成


水墨艺术是中华文化的结晶,将计算机数字化技术应用到水墨作品的创作重构当中去,有利于宣传独特的中华传统风格,加强中华传统文化的传承和教学,增大传统水墨元素在商业产品上的利用率,如动画、广告等。


中科院自动化所多媒体计算团队水墨画AI创作相关介绍可见:http://ivc.ia.ac.cn/inkwash/




智显未来,洞见新知
Discover Intelligence Future

更多精彩内容,欢迎关注

中科院自动化所官方网站:

http://www.ia.ac.cn

欢迎后台留言、推荐您感兴趣的话题、内容或资讯,小编恭候您的意见和建议!如需转载或投稿,请后台私信。

本文首发自中科院之声

作者:唐帆 邓盈盈

审校:董未名

编辑:鲁宁

排版:刘琪




登录查看更多
3

相关内容

张静,中国人民大学副教授。主要研究方向为机器学习、深度学习、图神经网络在知识图谱对齐、实体链接、实体补全与问答等。主持多项国家自然科学基金项目等课题。AI Open期刊Associate Editor。曾任SIGKDD、IJCAI等领域内国际顶级学术会议高级程序委员会委员。KDD十年最佳论文获得者。
少标签数据学习,54页ppt
专知会员服务
194+阅读 · 2020年5月22日
【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
23+阅读 · 2020年4月7日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
近期必读的6篇AI顶会WWW2020【推荐系统】相关论文
专知会员服务
56+阅读 · 2020年2月25日
TensorFlow Lite指南实战《TensorFlow Lite A primer》,附48页PPT
专知会员服务
67+阅读 · 2020年1月17日
多因素问题分析时,如何确立各因素权重?
人人都是产品经理
74+阅读 · 2020年3月4日
如何做数据治理?
智能交通技术
15+阅读 · 2019年4月20日
如何在NLP领域干成第一件事
AI100
6+阅读 · 2018年2月3日
如何成为一名自然语言处理工程师
人工智能头条
3+阅读 · 2018年1月18日
干货 | 如何在NLP领域干成第一件事?
AI科技评论
5+阅读 · 2017年12月27日
如何在NLP领域干成第一件事?
AI研习社
13+阅读 · 2017年11月26日
如何为LSTM重新构建输入数据(Keras)
全球人工智能
6+阅读 · 2017年10月13日
如何用 3 个月零基础入门机器学习?
AI研习社
6+阅读 · 2017年9月27日
【大数据】如何用大数据构建精准用户画像?
产业智能官
12+阅读 · 2017年9月21日
Equalization Loss for Long-Tailed Object Recognition
Arxiv
5+阅读 · 2020年4月14日
Arxiv
9+阅读 · 2019年4月19日
Risk-Aware Active Inverse Reinforcement Learning
Arxiv
7+阅读 · 2019年1月8日
Arxiv
26+阅读 · 2018年9月21日
Arxiv
4+阅读 · 2018年5月4日
Arxiv
3+阅读 · 2018年4月9日
Arxiv
4+阅读 · 2018年3月14日
VIP会员
相关VIP内容
相关资讯
多因素问题分析时,如何确立各因素权重?
人人都是产品经理
74+阅读 · 2020年3月4日
如何做数据治理?
智能交通技术
15+阅读 · 2019年4月20日
如何在NLP领域干成第一件事
AI100
6+阅读 · 2018年2月3日
如何成为一名自然语言处理工程师
人工智能头条
3+阅读 · 2018年1月18日
干货 | 如何在NLP领域干成第一件事?
AI科技评论
5+阅读 · 2017年12月27日
如何在NLP领域干成第一件事?
AI研习社
13+阅读 · 2017年11月26日
如何为LSTM重新构建输入数据(Keras)
全球人工智能
6+阅读 · 2017年10月13日
如何用 3 个月零基础入门机器学习?
AI研习社
6+阅读 · 2017年9月27日
【大数据】如何用大数据构建精准用户画像?
产业智能官
12+阅读 · 2017年9月21日
Top
微信扫码咨询专知VIP会员