The key challenge in photorealistic style transfer is that an algorithm should faithfully transfer the style of a reference photo to a content photo while the generated image should look like one captured by a camera. Although several photorealistic style transfer algorithms have been proposed, they need to rely on post- and/or pre-processing to make the generated images look photorealistic. If we disable the additional processing, these algorithms would fail to produce plausible photorealistic stylization in terms of detail preservation and photorealism. In this work, we propose an effective solution to these issues. Our method consists of a construction step (C-step) to build a photorealistic stylization network and a pruning step (P-step) for acceleration. In the C-step, we propose a dense auto-encoder named PhotoNet based on a carefully designed pre-analysis. PhotoNet integrates a feature aggregation module (BFA) and instance normalized skip links (INSL). To generate faithful stylization, we introduce multiple style transfer modules in the decoder and INSLs. PhotoNet significantly outperforms existing algorithms in terms of both efficiency and effectiveness. In the P-step, we adopt a neural architecture search method to accelerate PhotoNet. We propose an automatic network pruning framework in the manner of teacher-student learning for photorealistic stylization. The network architecture named PhotoNAS resulted from the search achieves significant acceleration over PhotoNet while keeping the stylization effects almost intact. We conduct extensive experiments on both image and video transfer. The results show that our method can produce favorable results while achieving 20-30 times acceleration in comparison with the existing state-of-the-art approaches. It is worth noting that the proposed algorithm accomplishes better performance without any pre- or post-processing.


翻译:光现实风格传输的关键挑战在于, 算法应该忠实地将引用照片的风格转换为内容图片, 而生成的图像应该看起来像相机所捕捉到的一样。 虽然提出了几个光现实风格传输算法 。 尽管已经提出了几个光现实风格传输算法( Pstep ), 但是它们需要依赖后和/ 预处理使生成的图像看起来具有光现实性。 如果我们禁用了额外的处理, 这些算法将无法产生真实的光现实化详细保存和照片现实主义的模版。 在这项工作中, 我们建议了解决这些问题的有效解决方案。 我们的方法是一个构建步骤( C- step ), 以构建一个光真实的网络快速化网络化网络化网络化网络化网络化网络化网络化网络化网络化, 以及快速快速化的系统化系统化系统化系统化系统, 快速化系统化系统化的系统化系统化系统化的系统化系统化系统化系统化系统, 快速化的系统化系统化的系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化, 快速的系统化系统化系统化的系统化系统化系统化系统化系统化系统化系统化系统化的系统化系统化系统化系统化, 系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化, 系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化, 系统化系统化, 系统化系统化系统化系统化系统化系统化系统化系统化系统化的系统化系统化系统化系统化系统化, 系统化系统化系统化系统化系统化系统化,系统化系统化系统化系统化系统化,系统化,系统化系统化系统化系统化,系统化系统化,系统化,系统化系统化,系统化,系统化,系统化系统化系统化系统化,系统化,系统化系统化系统化,系统化系统化,系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化系统化,系统化,系统化系统化,系统化系统化系统化,系统化,系统化,系统化,系统化,系统化系统化,系统化,系统化,系统化,

0
下载
关闭预览

相关内容

iOS 8 提供的应用间和应用跟系统的功能交互特性。
  • Today (iOS and OS X): widgets for the Today view of Notification Center
  • Share (iOS and OS X): post content to web services or share content with others
  • Actions (iOS and OS X): app extensions to view or manipulate inside another app
  • Photo Editing (iOS): edit a photo or video in Apple's Photos app with extensions from a third-party apps
  • Finder Sync (OS X): remote file storage in the Finder with support for Finder content annotation
  • Storage Provider (iOS): an interface between files inside an app and other apps on a user's device
  • Custom Keyboard (iOS): system-wide alternative keyboards

Source: iOS 8 Extensions: Apple’s Plan for a Powerful App Ecosystem
专知会员服务
59+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
159+阅读 · 2020年3月18日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
89+阅读 · 2019年10月10日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
14+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Deformable Style Transfer
Arxiv
14+阅读 · 2020年3月24日
Arxiv
11+阅读 · 2019年4月15日
Arxiv
12+阅读 · 2018年9月5日
VIP会员
相关VIP内容
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
14+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员