RAW images have shown superior performance than sRGB images in many image processing tasks, especially for low-light image enhancement. However, most existing methods for RAW-based low-light enhancement usually sequentially process multi-scale information, which makes it difficult to achieve lightweight models and high processing speeds. Besides, they usually ignore the green channel superiority of RAW images, and fail to achieve better reconstruction performance with good use of green channel information. In this work, we propose an efficient RAW Image Enhancement Network (ERIENet), which parallelly processes multi-scale information with efficient convolution modules, and takes advantage of rich information in green channels to guide the reconstruction of images. Firstly, we introduce an efficient multi-scale fully-parallel architecture with a novel channel-aware residual dense block to extract feature maps, which reduces computational costs and achieves real-time processing speed. Secondly, we introduce a green channel guidance branch to exploit the rich information within the green channels of the input RAW image. It increases the quality of reconstruction results with few parameters and computations. Experiments on commonly used low-light image enhancement datasets show that ERIENet outperforms state-of-the-art methods in enhancing low-light RAW images with higher effiency. It also achieves an optimal speed of over 146 frame-per-second (FPS) for 4K-resolution images on a single NVIDIA GeForce RTX 3090 with 24G memory.


翻译:RAW图像在许多图像处理任务中展现出优于sRGB图像的性能,尤其在低光照图像增强方面。然而,现有基于RAW的低光照增强方法通常采用多尺度信息串行处理的方式,这导致模型难以实现轻量化及高处理速度。此外,这些方法往往忽视RAW图像绿色通道的优越性,未能充分利用绿色通道信息以获得更优的重建性能。本研究提出一种高效的RAW图像增强网络(ERIENet),通过高效卷积模块并行处理多尺度信息,并利用绿色通道的丰富信息指导图像重建。首先,我们引入一种高效的多尺度全并行架构,结合新型通道感知残差密集块进行特征图提取,在降低计算成本的同时实现实时处理速度。其次,我们设计了绿色通道引导分支,以挖掘输入RAW图像绿色通道内的丰富信息。该分支仅需少量参数与计算量即可显著提升重建结果的质量。在常用低光照图像增强数据集上的实验表明,ERIENet在增强低光照RAW图像方面以更高效率超越现有先进方法,并在配备24G显存的NVIDIA GeForce RTX 3090单卡上实现了4K分辨率图像超过146帧/秒(FPS)的峰值处理速度。

0
下载
关闭预览

相关内容

Python图像处理,366页pdf,Image Operators Image Processing in Python
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员