Deep Learning based methods have emerged as the indisputable leaders for virtually all image restoration tasks. Especially in the domain of microscopy images, various content-aware image restoration (CARE) approaches are now used to improve the interpretability of acquired data. Naturally, there are limitations to what can be restored in corrupted images, and like for all inverse problems, many potential solutions exist, and one of them must be chosen. Here, we propose DivNoising, a denoising approach based on fully convolutional variational autoencoders (VAEs), overcoming the problem of having to choose a single solution by predicting a whole distribution of denoised images. First we introduce a principled way of formulating the unsupervised denoising problem within the VAE framework by explicitly incorporating imaging noise models into the decoder. Our approach is fully unsupervised, only requiring noisy images and a suitable description of the imaging noise distribution. We show that such a noise model can either be measured, bootstrapped from noisy data, or co-learned during training. If desired, consensus predictions can be inferred from a set of DivNoising predictions, leading to competitive results with other unsupervised methods and, on occasion, even with the supervised state-of-the-art. DivNoising samples from the posterior enable a plethora of useful applications. We are (i) showing denoising results for 13 datasets, (ii) discussing how optical character recognition (OCR) applications can benefit from diverse predictions, and are (iii) demonstrating how instance cell segmentation improves when using diverse DivNoising predictions.
翻译:深度学习方法已经出现, 几乎所有图像恢复任务的无可争议的领导者是不可争议的。 特别是在显微镜图像领域, 现在使用各种内容认知图像恢复( CARE) 方法来改善所获取数据的可解释性。 当然, 在腐败图像中, 以及所有反向问题中, 都可以恢复的东西有局限性, 许多潜在的解决方案都存在, 并且必须选择其中之一。 在此, 我们提议DivNovising, 一种基于完全进化变异自动自动转换器( VAEs) 、 克服通过预测已解析图像的整个分布来选择单一解决方案的问题。 首先, 我们引入了一种原则性的方法, 在 VAE 框架内, 明确将成像噪音模型中恢复到所有反向的问题都存在限制。 我们的方法完全不受监控, 只需要对成像的图像和成像噪音分布进行适当的描述。 我们表明, 这种噪音模型既可以测量有用, 使用杂音数据, 也可以在培训期间共同获取 。 如果需要, 则可以从一个没有共识的预测, 的预测, 将 展示 D- 的 显示 的 的 显示 的 的 的 显示 的 的 显示 的 的 的 的 的 的 显示结果 显示 的 的 的 显示 的 的 的 的 的 的 的 显示 的 显示 的 的 显示 的 的 的 显示 的 的 的 的 的 的 显示 的 的 的 的 的 的 显示 的 的 的 的 的 的 的 的 的 显示 的 的 的 的 的 的 显示 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 和 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 和 的 的 的 的 的 的 的 的 的 的