Video Super-Resolution with Recurrent Structure-Detail Network

本文提出了一种利用循环卷积网络与分频段处理的视频超分辨算法。现存的视频超分辨方法大多是借助时间滑动窗口中的相邻帧的时空信息来超分参考帧。然而,这种超分方式并不是视频超分的最佳手段。一方面,用时间滑动窗口在处理长视频序列时,过去帧与未来帧的重复利用会造成计算冗余和巨大的计算开销,进而限制算法在真实场景的应用;另一方面,这种方式没有考虑历史的超分结果对后续超分的帮助。本方法创新性地提出,细节与结构分开处理的循环卷积算法。一张图像先会解耦合为细节与结构两种频段的信息,随后两种信息被馈送到细节结构模块中,进行细节与结构交互式的特征提取与信息融合。为了建模历史信息与当前帧的相关性,我们提出了隐层特征筛选模块。综合考虑性能和速度,我们的算法性能大大优于TGA,RLSP,FRVSR,EDVR等当前最好的视频超分辨方法。

https://www.zhuanzhi.ai/paper/f622b6800894882833499cd56f42656a

成为VIP会员查看完整内容
11

相关内容

【NeurIPS 2020】一种端到端全自由度抓取姿态估计网络简介
专知会员服务
19+阅读 · 2020年10月18日
专知会员服务
12+阅读 · 2020年9月19日
【ECCV2020】基于场景图分解的自然语言描述生成
专知会员服务
23+阅读 · 2020年9月3日
【ECCV2020】EfficientFCN:语义分割中的整体引导解码器
专知会员服务
15+阅读 · 2020年8月23日
【ACM Multimedia 2020】双时间存储网络有效的视频对象分割
【CVPR2020】时序分组注意力视频超分
专知会员服务
30+阅读 · 2020年7月1日
专知会员服务
41+阅读 · 2020年2月20日
【GNN】图神经网络入门之GRN图循环网络
深度学习自然语言处理
15+阅读 · 2020年5月9日
ICCV 2019 | 精确的端到端的弱监督目标检测网络
AI科技评论
11+阅读 · 2019年12月9日
综述 | 语义分割经典网络及轻量化模型盘点
计算机视觉life
51+阅读 · 2019年7月23日
北大开源ECCV2018深度去雨算法:RESCAN
极市平台
7+阅读 · 2018年7月19日
【泡泡一分钟】一种用于在线视频理解的高效卷积网络
泡泡机器人SLAM
5+阅读 · 2018年5月31日
用于RGB-D室内场景语义分割的门式融合局部感知反卷积网络
机器学习研究会
7+阅读 · 2017年10月30日
Two Stream 3D Semantic Scene Completion
Arxiv
4+阅读 · 2018年7月16日
Arxiv
8+阅读 · 2018年1月12日
Arxiv
5+阅读 · 2015年9月14日
VIP会员
相关资讯
微信扫码咨询专知VIP会员