Video Motion Magnification (VMM) amplifies subtle macroscopic motions to a perceptible level. Recently, existing mainstream Eulerian approaches address amplification-induced noise via decoupling representation learning such as texture, shape and frequancey schemes, but they still struggle to separate photon noise from true micro-motion when motion displacements are very small. We propose GeoDiffMM, a novel diffusion-based Lagrangian VMM framework conditioned on optical flow as a geometric cue, enabling structurally consistent motion magnification. Specifically, we design a Noise-free Optical Flow Augmentation strategy that synthesizes diverse nonrigid motion fields without photon noise as supervision, helping the model learn more accurate geometry-aware optial flow and generalize better. Next, we develop a Diffusion Motion Magnifier that conditions the denoising process on (i) optical flow as a geometry prior and (ii) a learnable magnification factor controlling magnitude, thereby selectively amplifying motion components consistent with scene semantics and structure while suppressing content-irrelevant perturbations. Finally, we perform Flow-based Video Synthesis to map the amplified motion back to the image domain with high fidelity. Extensive experiments on real and synthetic datasets show that GeoDiffMM outperforms state-of-the-art methods and significantly improves motion magnification.


翻译:视频运动放大(VMM)旨在将细微的宏观运动放大至可感知的水平。当前主流的欧拉方法通过解耦表示学习(如纹理、形状和频率方案)来缓解放大引入的噪声,但在运动位移极小时仍难以区分光子噪声与真实微运动。本文提出GeoDiffMM,一种基于扩散的拉格朗日VMM框架,以光流作为几何条件,实现结构一致的运动放大。具体而言,我们设计了一种无噪声光流增强策略,通过合成多样化的无光子噪声非刚性运动场作为监督信号,帮助模型学习更准确的几何感知光流并提升泛化能力。接着,我们开发了扩散运动放大模块,在去噪过程中引入两个条件:(i)作为几何先验的光流;(ii)可学习的放大因子以控制幅度,从而选择性放大与场景语义和结构一致的运动分量,同时抑制内容无关的扰动。最后,我们通过基于光流的视频合成方法,将放大后的运动高保真地映射回图像域。在真实与合成数据集上的大量实验表明,GeoDiffMM优于现有先进方法,并显著提升了运动放大效果。

0
下载
关闭预览

相关内容

专知会员服务
23+阅读 · 2021年6月22日
【CVPR2021】CausalVAE: 引入因果结构的解耦表示学习
专知会员服务
37+阅读 · 2021年3月28日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员