Recent advances in generative AI have accelerated the production of ultra-high-resolution visual content, posing significant challenges for efficient compression and real-time decoding on end-user devices. Inspired by 3D Gaussian Splatting, recent 2D Gaussian image models improve representation efficiency, yet existing methods struggle to balance compression ratio and reconstruction fidelity in ultra-high-resolution scenarios. To address this issue, we propose SmartSplat, a highly adaptive and feature-aware GS-based image compression framework that supports arbitrary image resolutions and compression ratios. SmartSplat leverages image-aware features such as gradients and color variances, introducing a Gradient-Color Guided Variational Sampling strategy together with an Exclusion-based Uniform Sampling scheme to improve the non-overlapping coverage of Gaussian primitives in pixel space. In addition, we propose a Scale-Adaptive Gaussian Color Sampling method to enhance color initialization across scales. Through joint optimization of spatial layout, scale, and color initialization, SmartSplat efficiently captures both local structures and global textures using a limited number of Gaussians, achieving high reconstruction quality under strong compression. Extensive experiments on DIV8K and a newly constructed 16K dataset demonstrate that SmartSplat consistently outperforms state-of-the-art methods at comparable compression ratios and exceeds their compression limits, showing strong scalability and practical applicability. The code is publicly available at https://github.com/lif314/SmartSplat.


翻译:生成式人工智能的最新进展加速了超高清视觉内容的生产,这对终端设备上的高效压缩与实时解码提出了重大挑战。受3D高斯泼溅(3D Gaussian Splatting)启发,近期的2D高斯图像模型提升了表示效率,但现有方法在超高清场景下难以平衡压缩比与重建保真度。为解决此问题,我们提出SmartSplat——一种高度自适应且特征感知的基于高斯泼溅(GS)的图像压缩框架,支持任意图像分辨率与压缩比。SmartSplat利用梯度、颜色方差等图像感知特征,引入梯度-颜色引导的变分采样策略与基于排斥的均匀采样方案,以提升高斯基元在像素空间中的非重叠覆盖度。此外,我们提出一种尺度自适应的高斯颜色采样方法,以增强跨尺度的颜色初始化。通过空间布局、尺度和颜色初始化的联合优化,SmartSplat能够使用有限数量的高斯高效捕捉局部结构与全局纹理,在强压缩条件下实现高质量重建。在DIV8K及新构建的16K数据集上的大量实验表明,SmartSplat在可比压缩比下持续优于现有先进方法,并突破了其压缩极限,展现出强大的可扩展性与实际适用性。代码已公开于https://github.com/lif314/SmartSplat。

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员