Realistic scene appearance modeling has advanced rapidly with Gaussian Splatting, which enables real-time, high-quality rendering. Recent advances introduced per-primitive textures that incorporate spatial color variations within each Gaussian, improving their expressiveness. However, texture-based Gaussians parameterize appearance with a uniform per-Gaussian sampling grid, allocating equal sampling density regardless of local visual complexity. This leads to inefficient texture space utilization, where high-frequency regions are under-sampled and smooth regions waste capacity, causing blurred appearance and loss of fine structural detail. We introduce FACT-GS, a Frequency-Aligned Complexity-aware Texture Gaussian Splatting framework that allocates texture sampling density according to local visual frequency. Grounded in adaptive sampling theory, FACT-GS reformulates texture parameterization as a differentiable sampling-density allocation problem, replacing the uniform textures with a learnable frequency-aware allocation strategy implemented via a deformation field whose Jacobian modulates local sampling density. Built on 2D Gaussian Splatting, FACT-GS performs non-uniform sampling on fixed-resolution texture grids, preserving real-time performance while recovering sharper high-frequency details under the same parameter budget.


翻译:随着高斯泼溅技术的出现,真实感场景外观建模取得了快速进展,该技术能够实现实时、高质量的渲染。近期研究引入了基于图元的纹理,将空间颜色变化融入每个高斯分布中,从而提升了其表达能力。然而,基于纹理的高斯分布采用均匀的每高斯采样网格进行外观参数化,无论局部视觉复杂性如何,均分配相同的采样密度。这导致纹理空间利用效率低下,高频区域采样不足,平滑区域则浪费容量,从而造成外观模糊和精细结构细节的丢失。我们提出了FACT-GS,一种频率对齐的复杂性感知纹理高斯泼溅框架,该框架根据局部视觉频率分配纹理采样密度。基于自适应采样理论,FACT-GS将纹理参数化重新表述为一个可微分的采样密度分配问题,通过一个变形场(其雅可比矩阵调制局部采样密度)实现可学习的频率感知分配策略,取代了均匀纹理。FACT-GS建立在2D高斯泼溅基础上,在固定分辨率纹理网格上执行非均匀采样,在保持实时性能的同时,在相同参数预算下恢复更清晰的高频细节。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
22+阅读 · 2023年5月10日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员