Blind image quality assessment (BIQA) plays a crucial role in evaluating and optimizing visual experience. Most existing BIQA approaches fuse shallow and deep features extracted from backbone networks, while overlooking the unequal contributions to quality prediction. Moreover, while various vision encoder backbones are widely adopted in BIQA, the effective quality decoding architectures remain underexplored. To address these limitations, this paper investigates the contributions of shallow and deep features to BIQA, and proposes a effective quality feature decoding framework via GCN-enhanced \underline{l}ayer\underline{i}nteraction and MoE-based \underline{f}eature d\underline{e}coupling, termed \textbf{(Life-IQA)}. Specifically, the GCN-enhanced layer interaction module utilizes the GCN-enhanced deepest-layer features as query and the penultimate-layer features as key, value, then performs cross-attention to achieve feature interaction. Moreover, a MoE-based feature decoupling module is proposed to decouple fused representations though different experts specialized for specific distortion types or quality dimensions. Extensive experiments demonstrate that Life-IQA shows more favorable balance between accuracy and cost than a vanilla Transformer decoder and achieves state-of-the-art performance on multiple BIQA benchmarks.The code is available at: \href{https://github.com/TANGLONG2/Life-IQA/tree/main}{\texttt{Life-IQA}}.


翻译:盲图像质量评估(BIQA)在评估和优化视觉体验中起着至关重要的作用。现有的大多数BIQA方法融合了从骨干网络中提取的浅层和深层特征,却忽略了它们对质量预测的不平等贡献。此外,尽管各种视觉编码器骨干网络在BIQA中被广泛采用,但有效的质量解码架构仍未得到充分探索。为应对这些局限,本文研究了浅层与深层特征对BIQA的贡献,并提出了一种通过GCN增强的层间交互和基于MoE的特征解耦的有效质量特征解码框架,命名为Life-IQA。具体而言,GCN增强的层间交互模块利用GCN增强的最深层特征作为查询,次深层特征作为键和值,然后执行交叉注意力以实现特征交互。此外,提出了一个基于MoE的特征解耦模块,通过专用于特定失真类型或质量维度的不同专家来解耦融合后的表示。大量实验表明,与原始的Transformer解码器相比,Life-IQA在准确性与成本之间展现出更优的平衡,并在多个BIQA基准测试中达到了最先进的性能。代码发布于:https://github.com/TANGLONG2/Life-IQA/tree/main。

0
下载
关闭预览

相关内容

【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
44+阅读 · 2022年1月6日
Python图像处理,366页pdf,Image Operators Image Processing in Python
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员