2025_NIPS_UDC-SIT: A Real-World Dataset for Under-Display Cameras

一、文章主要内容总结

本文针对屏下摄像头（UDC）成像存在的低透射率、模糊、噪声、光晕等退化问题，提出了首个真实世界UDC数据集UDC-SIT。现有UDC数据集多为合成数据，无法准确反映真实退化特性，且缺乏对齐和完整标注。为此，作者设计了专用图像采集系统，通过在非UDC手机镜头上加装UDC显示屏模块（可开合），获取同一场景的无退化基准图与UDC退化图；并提出基于离散傅里叶变换（DFT）的图像对齐技术，结合空间域和频域损失函数解决采集过程中的几何错位问题。UDC-SIT包含2340对LDR格式RAW图像，提供光源类型、昼夜、室内外、光晕组件（闪光、条纹、眩光）等丰富标注。通过与4个代表性UDC数据集对比，验证了其在真实退化还原、对齐精度（PCK值接近100%）和标注完整性上的优势；进一步通过5个主流图像恢复模型的实验表明，基于合成数据集训练的模型在真实场景中实用性不足，而UDC-SIT能为UDC图像恢复研究提供更有效的支撑。

二、创新点

1. 首个真实世界UDC数据集：突破现有合成数据集局限，基于真实UDC硬件采集图像，准确还原低透射率、噪声、真实光晕等退化特性，填补真实场景数据集空白。
2. 专用图像采集与对齐方案：设计可开合UDC模块采集系统，最小化镜头移动导致的错位；提出DFT-based对齐技术，融合空间域MSE和频域幅度/相位损失，实现无遮挡、高精度对齐（PCK值接近100%）。
3. 丰富完整的标注体系：提供光源类型、昼夜、室内外、光晕组件等多维度标注，为针对性模型训练和退化机制研究提供支撑，是现有UDC数据