【LLIE专题】基于事件相机照度估计的暗光增强方案

[1] RETINEV 文章]

专题介绍

在低光照环境下，传统成像设备往往因画面昏暗、细节丢失而受限。LLIE（低照度暗光增强）技术应运而生，它通过提升图像亮度、对比度，减少噪点并恢复色彩细节，让暗夜变得清晰可见。

LLIE技术从传统方法如直方图均衡化、Retinex模型等起步，近年来借助深度学习，尤其是卷积神经网络（CNN），GAN模型，扩散模型实现了质的飞跃。这些算法能自动学习图像特征，精准处理低光照图像，效果显著优于传统技术。

本专题将聚焦LLIE技术的核心原理、应用案例及最新进展，让我们一起见证LLIE如何点亮暗夜，开启视觉新视界！欢迎一起探讨交流！

系列文章如下
【1】ZeroDCE
【2】HVI
【3】CLIP-LIT
【4】GLARE
【5】Retinexformer

一、研究背景

• 低光图像增强的挑战 ：在低光照条件下拍摄的图像通常存在亮度不足、噪声明显、对比度低和细节丢失等问题，这会限制计算机视觉算法在智能驾驶、安防监控和医疗成像等领域的应用效果，因此需要有效的低光图像增强方法来提升图像质量。
• 传统方法的局限 ：许多传统方法通过图像本身信息增强低光图像，但往往会导致噪声放大或细节丢失。

低质量单图的有效信息受限，这直接限制了增强的幅度和精度。因此现在有不少多模态图像增强方法，利用额外的参考信息来辅助图像增强，例如深度图、红外图以及事件数据（由事件相机输出）等等。

本文提出了一种基于事件相机的低光图像增强方法 RETINEV，通过利用事件相机的时间映射事件估计光照信息，并结合 Retinex 理论实现了对低光图像的高效增强。

二、RETINEV方法

1.事件相机

首先介绍一下什么是事件相机

• 事件相机是一款新型传感器。不同于传统相机拍摄一幅完整的图像，事件相机拍摄的是“事件”，可以简单理解为“像素亮度的变化”，即事件相机输出的是像素亮度的变化情况。事件相机英文名为：Event-based Camera，或简称为Event Camera，缩写为EB。有时也称作DVS(Dynamic Vision Sensor “动态视觉传感器”)、DAVIS(Dynamic and Active-Pixel Vision Sensor)等。

• 事件相机最基本的原理，即：当某个像素的亮度变化累计达到一定阈值后，输出一个事件。这里强调几个概念：
  a) 亮度变化：说明事件相机的输出和变化有关，而与亮度的绝对值没有关系；
  b) 阈值：当亮度变化达到一定程度时，将输出数据，这个阈值是相机的固有参数。
  下面重点解释什么是一个“事件”。事件具有三要素：时间戳、像素坐标与极性。一个事件表达的是“在什么时间，哪个像素点，发生了亮度的增加或减小”。

• 当场景中由物体运动或光照改变造成大量像素变化时，会产生一系列的事件，这些事件以事件流(Events stream)方式输出。事件流的数据量远小于传统相机传输的数据，且事件流没有最小时间单位，所以不像传统相机定时输出数据，具有低延迟特性。下面的动图揭示了事件相机与传统相机的成像的不同。
  
  动图：左侧为有一个黑色斑块的圆盘，匀速旋转时，右上方的传统相机会定时拍摄完整的图像，下方事件相机的输出会仅输出变化，即黑斑的运动。当圆盘不转时，传统相机依旧傻傻的拍摄图像，而事件相机不会产生任何输出。

• 事件相机的优势与不足 ：事件相机具有高动态范围和出色的低光响应能力，且仅在场景亮度变化时触发事件，避免了冗余信息的传输和处理。但现有的基于事件的方法主要依赖于运动事件来增强边缘纹理，而未充分利用事件相机的高动态范围和低光响应性，尤其在静态场景中性能受限，且缺乏对光照的全局估计能力。

2. 本文方案

2.1 事件时间戳与光照的物理关系

事件相机通过像素强度变化触发事件，其时间戳隐含光照信息。作者基于光电转换模型，建立光照强度E与首个正事件时间戳$t_{\text{fpe}}$的关系：$$\eta \cdot E\cdot A\cdot t_{\text{fpe}}=\frac{C\cdot U_{\text{thd}}^2}{2}$$其中，$\eta$为光电转换效率，A为像素面积，C和$U_{\text{thd}}$为像素电容与阈值电压。简化后得：$$E=\frac{k}{t_{\text{fpe}}},k=\frac{C\cdot U_{\text{thd}}^2}{2\eta \cdot A}$$该公式表明光照强度与时间戳成反比，为后续时间 - 光照（T2I）模块提供物理基础。

2.2 总体架构：Retinex 理论驱动的分解

基于 Retinex 理论，观测图像S分解为反射率R（物体固有属性）和光照I（环境变量）：$$S=R\cdot I$$