Is Levenberg-Marquardt the Most Efficient Optimization Algorithm for Implementing Bundle Adjustment?

LM算法是执行BA的最有效的优化算法吗？

Lourakis M I A , Argyros A A . Is Levenberg-Marquardt the Most Efficient Optimization Algorithm for Implementing Bundle Adjustment?[C]// 10th IEEE International Conference on Computer Vision (ICCV 2005), 17-20 October 2005, Beijing, China. IEEE, 2005.

Abstract

为了获得最佳的3D结构（3D structure） 和观察参数（viewing parameter） 估计，BA通常被用作基于特征的结构和运动估计算法（structure and motion estimation） 的最后一步。BA涉及大规模但稀疏的最小化问题的制定（formulation），传统上使用Levenberg-Marquardt优化算法的稀疏变体解决该问题，该算法避免在零条目（entries）上存储和操作。本文认为，通过用稀疏版的Powell狗腿非线性最小二乘技术（the sparse variant of Powell’s dog leg non-linear least squares technique） 代替稀疏版的Levenberg-Marquardt算法来实现束调整，可以获得可观的计算效益。详细的比较实验结果提供了支持该主张的有力证据。

1. Introduction

捆绑调整（Buddle Adjustment, BA） 通常用作许多基于特征的3D重建算法（3D reconstruction algorithms） 的最后一步; 例如，参见[6,1,5,19,12]的一些代表性方法。排除特征跟踪，BA通常是在3D重建算法中产生的最耗时的计算。BA相当于（amounts to）一个大规模优化问题【该问题的解决是通过同时优化3D结构和观察参数（即，相机位姿和内参标定）】，以获得一个重建【该重建在某些假设下关于与观察到的图像特征有关的噪声是最优的】。如果图像误差是零均值高斯，则BA是ML估计器。 在文献[21]中给出了关于BA方法的优秀概述。

BA归结为最小化观察到的和预测的图像点（the observed and predicted image points） 之间的重投影误差，其表示为大量非线性实值函数的平方和。因此，使用非线性最小二乘算法实现最小化，其中Levenberg-Marquardt（LM）由于其相对容易实现而变得非常流行，且LM算法使用有效的阻尼策略，使其能够从广泛的初始猜测（a wide range of initial guesses） 中迅速收敛。通过在当前估计的邻域中迭代地线性化待最小化的函数，LM算法涉及称为正规方程（the normal equations） 的线性系统的解。当解决BA中出现的最小化问题时，由于不同3D点和相机的参数之间缺乏相互作用（the lack of interaction among parameters for different 3D points and cameras） ，正规方程矩阵具有稀疏块结构。因此，实现可观的计算收益的直接方法是 通过开发LM算法的定制的稀疏变体来实现BA（该算法明确地利用了正规方程中的零模式）[8]。

然而，除了利用稀疏性之外，很少有关于加速BA的研究已经发表。特别是，LM算法是大多数BA实现的事实标准（the de facto standard）[7]。本文认为Powell的狗腿（DL）算法[20]优于LM，因为它也可以从稀疏实现中受益，同时对大规模问题具有相当低的计算要求。本文的其余部分安排如下。 为了完整起见，第2节和第3节提供了用于解决非线性最小二乘问题的LM和DL算法的简短教程介绍。第4节讨论了DL相对于LM的性能优势。 第5节提供了基于LM和DL的BA之间的实验比较，它清楚地证明了后者在执行时间方面的优越性。 本文最后将在第6节进行简要讨论。

2. Levenberg-Marquardt’s Algorithm

LM算法是一种迭代技术，它定位多元函数的局部最小值【该函数表示为几个非线性实值函数的平方和】。它已成为非线性最小二乘问题的标准技术，在各种学科中广泛采用，用于处理数据拟合应用。LM可以被认为是最速下降和高斯 - 牛顿方法的组合。若当前解决方案远离局部最小值时，算法表现得像最速下降方法：缓慢但保证收敛。若当前解接近局部最小值时，它变为高斯 - 牛顿方法并且表现出快速收敛。为了帮助读者复现第4节中进行的LM和DL之间的比较，接下来提供了基于[13]中材料的LM算法的简短描述。但请注意，对LM算法的详细分析超出了本文的范围，感兴趣的读者可参考[18,13,9]进行更广泛的了解。

3. The Dog Leg Algorithm

与LM算法类似，（用于无约束最小化的）DL算法尝试将高斯 - 牛顿和最速下降方向的组合。然而，在DL算法中，通过使用信任域（trust region） 的方式明确地控制了这种组合（this is explicitly controlled via the use of trust region）。在过去的几十年中，信赖域方法已经得到了研究，并已经产生了可靠且稳健的数值算法，具有强收敛性，且甚至适用于不适应的问题（ill-conditioned problems）[2]。在信任区域框架中，关于目标函数（the objective function）$f$ 的信息被收集起来，并用于构造一个二次模型函数（a quadratic model function）$L$，该模型函数的行为在当前点附近的与目标函数的行为类似。在以当前点为中心以