计算机视觉 第1章 绪论

阵，通过矩阵分解的方法将测量矩阵分解为射影空间下的摄像机运动和空间物体三维几何形状，即实现射影重构。然后在摄像机内参数已知的情况下，利用上述结果求解一个非奇异矩阵，通过此矩阵可以将射影空间下的摄像机运动和物体形状变换为欧氏空间下的摄像机运动和物体形状，即实现欧氏重构。

概括地说，基于矩阵分解的分层重构，主要包括以下两个内容： （1）射影重构 ①估计射影深度；

②构建一个关于射影深度和图像坐标的测量矩阵；

③通过矩阵分解的方法，求解射影空间下的摄像机运动参数和空间物体三维几何形

状。

（2）欧氏重构

①摄像机自标定（求解摄像机内参数）； ②求解射影空间到欧氏空间的变换；

③恢复欧氏空间下的摄像机运动参数和空间物体三维几何形状。 目前，三维重构算法可分为两大类

[11]

：显式重构（explicit reconstruction）和隐式重构

（implicit reconstruction）。所谓显式重构是指利用三维框架中的几何理论直接计算空间点的三维坐标；而隐式重构是通过计算对应图像的基于Cayley代数和交比（cross ratios）等射影不变量来完成的。本论文将集中注意力于显式重构的理论和算法研究。

1.3摄像机标定

摄像机标定是计算机视觉领域中从二维图像获取三维欧氏空间信息必不可少的关键一步。图像上每一点的亮度反映了空间物体表面某点发射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有关。这些位置的相互关系，由摄像机成像几何模型所决定。该几何模型的参数称为摄像机内参数，这些内参数必须由实验与计算来确定，实验与计算的过程称为摄像机定标。

传统的摄像机标定方法需要在摄像机前放一个已知形状和尺寸的物体，称为标定物或标定参照物（reference object），摄像机获取该物体的图像，并由此计算摄像机的内参数。由于在某些视觉系统中（如机器人视觉系统），需要经常调整摄像机光学系统（如焦距、光圈等），摄像机的位置也会根据周围的环境而移动，因此，需要在每次调整后对摄像机的内参数重新进行标定，在这种情况下，若每次标定都需要在摄像机工作环境中放一个已知的标定物常常

[1]

5

是很不方便甚至是不现实的（如远距离作业的机器人系统，或在危险、恶劣环境下作业的机器人系统等）。因此，近年来，一种不需要已知标定物的标定技术，称为摄像机自标定（self calibration）技术

[16-22]

，引起了研究人员的广泛兴趣和高度重视。摄像机自标定技术不需要已

知标定物，而仅利用摄像机在运动过程中周围环境的图像和图像之间的对应关系对摄像机进行标定。

摄像机标定方法根据标定方式的不同，可以归结为以下三种：传统标定方法、自标定方法和基于主动视觉系统的自定标方法。 （1）传统标定方法

所谓传统的摄像机标定方法是指用一个结构已知、精度很高的标定物作为空间参照物，通过空间点和图像点之间的对应关系来建立摄像机内参数的约束，然后通过优化算法来求取这些参数。传统方法的典型代表有DLT（Direct Linear Transformation）方法Weng的迭代法

[26]

[23]

、Tsai的方法

[24-25]

、

以及简易标定方法

[27-28]

。传统标定方法的优点在于可以获得较高的精度，但

是，实际应用中的很多情况无法使用标定物，例如，空间机器人以及在危险、恶劣环境下工作的机器人等。所以，当应用场合所要求的度量精度很高且摄像机内参数不经常变化时，传统标定方法应为首选。 （2）自标定方法

自标定方法克服了传统方法的缺点，它不需要标定物，仅仅依靠多视图对应点之间的关系直接进行标定。摄像机自标定是90年代以来在计算机视觉领域中兴起的最重要的研究方向之一。由于自标定方法是根据未标定场景图像之间的对应关系来求解，所以标定过程灵活、方便，应用前景广泛。但是，自标定方法最大的不足是鲁棒性较差

[29]

。这主要是由于自标定

方法不论以何种形式出现，大多是基于绝对二次曲线（The Absolute Conic）或者绝对二次曲面（The Absolute Quadric）的方法，需要直接或者间接地求解Kruppa方程。目前自标定方法主要有直接求解Kruppa方程的自标定、分层逐步标定、基于绝对二次曲面的自标定、Pollefeys的模约束标定以及可变内参数下的分层逐步标定等。自标定方法可以应用于度量精度要求不太高的场合，如虚拟现实、三维动画、基于图像的建模与绘制（IBMR）等新兴领域，在这些场合，主要考虑的是视觉效果而不是度量精度，这也是自标定方法为什么近年来会受到人们如此重视的主要原因。

（3）基于主动视觉系统的自定标方法

为了克服传统方法和自标定方法的不足，人们提出了许多基于主动视觉系统的摄像机自

6

定标方法

[30-38]

。所谓基于主动视觉系统的自定标方法，是指通过控制摄像机的运动获取多幅图

像来标定摄像机内参数。与自标定方法一样，基于主动视觉系统的自定标方法也是一种仅利用图像之间对应关系进行标定的方法，不需要高精度的标定物。这种自定标方法的主要优点是由于在标定过程中知道了一些摄像机的运动信息，所以一般来说，摄像机的内参数可以线性求解，计算简单、鲁棒性比较好。基于主动视觉系统的自定标方法的研究大体上经历了二个阶段，开始时，人们主要致力于研制可精确控制的主动视觉平台，通过精确控制主动视觉平台的运动来对摄像机进行标定。这方面代表性的工作是1996年马颂德

[37]

提出了一种基于主

动视觉系统的摄像机自定标的线性方法。这种方法通过控制摄像机在三维空间作两组平移运动，其中每组运动包括三次两两正交的平移运动，简称三正交平移运动，利用FOE(Focus of Expansion)点建立一个线性方程组来求解摄像机内参数。1998年杨长江等

[38]

提出了一种改进方

法，要求摄像机作四组平移运动，其中每组包括两次相互正交的平移运动，利用FOE点仍可线性求解摄像机内参数。马和杨均是在四参数摄像机模型下（即畸变因子为零），实现线性自定标。使用高精度主动视觉平台进行摄像机自标定的不足是系统的成本较高。近年来，越来越多的研究人员将研究重点放在了使用简易设备、甚至不使用任何特殊的设备来标定摄像机的方法。

目前基于主动视觉系统的自定标方法的研究焦点是如何尽量减少对摄像机运动的限制，但仍能线性求解摄像机内参数。需要指出的是，尽量减少对摄像机运动的限制不等于对摄像机的运动毫无约束。如果对摄像机的运动毫无约束的话，自标定过程本质上是一个多元非线性优化问题，基于主动视觉系统的自定标方法就又回到了自标定的范畴。根据控制摄像机运动方式的不同，基于主动视觉系统的自定标方法可以分为基于摄像机纯旋转运动的自标定方法、基于摄像机纯平移运动的自标定方法以及基于摄像机正交运动的自标定方法等。

1.4 PNP问题

PNP问题由Fishler等

[39]

于1981年首先提出。所谓PNP问题是指：假定摄像机模型为小孔

成像模型且已标定好，拍摄一幅在世界坐标系下坐标已知的N个空间点的图像，且对应的N个图像点的坐标也已知，确定这N个空间点在摄像机坐标系下的坐标

[40]

。

自从PNP问题于1981年提出后, 由于其在物体定位方面的重要应用价值，引起了人们的广泛重视，而后该方面大量文章的相继问世充分说明了这一点

[40-48]

。PNP问题的研究焦点是确

定在哪种情况下问题有唯一解，如果唯一解不存在，则确定至多可能有多少个解以及解的分布状况。对于PNP问题的求解方法一般有两种途径

[40]

：第一种途径是确定空间点到摄像机光

7

心的距离。由于摄像机已标定且对应的图像点坐标已知，所以空间点在摄像机坐标系下的投影方向可以通过图像坐标求出。这样，确定空间点在摄像机坐标系下的坐标问题就转化为在已知投影方向上求空间点到摄像机光心的距离问题；第二种途径是确定世界坐标系到摄像机坐标系之间的旋转矩阵R和平移向量t，即Xc?RXw?t，其中Xc和Xw分别是同一空间点在摄像机坐标系和世界坐标系下的坐标。所以，PNP问题同样可以定义为：已知三维空间中N个空间点的坐标以及二维图像中对应的N个图像点的坐标，求解世界坐标系到摄像机坐标系之间的旋转矩阵R和平移向量t。显然，如果R和t已知，且空间点在世界坐标系下的坐标也已知，则可以求得其在摄像机坐标系下的坐标。利用第一种途径求解PNP问题的困难在于约束方程组中有未知量的平方项，不易获得解析解。利用第二种途径求解PNP问题的困难在于矩阵R 是一个旋转矩阵，它有3个独立参数，参数间的约束不易实现。在本论文中，我们利用第二种途径求解PNP问题。

文献中对PNP问题的研究均集中在P3P、P4P和P5P问题的研究上。这是因为P2P问题有无限多解，当N?5时，PNP问题变成了经典的DLT问题，可以线性求解。目前，在PNP问题的研究中，除文献

[40][41]

外均假定已知摄像机内参数（即摄像机已标定）且在运动过程中保

持不变。但是，在实际问题中，如基于主动视觉系统的任务，为了获取高质量的图像，数字摄像机都具备自动变焦的功能，也就是说机器人在运动过程中摄像机内参数可能经常发生变化，因此，要求摄像机内参数是已知的而且在运动过程中保持不变，已很难满足实际应用的要求。这样，研究摄像机内参数未知且运动过程中可以发生变化的PNP问题就具有特别重要的意义。对于摄像机内参数未知且运动过程中可以发生变化的PNP问题，我们称之为未标定PNP问题。很明显，如果摄像机使用五参数模型，对于未标定的P3P、P4P问题，其约束方程的个数均少于待求未知参数的个数，所以未标定的P3P、P4P问题总是有无穷多解。对于未标定的P5P问题，文献

[41]

针对四参数摄像机模型进行了比较系统的讨论。本论文中，我们将针

对五参数摄像机模型讨论未标定P5P问题的求解。 1.5 论文的主要研究内容

本论文的研究内容主要包括两部分：基于多视图的分层重构和未标定P5P问题。在第一部分中，针对三幅及三幅以上的图像，主要研究：①利用矩阵奇异值分解（SVD）实现射影重构，②通过求解Kruppa方程实现摄像机自标定，③由射影重构恢复欧氏重构；针对只有两幅图像的情况，主要研究：①利用场景结构信息求解无穷远平面的单应矩阵，由射影重构恢复仿射重构，②利用场景结构信息求解绝对二次曲线的像（等价于标定摄像机），由仿射重构恢

8