立体视觉中的矩阵变换比较多。总的来说,内参矩阵 K是针对单相机的,通过焦距和主点位置直接表示了相机坐标系和图像坐标系之间的关系,如果考虑镜头的畸变,还需要有畸变系数,如果图像传感器有倾斜,还需要有倾斜因子。基础矩阵和本质矩阵是针对双目的,其中基础矩阵 F根据左右相机的RT关系,表示了对极线关系,基础矩阵是左右摄像机坐标系之间的关系,求解基础矩阵的核心是求左右相机的RT。本质矩阵 E是图像坐标系下的,结合了基础矩阵和内参矩阵,直接反应左右图像坐标系下对应点像素坐标的关系。
一、内参矩阵K
相机内在参数(简称内参)一般包含内参矩阵K和畸变系数d,
内参矩阵K把空间三维点投影到空间二维点,基础部分不多介绍,这里强调下图像校正过程中内参矩阵的变化:
- undistortion过程中内参保持不变(不考虑认为的裁切和缩放)
- stereo rectify过程中内参P1=K1′[I|0], P2=K2′[R|T], K1’和K2‘是矫正后的内参矩阵,图像经过了R1、R2的旋转,相比于原始内参K1\K1, 焦距和中心会有调整
二、基础矩阵F
Fundamental Matrix
基础矩阵F是一个3×3的矩阵,用于描述两个摄像机的几何关系,求解基础矩阵的核心是求左右相机的RT.
对于第一幅图像中的点 x=[x,y,1]^T,第二个图像中的点x’=[x’,y’,1]^T,那它们之间的关系可以表示为:
x′^TFx=0
三、本质矩阵E
Essential Matrix
本质矩阵E也是一个3×3的矩阵,用于描述两个摄像机之间的几何关系,但它依赖于相机的内在参数,本质矩阵E可以由F 和两个相机的内参K、K‘来表达
E=K′^TFK
对于第一幅图像中的点 x=[x,y,1]^T,第二个图像中的点x’=[x’,y’,1]^T,那它们之间的在本质矩阵E下的关系可以表示为:
x’^TEx=0
这个公式中 Ex 的结果是一个向量,表示在第二幅图像中的极线(epipolar line)。x’ 是x在第二幅图像中的对应点,x’与极限做点积结果为0,意味着x’落在极限上,保证了几何一致性
具体例子,假设第一幅图像中由点x=[200,150,1]^T
给定本质矩阵E
E= [ 0\ -1\ \ 0\ \\ −1\ \ \ 0\ \ 1 \\ \ \ \ \ \ \ \ 0\ −1\ 1]
Ex=[-150, 199, 151]^T, 那么第二幅图像中的极线 -150x’+199y’+151=0
先挖个坑,以后有空再图文并
可以填坑了吗,真诚问