计算摄像学 第三讲 相机几何模型
justaLoli

回顾计算摄像

计算摄像:通过计算从照片中获取更多信息。

在多个环节可以引入计算:

  1. 场景和光学镜头之间的计算
  2. 传感器上对光信号的计算
  3. 传感器到图像之间的计算

引言:相机想知道的东西

  1. 我在哪里——相机的空间位置
  2. 我看到的世界——相机看到的物体的空间位置

裸传感器成像

空间每个点的漫反射光都被传感器每个像素点接收——几乎无法成像。

针孔相机成像

针孔对光线路径做出了选择,可以得到一个倒像。

相机术语: - 投影中心:即小孔位置 - 光圈:即小孔 - 焦距(遮光板到传感器的距离)

改变焦距,传感器上的成像大小会改变。

针孔相机的问题:孔大导致模糊;孔小导致光强小,且带来衍射问题。

进光效率:孔直径大,进光大;焦距短,接收光的效果好

档:(f值):焦距除以针孔直径。

针孔相机的成像模型可以帮助理解现代相机。

相机矩阵:三维到二维的坐标变换

用于解释开头的两个问题。

一些数学

相机将三维世界的坐标(大X)通过线性变换转化为二维大图像坐标(小x的前两个分量)

x = f X/Z; y = f Y/Z

P = K[R|t]X, P(x,y,z)’ 为相机上的图像坐标,K(3 * 3)为内参矩阵,R(3 * 3)为相机在世界坐标系的旋转,t(3 * 1)为相机坐标系在世界坐标系中的平移,X为物体在世界的坐标(X,Y,Z,1)’

外参矩阵蕴含了相机在空间的平移和旋转;内参矩阵蕴含了相机将外界投影到照片的方式。二者分别回答“我在哪里”和“我眼中的世界”的问题

透视

让景物变大:增加焦距?减小物体到针孔的距离?效果不同!

应用:“眩晕效果(滑动变焦)”,固定前景的大小,同时改变焦距和物体距离,制造景深的变化。

极端情况:正交投影:超级超级超级长焦,深度对大小不影响。(常见于游戏。

相机几何标定

三维匹配点标定法

利用一些已知的三维空间点-相机图像坐标的对应关系,推知整个相机矩阵。

再利用算出的矩阵分析焦距、中心点等参数(得到一个上三角矩阵和正交矩阵,分别是相机的内部参数和外部坐标旋转)。

非线性优化算法,处理类似畸变问题

多图棋盘格标定法

已经很成熟。

学术前沿

  1. 大规模的相机几何标定
  2. 利用深度学习进行相机几何标定
  3. 利用图像的“消失点”“消失线”进行几何标定
  4. 从镜面反射进行几何标定
  5. ……