计算摄像学 第三讲 相机几何模型
回顾计算摄像
计算摄像:通过计算从照片中获取更多信息。
在多个环节可以引入计算:
- 场景和光学镜头之间的计算
- 传感器上对光信号的计算
- 传感器到图像之间的计算
引言:相机想知道的东西
- 我在哪里——相机的空间位置
- 我看到的世界——相机看到的物体的空间位置
裸传感器成像
空间每个点的漫反射光都被传感器每个像素点接收——几乎无法成像。
针孔相机成像
针孔对光线路径做出了选择,可以得到一个倒像。
相机术语: - 投影中心:即小孔位置 - 光圈:即小孔 - 焦距(遮光板到传感器的距离)
改变焦距,传感器上的成像大小会改变。
针孔相机的问题:孔大导致模糊;孔小导致光强小,且带来衍射问题。
进光效率:孔直径大,进光大;焦距短,接收光的效果好
档:(f值):焦距除以针孔直径。
针孔相机的成像模型可以帮助理解现代相机。
相机矩阵:三维到二维的坐标变换
用于解释开头的两个问题。
一些数学
x = f X/Z; y = f Y/Z
P = K[R|t]X, P(x,y,z)’ 为相机上的图像坐标,K(3 * 3)为内参矩阵,R(3 * 3)为相机在世界坐标系的旋转,t(3 * 1)为相机坐标系在世界坐标系中的平移,X为物体在世界的坐标(X,Y,Z,1)’
外参矩阵蕴含了相机在空间的平移和旋转;内参矩阵蕴含了相机将外界投影到照片的方式。二者分别回答“我在哪里”和“我眼中的世界”的问题
透视
让景物变大:增加焦距?减小物体到针孔的距离?效果不同!
应用:“眩晕效果(滑动变焦)”,固定前景的大小,同时改变焦距和物体距离,制造景深的变化。
极端情况:正交投影:超级超级超级长焦,深度对大小不影响。(常见于游戏。
相机几何标定
三维匹配点标定法
利用一些已知的三维空间点-相机图像坐标的对应关系,推知整个相机矩阵。
再利用算出的矩阵分析焦距、中心点等参数(得到一个上三角矩阵和正交矩阵,分别是相机的内部参数和外部坐标旋转)。
非线性优化算法,处理类似畸变问题
多图棋盘格标定法
已经很成熟。
学术前沿
- 大规模的相机几何标定
- 利用深度学习进行相机几何标定
- 利用图像的“消失点”“消失线”进行几何标定
- 从镜面反射进行几何标定
- ……