计算摄像学 第七讲 光度立体视觉
justaLoli

计算摄像:通过计算获取普通相机拍摄图像之外的信息

例如:通过相机获取三维形状

光度法恢复物体形状:主要通过多张图

光度方法只能获得物体一面的3d信息(背面看不到),但是,可以获得的很精确。

回顾:BRDF、电光源、平行光源、朗伯反射

朗伯反射:

i 像素值 正比于 光强 x 表面反射率 x 表面法向和光源方向的夹角(写成n点乘l)

光度立体视觉:假设物体表面反射符合朗伯成像模型,给定多张不同平行光光照下的图片(I),以及光源方向(L),求解每个像素的法线方向(N)。

对于每个像素点:

1
2
3
4
5
i1 = n · l1
i2 = n · l2
i3 = n · l3
...
iF = n · lF

可以总结为矩阵 I = N L* I是图像数据,N是代求每个位置的法向量,L为每张图片的光源方向。用IL求N。

至少需要三张光线方向不共面的照片,能得到唯一解。当然多了更好

I可以从图像(经过光度标定的图)直接得到

L如何得到?利用镜面球进行光源标定(其实最好的是台球)。(利用球面上的亮点)

接下来,可以进一步求解表面的漫反射率

问题:

  1. 朗伯反射物体很难找
  2. 平行光很难找(太阳光是不可以的,因为它的轨迹在短时间内在同一平面(见上面第40行
  3. 要求先进行光度标定

更多的研究方向:

  1. 减少光源数量
  2. 非标定的光源
  3. 非标定的自然光
  4. 含有噪声的观测
  5. 复杂材质
  6. 复杂环境

数据集:DiLiGenT

光度立体的精度在某些极限情况可以逼近乃至超过激光扫描。