计算摄像学 第十二讲 图像反射消除
justaLoli

(为什么是第十二讲)有一些论文原作者可以来讲,因此调整了一下顺序。

讲者1 常亚坤

主要内容:

  1. 背景介绍
    • 成像模型、反射特性
  2. 经典优化求解
  3. 基准评价数据集
  4. 基于深度学习的方法。

1.背景介绍

  1. 反射的成因(经典物理图像
  2. 反射的特性
    1. 若反射和背景都在景深内,结果相当于线性叠加
    2. 若反射在景深外,背景在景深内,结果相当于给反射加了模糊的卷积
    3. 若反射镜有厚度,将出现重影
  3. 反射的(不利)影响
    1. 例子:对着玻璃拍容易不美观
    2. 对后期计算造成干扰
  4. 反射的消除

2. 传统方法

  1. “人力驱动”,手工标记数据

它基于了“背景图层和反射图层一定程度上是独立的”的假设。

主要过程:第一阶段:边缘标记和边缘分类->第二阶段:反射消除

  1. 景深引导的反射消除

主要依据:背景清晰时,反射多半会模糊。在梯度分布中也能看出。如果清晰的图像被模糊,梯度值更聚集于0(图像变化更平滑);如果原本模糊的图像被模糊,则梯度直方图没有太大变化。

  1. 基于相对平滑性

  2. 基于多张图像:基于两层图像的位移不一致。

变换相机角度,拍摄多张图像。移动时,背景的边缘移动和反射的边缘移动有不同。

基准评价数据集

讲者:万人杰

量化地评价消除反射的效果。

SIR2数据集;SIR2+数据集

(后面还有一下东西,没仔细听了呜呜

深度学习去反射

第一篇(CN ACCV 16

借鉴了传统方法的思路,对深度进行分类,然后进行剔除

Fan ICCV 17

通过神经网络学背景层的边缘,辅助去除反射

借鉴了传统的两步走方法:先提取边缘,分类,再剔除

Wan CVPR 18 CRRN

并联的反射消除网络

Wan TPAMI 19 CoRRN

“协作式”的神经网络,

Zhang CVPR 18

“感知损失函数”辅助去反射

。。。。

基于偏振的反射消除