计算摄像学 第十二讲 图像反射消除
(为什么是第十二讲)有一些论文原作者可以来讲,因此调整了一下顺序。
讲者1 常亚坤
主要内容:
- 背景介绍
- 成像模型、反射特性
- 经典优化求解
- 基准评价数据集
- 基于深度学习的方法。
1.背景介绍
- 反射的成因(经典物理图像
- 反射的特性
- 若反射和背景都在景深内,结果相当于线性叠加
- 若反射在景深外,背景在景深内,结果相当于给反射加了模糊的卷积
- 若反射镜有厚度,将出现重影
- 反射的(不利)影响
- 例子:对着玻璃拍容易不美观
- 对后期计算造成干扰
- 反射的消除
2. 传统方法
- “人力驱动”,手工标记数据
它基于了“背景图层和反射图层一定程度上是独立的”的假设。
主要过程:第一阶段:边缘标记和边缘分类->第二阶段:反射消除
- 景深引导的反射消除
主要依据:背景清晰时,反射多半会模糊。在梯度分布中也能看出。如果清晰的图像被模糊,梯度值更聚集于0(图像变化更平滑);如果原本模糊的图像被模糊,则梯度直方图没有太大变化。
基于相对平滑性
基于多张图像:基于两层图像的位移不一致。
变换相机角度,拍摄多张图像。移动时,背景的边缘移动和反射的边缘移动有不同。
基准评价数据集
讲者:万人杰
量化地评价消除反射的效果。
SIR2数据集;SIR2+数据集
(后面还有一下东西,没仔细听了呜呜
深度学习去反射
第一篇(CN ACCV 16
借鉴了传统方法的思路,对深度进行分类,然后进行剔除
Fan ICCV 17
通过神经网络学背景层的边缘,辅助去除反射
借鉴了传统的两步走方法:先提取边缘,分类,再剔除
Wan CVPR 18 CRRN
并联的反射消除网络
Wan TPAMI 19 CoRRN
“协作式”的神经网络,
Zhang CVPR 18
“感知损失函数”辅助去反射
。。。。
基于偏振的反射消除