计算摄像学 第九讲 超分辨率

更清晰、更远的变焦!

介绍

传感器的分辨率是有限的.

意义:

• 提升视觉质量!
• 方便下游操作、识别

https://github.com/bloc97/Anime4K/releases

https://jpgHD.com

基于子像素位移的多帧方法-传统方法(这是基于信号于系统原理的求解方法)

• 方法动机: 多帧低分辨率图像 -> 子像素的相对关系(位移) -> 恢复高分辨率
• 图像退化模型:

图像退化模型:

• 相对运动矩阵: 平移、旋转
  • 透视、局部运动
• 图像模糊矩阵:
• 降采样 像素抽取矩阵
• 噪声

超分辨率, 就是反方向计算这些矩阵.

简化模型: 认为模糊矩阵和降采样矩阵不同图片是相同的.

做法: 1. ML 最大似然估计 2. 最大后验概率估计

太复杂了, 我不会

通过改进传感器构造

让传感器产生微小抖动(2004)

规则像素排布的问题: 平移距离为整个像素的时候, 相当于没有平移, 效果不好.

Penrose像素排布(2011): 不规则的像素排布

八元组子像素排布(2014): 不规则的像素排布

单帧超分辨率

1. 生成一张保留细节的逼真的输出图像

(双三次上采样)

2. 在图像内容上与低分辨率的输入图像保持一致

非学习?

例1 基于图片形状的重复(自相似)

例2 基于梯度锐化变换的方法

基于学习

例 SRCNN ECCV 14 首次将深度学习引入超分辨率

VDSR 更深的网络层数

ZSSR 自监督

…

总结

• 关键概念:
  • 超分辨率、图像退化模型
• 原理:
  • 基于子像素位移的多帧方法重建的原理
• 一句话总结:
  • 相机拍摄真实场景获得图像的过程中部分高频细节信息丢失,通过超分辨率方法能够恢复图像丢失的高频细节