听说4K8K电视中的超分辨率（SR）很火？让我来告诉你（三重建篇）

　　昨天的文章，详细介绍了4K/8K电视中基于插值的超分辨率算法，分别为最邻近插值、双线性插值和双三次插值，以及三种插值算法的优缺点比较。读者如有不清楚的，可以翻看昨天的文章，今天书接上文，具体来聊一聊三类超分辨率算法中的第二种，基于重建的超分辨率算法。
　　基于重建的超分辨率算法有哪些？
　　基于重建的超分辨率算法主要有基于凸集投影法和基于IBP的超分辨率算法。基于凸集投影法（Projection Onto Convex Sets, POCS）的超分辨率算法
　　POCS是一种在重建过程中，把解的先验知识加到迭代过程的方法，解的先验知识一般包括解的正定性、数据的可靠性和能量的有界性等特性，这些特性在重建过程中起的约束作用各有差异。
　　在已知图形的成像模型上，把所有以上所提到的关于图形的先验知识，分别当成图形进行重构的约束条件，并且这些约束条件都分别对应一个超分辨重建图像图像的凸集。
　　多个约束条件就对应多个SR图像的凸集，把这些凸集的交集称之为一个有效解集。从整个求解过程知道，得到的有效交集会保持为一个凸集。
　　所以凸集投影（POCS）就是在任意给定一个点的前提之下，在超分辨率图像空间中找到一个凸集融合解，并且这个解能满足由所有先验知识组合而成的约束条件。
　　最初超分辨率重建的POCS，只是给出一个比较简单的成像模型，在这个成像模型中，只考虑到传感器所引入的模糊效应，并没有把物体的局部平移问题和运动模糊等影响因素都考虑在内。
　　虽然在理论分析过程中，分析了噪声对重建结果的较大影响，但是在实际所建立的模型中，却并没有为噪声建模。
　　所以起初基于POCS的算法处理结果通常是在边界区域更加容易出现噪声。在之后的发展过程中，有学者在之前的基础上增加了对观测噪声的处理，对模型中添加了对噪声的建模。使得这种算法的应用性能够更加广泛。基于IBP的超分辨率算法
　　迭代反向投影（Iterative Back-projection，IBP）的核心思想是通过不断迭代减小模拟低分辨率图像和每次迭代过后产生的低分辨率图像之间的误差，即重建误差，到一个允许范围内，就能得到在这个条件下的高分辨率图像。基本的IBP算法示意图如下图：
　　上图认为低分辨率图像仅仅经过了一个高斯模糊处理和一个下采样过程得到，上面的过程可以用下面这个式子模拟：
　　式1 IBP算法模型
　　式中重建误差可以通过下面式子得到：
　　式2 重建误差模型
　　式中涉及到参数如下所示（不知如何在头条编辑器中插入公式，故只能在word中编辑，截图过来，望读者见谅）：
　　IBP算法可以总结为以下两个步骤：首先通过式2计算得到，第 t次迭代过程中的低分辨率重建误差，对其上缩放。
　　再通过式式1，反向投影到第t次的高分辨率图像上，得到第（t+1）次重建得到的高分辨率图像，每次迭代会高分辨率图像之前，乘以反向投影因子p 。基于重建的超分辨率算法总结
　　POCS优点是计算简单，并且能够很好的利用各种先验信息，重建结果在细节和边缘区域效果较好。
　　该算法的缺点是得到的重建高分辨率图像质量，受初始图像的质量好坏影响较大，最终收敛的解不唯一，收敛速度慢，需要多次迭代，对计算机的运算负荷大，不能满足实时性要求，且难以硬件实现。
　　基于IBP的超分算法优点是运行效率较高，运行速度较快。
　　该算法缺点是在重建误差不断反向投影的过程中，没有考虑到局部边缘的方向和强度的不同和反向投影因子p的等方向性的特性，所以即使能够让重建误差减小到0，但是在这个过程中，因为同质异向性的存在，迭代过程会导致重建图像变坏。
　　综上可见，在硬件可实现和实时性要求下面，可以考虑选用基于IBP的超分辨率算法，但是需要对其进行改进。那么改进的办法有哪些呢？请继续关注后面的文章。