来源：Coggle数据科学

本文约1200字，建议阅读5分钟

本文中我们介绍了小白学习CV的基本方法。

在视频监控中，通过图像/视频质量评价(image/video quality assessment，I/VQA)可以预测设备状态，以及时对存在问题的设备进行维修或更换;在网络直播中，通过I/VQA可以分析视频质量，以改善终端用户体验。

I/VQA方法分为主观和客观两类。主观方法通过人为打分的方式获得平均主观得分(mean opinion score，MOS)或平均主观得分差异(differenti-almean opinion score，DMOS)，目前仅用于需要构造数据集的情况下，基于主观方法获取图像的MOS作为数据集的标签。

客观评价方法主要分为：

全参考(full-reference，FR)

半参考(reduced-reference，RR)

无参考(no-reference，NR)

其中FR方法在对测试图像或视频进行质量评价时，需要原始的参考图像或视频作为对比。RR方法仅需从参考数据中提取部分信息作为对比。NR方法不需要参考数据，能够直接对测试图像进行质量评价，是目前质量评价领域的研究重点，在3种方法中实用性最强。

I/VQA 发展里程碑式的事件被认为有 3 个:

基于结构相似性(structural similarity,SSIM)方法的提出，改变了以往 主流质量评价方法 PSNR和MSE仅关注图像中像素信息 改变的现状,从而使基于结构信息的主观感知逐渐 成为评价任务的重心。

基于自然图像统计是较早使用自然图像统计处理 IQA 的工作，它解决了此前 大多方法计算开销大、速度不够快、鲁棒性和性能不 佳的问题。

基于深度学习方法具有影响力的算法包括: 基于质量排序思想的 RankIQA、基于生成对抗网络的 HIQA、基于元学习的Meta- IQA等。这些深度学习方法在一定程度上减少了对参考图像和MOS的需求，促进了NR-IQA方法的应用和发展。

全参考 IQA 方法(FR-IQA) 全参考方法作为 IQA 领域中最早使用的方法，已经发展了很长一段时间，它将测试图像与原始图像进行对比来评估测试图像的质量。

半参考方法常用于图像/ 视频的传输系统，受传送通路限制，一般基于图像的部分特征而不是完整的参考图像来完成测试图像的质量评价。常见方法 有基于 NSS 和自由能的方法。

视频作为图像在时间维上排列形成的一种数据，不仅包含图像的空间信息，还包含时间维上连贯 的运动信息。因此,其设计主要从以下两部分考虑：

空间维上借鉴 IQA 方法或思路

时间维上运 用加权平均或 3 维处理等方法进行建模

基于深度学习的 NR-IQA 方法 传统 NR-IQA 方法通过手工设计特征衡量图像质量。在应用深度学习之后，通过借助 MOS进行监督训练、映射特征并得到最终的图像质量。

图像分块作为传统 IQA 方法广泛使用的一大 策略,仍然应用于基于深度学习的方法之中。以图像块为单位进行训练,可以增加特征的丰富性和细 节信息。

深度学习时代的 VQA 方法注重帧与帧之间的关联及其可能对视觉感知造成的影响，主要分为基于帧处理并融合时序模块的 2D CNN 与基于视频级 处理的 3D CNN 两类。

在质量评价任务中具有 MOS 的数据集是客观 I/ VQA 算法实验的基础。

为更好地反映模型与主观感知之间的相关性和单调性，采用了斯皮尔曼秩相关系数。

编辑：王菁