admin 一、视频编解码史
1.ISO/IEC和ITU的特定流程
国际上第一个视频编解码器标准是1984年发布的ITU-TH.120，内容如下：“H.120:视频会议使用主数字组传输代码”
采用了DPCM架构。1988年ITU-T发布H.261,名称为“H.261：Video codec for audiovisual services at p×64kbit/s”，也是应用于视频会议的标准，得到了广泛的应用。首次提出了符合混合编码方案（运动补偿预测+变换+量化），适用于CIF图像分辨率（352×276）。
1993年ISO/IEC发布ISO/IEC11172-2即MPEG-1第2部分，名称为“Information technology–Coding of moving pictures and associated audio for digital storage media at up to about 1.5Mbit/s–Part2:Video”，适用于面向数字视频存储（VCD）的格式。仍然采用混合编码方案，并首次引入时间上的双向预测帧。MPEG-1的第三部分为音频编码，即“mp3”格式。
1995年ISO/IEC和ITU-T首次合作开发视频编码标准,ISO/IEC中的代码为ISO/IEC138181-2,即MPEG-2第2部分，名称为“Information technology–Generic coding of moving pictures and associated audio information-Part2:Video Digital TV, DVD ,DVB-x-Widespread usage of digital video format”，适用于数字电视、DVD等广泛使用的数字视频格式。首次支持场模式，即全标清（FullSD）格式，并首次提出可伸缩性（Scalability）视频编码特性。在ITU-T中的编号为H.262，名称为“H.262：Information technology-Generic coding of moving pictures and associated audio information:
Video”。
1996年ITU-T发布了H.263，名称为“H.263：Video coding for low bit rate communication”，适用于视频通信应用。并于1998年和2000年分别发布了H.263+和H.263++，提出了大量的视频编解码工具，大大增强了视频编码性能，并首次把编解码工具以配置（profile）的形式进行组织。
ISO/IEC于1999年发布了ISO/IEC14496-2，即MPEG-4第2部分，名称为“Information technology–Coding of audio-visual objects–Part2:Visual”，首次提出多媒体信息对象的概念，还定义了任意形状的对象编码，基本上集成了H.263提出的编解码工具。
2003年，ITU-T和ISO再次成立联合工作组开发视频编解码标准，在ISO中的代号为ISO/IEC14496-10，即MPEG-4第10部分（AVC），名称为“Information technology—Coding of audio-visual objects—Part10:Advanced Video Coding”。在ITU-T中的代号为H.264，名称为“H.264：Advanced video coding for generic audiovisual services”。主要适用于HDTV、视频会议、视频监控、互联网视频。主要特色编解码工具为4×4整型变换、环路滤波（in-loop filter）、低复杂度算术编码（arithmetic coding）。为了和VC-1竞争又增加一些编码工具，如额外的8×8变换、额外的颜色空间。H.264/AVC又发布了第2个版本，可和支持SVC（时间可拓展、质量可扩展、空间可扩展）、单环路解码能力、多视窗视频编码（MlutiVivew Coding）、立体和3D视频应用、场景的多视窗应用。
2013年ISO/IEC和ITU-T成立的联合工作组发布新一代视频编解码标准，ISO/IEC代号为ISO/IEC23008-2（HEVC），即MPEG-H第2部分，名称为“Information technology—High efficiency coding and media delivery in heterogeneous environments—Part2:High efficiency video coding”。ITU-T的代号为H.265，名称为“H.265：High efficiency video coding”。H.265适用于HD到UHD分辨率应用。Edition2增加了范围扩展（Rangeextensions）、多视窗（multiview）、可伸缩性（scalability）；Edition3增加了3D视频编码；Edition4增加了屏幕内容编码；Edition5增加了全向（Omnidirectional）视频SEI；Edition6增加了SEI清单（manifest）；Edition7增加了鱼眼和注解区域SEI。
2018年ISO/IEC的MPE（Moving Pictures Experts Group）和ITU-T的JVET（Joint Video Experts Team）联合成立专家组JVET（Joint Video Exploration Team），联合探索新一代视频编解码技术。2020年ITU-T率先发布H.266，其名称为“H.266:Versatile video coding”。
2021年ISO/IEC才发布H.266的对应标准，在ISO/IEC中代码为ISO/IEC23090-3，即MPEG-I第3部分，名称为“Information technology—Coded representation of immersive media—Part3:Versatile video coding”。
H.266/VVC主要适用于UHD及更高分辨率视频应用、360度视频应用。所以它的名称为“多用途视频编码”，2022年发布了第2个版本。
2020年ISO和IEC还发布了视频编解码标准EVC（基本视频编码），即ISO/IEC23094-1/MPEG-5第1部分，名称为“Information technology—General video coding—Part1:Essential video coding”。2021年ISO和IEC还联合发布了视频编解码标准LCEVC（低复杂度增强视频编码），即ISO/IEC23094-2/MPEG-5第2部分，名称为“Information technology–General video
coding—Part2: Low complexity enhance-
ment video coding”。
2.微软公司历史
2003年微软所对开发的视频编解码系统VC-1提出了标准化申请，全称为VC-1视讯编解码器（Video Codec1）。
3.AOM（AllianceforOpenMedia）的视频编解码标准化进程
2010年On2公司发布VP8；2013年谷歌公司发布VP9；2015年谷歌公司发布VP10；2018年AOM发布AV1。
4.SAC/TC28和中关村视听产业技术创新联盟发布的视频编解码标准进程
2006年发布AVS1（GB）；2013年发布AVS1的第二版；2016年发布AVS2（GB）；2021年发布AVS（T）。
5.SAC/TC100发布的视频编解码进程
2010年发布SVAC1.0（GB/T25724-2010）；2017年发布SVAC2.0（GB/T25724-2017）。
二、H.266/VVC标准
下面我们着重讲解一下最新的H.266/VVC的特点。H.266/VVC的设计目标包含编码效率（Coding Efficiency）和多用途性（Versatility）两个方面。编码效率相比H.265/HEVC提高50%，即在同等图像质量的前提下，码率降低一半。主要面向于现有的2MP的HD编码，以及应用越来越多的UHD（4K×2K、8K×4K）等更高分辨率应用，同时面向于10比特位宽/12比特位宽的WCG（宽色域）/HDR（高动态范围）应用。多用途性主要是指适用于多种视频内容和应用进行编码，主要包括屏幕内容（图形和文本）编码，即计算机生成或屏幕内容编码、自适应图像分辨率变化、（时间/空间/质量）可伸缩性、基于Tile的编码、双目、多目、360度等沉浸式内容编码。
标准动态范围（Standard Dynamic Range）：视频符合ITU-RBT.709颜色空间定义，每像素采用8比特位宽，对比度范围为1000:0。高动态范围（High Dynamic Range）：视频符合ITU-RBT.2020和ITU-RBT.2100颜色空间定义，每像素采用10比特/12比特/16比特位宽，对比度范围为1000000:1。采用WCG和HDR编解码的H.266/VVC视频图像颜色保真度更高，图像效果更加逼真，主观感官更佳逼真。
由于H.266/HEVC主要应用于WCG和HDR，所以其配置（Profile）文件中主要是高位宽,如图2所示。对于数字安防应用，HD、UHD等编码配置一般使用Main 10 Profile。现在的H.264/AVC、H.265/HEVC主要使用8比特位宽编码。10比特高位宽编码是使用H.266/VVC的一个最显著特点，若配套支持WCG和HDR的光电传感器和显控设备，主观图像效果将带来很大的提升。
H.266/VVC编解码器结构框图如图3、4所示。该编解码器结构框依然沿用和H.265/HEVC、H.264/AVC几乎相同混合架构，主要包括块划分（coding block）、帧内预测（intra prediction）、帧间预测（inter prediction）、运动估计（motion estimation）、变换（transform）、量化（quantization）、自适应环路滤波（adaptive loop filter）、去块滤波器（deblock）、熵编码（entropy coding）等，相比H.265/HEVC，每个模块都增加一些新的工具以进一步提高编码效率。
H.266/VVC新增的编码工具及其作用如下：
multi-type tree：多类型树，允许编码块按照二叉树、三叉树进行划分。
65intra-prediction mode：帧内预测模式增加到65个，最可能模式有6个候选项。
wide-angle intra-prediction for nonsquare blocks：非正方形块使用宽调度帧内预测。
mode dependent intra smoothing：在帧内角度模式时使用4抽头滤波器进行插值滤波。
cross-component linear model：通过亮度分量预测色度分量。
position dependent intra-prediciton combination：根据位置信息对帧内预测进行后处理。
multiple reference line：帧内预测允许使用多个参考行。
intra sub-partitions：帧内预测时将亮度块水平或垂直划分为子块。
matrix weighted inra-prediction：使用预训练的矩阵处理参考像素。
history-based MVP merge candidates：运动矢量预测合并模式中增加基于历史信息的候选项。
merge mode with MVD：合并模式中增加运动矢量残差。
affine motion compensated prediction：增加放射运动补偿方式。
adaptive motion vector resolution：自主控制运动矢量精度。
bi-prediction with CU-level weight：编码单元级加权的双向预测。
bi-directional optical flow：利用双向光流进行预测。
decoder side MV refinement：基于双端模式匹配的解码器MV修正。
triangle partition for inter prediction：三角预测。
combined inter and intra prediction：帧内帧间联合预测。
三、H.266/VVC的专利困境
为了摆脱H.265/HEVC多个专利池困境，H.266/VVC发布之初便由几家牵头单位成立媒体编码行业论坛（Media Coding Industry Forum，MC-IF），其目的是促进MPEG标准的采用，最初的重点是H.266/VVC，通过建立它们作为公认和广泛使用的标准使消费者和行业受益。MC-IF的真实目的是想把H.266/VVC相关的专利方纳入同一个专利池进行统一的管理和授权，便于H.266/VVC在各个行业的拓展。
MC-IF目前已经把H.265/HEVC中的Velos Media吸纳进来，但是由于管理理念的巨大差异性，在H.266/VVC正式发布后，LLC宣布推出VVC专利组合许可。该联合许可证包括对H.266/VVC标准至关重要的专利。MPEGLA的H.266/VVC许可的初始专利所有人是bcom、英国广播公司、Digital Insights Inc、FG Innovation Company Limited、Hanwha Techwin Co.,Ltd、Koninklijke KPN N.V、Nippon Hoso Kyokai、Orange、西门子公司、Tagivan II LLC和Vidyo,Inc。同时AccessAdvance也宣布，二十八家公司已加入VVC Advance专利池成为许可方，这些公司在预期的H.266/VVC标准必要专利（“SEP”）领域中占相当重大的比例。
由此可见，至少目前来看H.266/VVC面临着和H.265/HEVC相同的多种专利授权策略局面，这对于H.266/VVC的使用方来说是必须面对的一个局面，不管是提供流媒体业务的互联网公司或者短视频公司，还是提供硬件机顶盒的运营商公司还是传统的AIoT厂商。
正是针对这一专利授权困境，同时考虑到H.266/VVC虽然相比于H.265/HEVC编码效率提高50%，但是编码复杂度增加3-10倍，ISO/IEC提出两种编码标准方案LCEVC和EVC，给视频编码使用厂商提供第三种选择。
四、低复杂度增强视频编码（LCEVC）
LCEVC基于现有的H.264/AVC或H.265/HEVC编解码器编码HD、UHD甚至更高分辨率的视频图像。对编码器来讲，输入的原始分辨率图像进行两次下采样（Downscaling），把图像的分辨率分别在水平和竖直方向降低到四分之一，再采用传统H.264/AVC或H.265/HEVC进行编码，此时的编码复杂度相当于编码原始分辨率图像的四分之一。四分之一分辨率的码流解码后，进行第一次上采样（Upsaling），和原始分辨率进行第一次下采样后的图像进行差分编码，此时的差分图像编码计算量相当于JPEG编码的计算量。四分之一分辨率的码流解码率后，继续进行第二次上采样，和原始图像进行查分计算，得到原始分辨率的差分图像继续进行类JPEG编码。
由此可见，使用LCEVC编码器得到的码流主要分为基本层（Encoded Base）、第一级残差系数层、第二级残差系数层。解码基本层码流得到四分之一分辨率的图像，再解码第一级残差系数层码流，得到二分之一分辨率的图像，最后解码第二级残差系数层码流，得到全分辨率的图像。使用LCEVC编码器，避免使用H.266/VVC超高复杂度的编码工具，即保证了编码压缩效率，又保证了编码速度，同时使得编码码流具有分辨率的可扩展性，非常适用于解码后的机器视觉/视频内容分析计算场景。
五、基本视频编码（EVC）
LCEVC主要针对H.266/VVC的超高计算复杂度提出可接受的解决方案。EVC主要是针对H.266/VVC、H.265/HEVC的专利困境提出解决方案。EVC的编码配置分成两个级别：Layer1（BaseProfile/基线配置模式）和Layer2（Main Profile/主配置模式）。Layer1仅包含20年以上或可以免费在标准中使用的技术，Layer2则添加了少量其他工具，包含所有的技术组件并支持单独开闭，至少120帧、10位精度。
免费版的EVC基线配置模式的编码效率和H.265相当，编码时间还不到H.265的一半。主配置模式编码效率和H.266/EVC相当，但是目标参考代码版本的编码时间是H.266/VVC的4倍，相信还有优化的空间。
六、国内编解码标准
国内编解码标准化团队主要以AVS团队为主，该团队同时也参与H.264、H.265、H.266标准制定过程，可以说AVS标准已经成为国际标准的试验田。尤其在H.266专利持有人队伍中，中国公司占比越来越多。中国公司慢慢开始熟悉国际标准化的规则，积极参与国际视频编解码标准化过程，同时积极运用国际标准化规则把更多的中国知识产权置入到国际标准中，提升中国公司在各种专利池中的话语权。
1.AVS
AVS当初是为了对抗H.264国际标准的高授权费而生，AVS专利授权象征性的收取1元人民币。AVS聚集了国内各科研机构、企事业单位等组织在视音频编码领域的国内专家和学者，一起参与制定标准。AVS的版本到目前为止有AVS1、AVS2、AVS3，AVS1和AVS2都转化为IEEE国际标准，AVS目前正由团体标准升级为国家标准。AVS标准体系组成类似于MPEG，除了对视频编码进行规范之外，还包含音频部分、文件容器部分、参考软件、测试、媒体内容描述等方面。
2.SVAC
SVAC是专门面向于公安行业应用的视音频编解码规范，目前为止推出了SVAC1.0和SVAC2.0两个版本。SVAC主要由公安内部的研究机构为主进行规范化，主要在视频编码原始流层面扩展了一些视频监控配置信息、安全信息等。这些信息在传统H.26X编码规范中一般是通过辅助增强信息（SEI）层面携带。甚至在MPEG的解决方案中，可以在传输容器或者文件容器中携带。
七、总结
自从进入21世纪以来，随着视频应用在移动互联网领域、AR和VR、甚至最新兴的元宇宙领域及传统的智能安防领域，逐渐变为主流应用。在国内外标准化领域，视频编解码等相关领域的标准化的竞争也更加白热化。在国际领域，由于不同国家和地区文化不同、不同行业和企业的管理理念和关切点不同，视频编码标准专利许可政策一直无法达成统一，以至于出现了多个专利池分别推出各自的专利许可政策，这在某种程度上阻碍了视频编码标准在各个企业产品的落地和在行业中的推进。为破解这种局面LCEVC和EVC这样的解决方案才有机会也成为和H.266/VVC相同地位的ISO/IEC国际标准。
在国内，由于不同行业和主管部门关切点的不同，以及和各企业的关切点无法统一，尤其是在国际化的背景之下，不管是芯片公司还是软硬件产品制造商，都会从更宏观的视野评估和考量各自的产品布局。
H.266/VVC虽然号称相比H.265/HEVC在编码效率提高一倍，但是这是以更加复杂的计算量为代价的。虽然H.266/VVC更加适用于智能安防领域的4K、8K、全景和多目的视频编解码应用，同时考虑到以上几个因素，H.266/VVC在智能安防领域还有多少年落地，H.266/VVC标准和其他几个竞争标准谁先落地，从产业角度来讲，决定的因素实在太多，目前来看，确实无法给出准确的时间表。这一问题，至少目前趋势还不明朗，我们只能拭目以待。