大约5年前,Google首次发布了VP9,这是一种免版税的视频编解码器,旨在取代H.264,将其用作在线流媒体和媒体消费的主要编解码器。尽管VP9在这项任务上并不完全成功,但它为Google的下一代编解码器AOMedia Video 1(AV1)奠定了基础,后者看起来非常有前途。当VP9首次发布时,人们对它如何与即将面世的HEVC编解码器相抵触存有疑问,HEVC编解码器得到了导致H.264在On2的TrueMotion VP3,Xiph的Theora,Microsoft的VC-1以及许多其他产品上的普及的同一小组的支持。 。然而,五年之后的今天,VP9席卷了整个世界。虽然HEVC未能找到软件支持,而Edge是唯一支持它的主要互联网浏览器(即使那时,仅在某些处理器上),但VP9现在已被除Safari之外的所有现代Web浏览器中使用,其免版税性质具有是造成这种情况的关键因素。
HEVC许可组为了提供具有HEVC支持的产品,您需要至少从四个专利池中获取许可证(MPEG LA,HEVC Advance,Technicolor和Velos Media)以及众多其他公司,其中许多公司不提供标准许可条款(而是要求您协商条款),这可能会花费数亿美元(这就是在最近大幅削减HEVC专利费之后)。尽管这些高额专利费已经对Google Chrome,Opera,Netflix,Amazon Video,Cisco WebEx Connect,Skype等产品产生了问题,但从经济角度而言,它们完全排除了将HEVC作为Mozilla Firefox等项目的选择(仅适用于Firefox)在实践上不能承受浪费数亿美元的专利使用费和数百个工时来谈判所有必要的许可协议)(在实际应用中,Firefox需要免版税,才能在许多FOSS项目中使用),
这些问题使Firefox(和Chromium)甚至在几年前甚至还没有在许多平台上包括本机H.264播放(它仍需要在Linux上安装插件),并且很可能会阻止Firefox在HEVC的专利到期后才支持HEVC。 2030年代(甚至可能更晚)。直到今天,由于思科提供了通过OpenH264支付Mozilla的所有许可费用,Firefox仍仅本地支持H.264,以便标准化H.264在整个市场上流式传输,直到下一代编解码器准备就绪为止。
Flugaal创建的VP9,VP8,AVC和HEVC中压缩伪像的比较
这就为VP9打开了大门。通过免版税,VP9可以在任何需要它的平台或服务上实现,并且它也看到了强大的硬件加速支持。除了在任何可支持它的设备上使用Youtube(减少带宽使用量,这对Youtube节省了巨大的成本)之外,WebM容器(它在Opus或Vorbis中支持VPx视频和音频)也用无声视频替换了.gifs。在imgur和gfycat之类的网站上规模要小得多,整个Wikipedia都在使用它,Skype已采用了Skype(后者是Opus开发的推动力),甚至Netflix也正在采用它(从下载内容开始供离线观看) ,并在将来转为常规流)。
但是,仅VP9还是不够的。Google希望获得更好的压缩效果,尤其是对于Youtube和Duo来说,视频压缩的微小增加可以节省大量成本并大大改善用户体验。因此,Google制定了一项计划,以快速更新其VPx编解码器产品线,就像使用Chrome和其他一些产品一样。Google宣布他们计划在2016年发布VP10,然后每18个月发布一次更新,以确保稳步发展。到了谷歌甚至开始发布VP10代码的地步,然后突然谷歌宣布取消VP10,并成立了开放媒体联盟(AOMedia)。
尽管HEVC和VP9是两个最受欢迎的下一代编解码器,但它们并不是唯一的。思科正在开发在其视频会议产品中使用的Thor,而Xiph正在开发Daala(一种编解码器,其设计与以前的所有编解码器都有很大不同,以防止出现任何专利主张)。这三个编解码器(Thor,Daala和VP9 / VP10)都看起来很有前途,但是由于各方面的努力扼杀了它们的开发和采用,因此这三个组织齐心协力,将其编解码器合并为一个(AV1),并建立了联盟开放媒体,以进一步发展和采用此联合编解码器。AV1的目标是充分利用这三个编解码器中的每一个,并将它们合并为任何人都可以实施的免版税软件包。
虽然将Thor,Daala和VP10合并在一起需要一些时间,这是AV1于2016年中发布的第一个公开测试版,但比特流预计将在今年晚些时候完成,并且看来开放媒体联盟正在努力宣传AV1。一些参与其中的开发人员已开始对此进行公开讨论(例如FOSDEM上的这一讨论),并且看来Google可能会在本周的Google I / O上推广它。
种支持也不只是来自Google。开放媒体联盟包括从处理器设计人员(AMD,ARM,Broadcom,Chips&Media,英特尔,Nvidia等)到浏览器开发人员(Google,Microsoft和Mozilla),流媒体和视频会议服务(Adobe,Amazon,BBC R&D,思科,Netflix,Youtube等)。预计这些公司将发挥出强大的实力,以提供对AV1的支持,第一批流服务预计将在比特流格式完成后仅6个月内准备就绪,首批硬件解码器将在12个月内准备就绪。仅此一项就能相当快地为AV1带来实质性的硬件支持,但是,如果一切顺利,我们甚至可能会看到部分硬件加速被移植到某些已经存在的硬件上,例如VP9所发生的情况,
视频流是互联网总流量的很大一部分,即使压缩率提高百分之几,也可能对整个网络和特定应用程序的用户体验产生巨大影响。AV1和Opus可以在较低吞吐量的连接上提供质量好的视频(为更多情况和更多市场开放视频流),并且在高吞吐量连接上可以提供比以前更高的质量。两者的设计都考虑到了在蜂窝网络上的使用,AV1和Opus在连接速度变化时可扩展性方面进行了重大改进,更不用说更高的分辨率,更高的帧速率,扩展的色彩空间,HDR支持(对于Netflix,Youtube,三星银河S8和LG G6,后者现在可以利用Netflix最近在移动中添加的HDR支持),以及将它们结合在WebM容器中时可以启用的较低延迟。
AOMedia集团-开放媒体联盟-AV1的主要开发商当然,在这种情况下,宣传HEVC的团体不会袖手旁观。一旦发布了针对AV1的专利诉讼,他们就已经开始构成威胁,开放媒体联盟将竭尽全力确保不会发生。他们正在对AV1进行广泛的法律法规审查,以确保它不会侵犯MPEG LA,HEVC Advance,Technicolor,Velos Media等公司拥有的任何专利。对于VP8和VP9来说,这种形式的代码审查非常成功,它们在所有法律挑战中都幸免于难。MPEG LA针对VP8和VP9采取的行动被认为可能没有任何法律依据,而纯粹是反竞争的。美国司法部一直在调查MPEG LA的行为,直到他们同意放弃诉讼并给予Google许可,将MPEG LA的专利池再许可给VP8或VP9的任何用户。虽然我们可能会尝试停止AV1的类似尝试,但Google的专利池大幅扩展,以及支持编解码器的公司数量大幅增加(这要归功于开放媒体联盟),都应在确保短时间内解决问题上大有帮助订购。
看到AV1为视频编码带来的改进确实令人兴奋,尤其是因为它是免版税的。它所获得的巨大支持(甚至在发布之前)对于视频流和本地录制的未来也将具有重大意义。AV1的改进将带来更好的现场直播,更好的视频聊天(通过WebRTC),用于本地存储的较小文件,以前从未听说过的视频流质量(例如,蜂窝网络上的高质量4k HDR)以及潜在的其他用途我们还没有想到,特别是在与5G移动网络速度提高相结合时和802.11ax WiFi。最重要的是,AV1仅仅是开始。Google计划快速发布VPx,以便看到不断的改进(使用HTML5 Video标签的设备将获得它们支持的最高质量版本),而且我们可能不必等很久就可以看到增量版本。更新到AV2。