什么是视频预处理?

2021年11月22日 阅读数:1
这篇文章主要向大家介绍什么是视频预处理?,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

点击上方“LiveVideoStack”关注咱们算法

翻译 | Alex
微信

技术审校 | 章琦app

本文来自OTTVerse,做者为Krishna Rao Vijayanagar。ide

预处理svg

Easy Techflex


#006#

视频预处理对商业编码器来讲是很是关键的步骤,它包括去隔行、上/下采样、降噪等重要操做。虽然预处理并非视频编码器和视频编码标准的组成部分,但它会显著影响视频压缩效率,因此理解视频预处理的做用相当重要。
ui


在本篇文章中,让咱们一块儿来了解视频预处理过程当中的重要步骤。
编码


  去隔行url

 

去隔行处理是一种常规操做:用于输入隔行视频格式,须要输出逐行视频格式时。

隔行视频格式被开发和应用于电视广播制式,好比NTSC和PAL,来自奇场的奇数行和来自偶场的偶数行被交替渲染,先显示奇数行,后显示偶数行。只需渲染得足够快,人眼观看到的将会是完整的图像。

左图为隔行图像,右图为逐行图像(图片来自IBM)

若是你获得一个隔行视频,并被要求输出逐行视频,你就须要作些工做。在这种状况下,你须要将该隔行视频中的顶场和底场交错排列,经过使用去隔行滤波来消除失真,而后发送给编码器。

或者,你也能够简单地复制奇偶场中的行(也被称为“bobbing”)。

在过去几十年中,去隔行得到了普遍研究,并出现了不少优秀的产品和算法供你选择使用。不管选择哪一种算法,都必然会遇到Combing artifacts(视频中出现梳状纹理,以下图所示),因此投资好的去隔行器很是值得。

说明:早期的确如此,早期的视频编码器支持隔行视频,不过期至今日,隔行视频源已经愈来愈稀少,自HEVC之后的视频编码器没有再支持隔行视频,去隔行算法的重要性也不复过往。

Combing Artifact

  图像重采样spa

 

在视频编码器中,图像重采样是预处理的常见步骤。好比,若是你输入的视频是1920x1080p@60fps,而后你想输出640x480p@60fps的视频,那么在将视频发送给编码器前,你就须要调整帧的尺寸。


图像重采样在OTT视频压缩流程中很是常见,由于码率表中对应有几种不一样的分辨率。

将输入视频帧转换为不一样分辨率

那么如何调整图像尺寸?最简单的方法就是在调整过程当中舍弃不须要的像素或者添加新的像素,但这样作会造成使人讨厌的视觉失真。

现代编码器和视频预处理器在图像尺寸调整过程当中会使用精心研究过的滤波器,好比bicubic、bilateral、trilateral、gaussian或者lancsoz等。

  帧率转换

 

假设你输入的视频分辨率为1920x2080p@60fps, 你想要一个30fps的输出,这时你将用到转换帧率的算法。


帧率转换是双向的:若是是从高帧率转换为低帧率,你须要舍弃每一个第n帧,若是是从低帧率转换为高帧率,你就须要添加帧。

当你经过填充帧或者重复帧来提高帧率时,必定要当心避免形成视频失真。只有这样,你才能让视频看起来正常,而不是像个卡通片。实际上,帧率转换是一个丰富且精彩的研究领域。

   去噪声

 

编码器一般拥有本身专有的降噪算法,这些降噪算法会在压缩视频以前对视频进行处理。一般状况下,使用了高斯(gaussian)降噪滤波器会使图像变得平滑,有时会有利于提高压缩效率。

场景变化检测

 

对于高效的视频压缩而言,压缩视频时知道视频中场景什么时候变化十分重要。

若是你了解预测,你就会意识到在两个彻底不一样的图像之间预测或者寻找类似性是无用的,这就比如在一黑一白图像中找相同之处,你将一无所得。

所以,就须要检测视频中场景变化的位置——这样你就无需再尝试作运动估计。

注意:若是你尚未理解这个概念,先不要着急。当你在阅读完一系列关于预测和运动估计的文章后,天然就明白了。


  总   结


显然在视频预处理过程当中还有不少算法和功能,但我今天就讲到这里。我之因此介绍视频预处理,是想告诉你预处理的重要性以及其中的创新空间有多大。

任何读到本篇文章的人均可以本身写一个高级的场景变化检测算法、降噪滤波器、或者帧率转换器,将其贡献给开源编解码器社区,说不定会让整个行业为你大吃一惊哦。
 
 




致谢

本文已得到做者Krishna Rao Vijayanagar受权翻译和发布,特此感谢。
原文连接:
https://ottverse.com/video-preprocessing-in-encoders/


延伸阅读:

视频编码彻底指南

Easy Tech:什么是I帧、P帧和B帧?

为何视频压缩如此重要




讲师招募

LiveVideoStackCon 2022 音视频技术大会 上海站,正在面向社会公开招募讲师,不管你所处的公司大小,title高低,老鸟仍是菜鸟,只要你的内容对技术人有帮助,其余都是次要的。欢迎经过 speaker@livevideostack.com 提交我的资料及议题描述,咱们将会在24小时内给予反馈。

喜欢咱们的内容就点个“在看”吧!

本文分享自微信公众号 - LiveVideoStack(livevideostack)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。