| 首页  |  资讯  |  评测  |  活动  |  学院  |  专题  |  杂志  |  产服  |  
您现在的位置:硅谷网> 资讯> 通信>

融云在WICC2021分论坛分享视频编码优化技术

2021-08-12 16:38 作者:佚名 来源:硅谷网综合 关注: 编辑:GuiGu 【搜索试试

7月24日,以“新视界·连未来”为主题的2021全球互联网通信云大会(以下简称WICC 2021)在北京成功落下帷幕。来自主办方全球互联网通信云领导厂商融云的视频算法专家黄震坤在“RTC新技术与应用”技术分论坛中,分享了《基于人工智能的视频编码优化》的演讲。

图1 WICC 现场融云视频算法专家黄震坤发表演讲

根据美国思科公司的相关研究报告,到2022年,全球移动数据流量将达到每年930艾字节,相当于通过全球网络每5分钟传输一遍有史以来所有电影的流量,视频流量占移动数据流量的比例将飙升至79%。巨大的传输压力下,视频编码压缩技术就显得尤其重要。因此,本届 WICC黄震坤聚焦于视频压缩的前沿技术,针对不同场景需求,为开发者阐述了视频编码方向的最新研究成果、融云的探索实践,以及该领域未来的发展前景。

融云在监控场景的视频压缩技术及解决方案

WICC 2021上,黄震坤以交通监控视频场景为例,阐述了随着智慧交通的快速发展,交通监控视频的数据量呈现爆炸式增长,给现有的传输和存储系统带来了巨大的压力,因此,提高监控场景视频压缩的压缩效率显得至关重要。

黄震坤认为,要对交通监控视频进行高效压缩,就必须根据该场景特点,将背景区域和运动区域细致区分。典型的背景区域包括建筑、树木等,在画面中占比较大,且相对固化、变化不大;运动区域包括车辆、行人等,只占整个视频区域的一小部分。典型的监控视频如图2所示,运动的车辆即为前景区域。整体而言,视频的相邻帧之间的变化细微,应成为监控视频压缩关注的重点。

图2 典型的监控场景

针对这些特点,业界早期的做法是在重建帧中选择出长期参考帧,并与己有短期参考帧组合,一起供当前待编码帧做帧间预测的参考。但是,选取的长期参考帧可能包含有前景物体,导致背景帧“不干净”。

为了解决这个难点,融云采用 LaBGen-P 的方法提取背景帧,这是由于 LaBGen-P 采用了像素级中值滤波的机制,基于运动检测的选择机制,选择运动最小的像素作为背景像素。通过帧间差的运算,可提取到纯背景帧的视频效果。

并且,用 LaBGen-P 的方法提取背景帧,将获取的背景帧加入到长期参考帧列表,不但可以避免网损和解码错误会导致解码器出现错误,导致误差扩散到后续的P帧,而且利用反馈机制与长期参考帧相结合,还有助于修复丢失的视频数据。

实验表明,和原始没有加入背景帧的 OpenH264 编码器相比,可将标准测试集中的测试视频 
CiscoVT2people_320x192_12fps.yuv,从原始的 56KB 减少到 54KB。

感兴趣区域的视频压缩技术研究模型及实践探索

不同的场景人们的关注重点会有所不同。仍以智慧交通为例,交警对于违章车辆的关注点是车牌号,车牌号是否清晰,将直接影响执法证据的收集是否有效。因此,在带宽有限的情况下,确保兴趣关注区域的质量是视频压缩技术的关键。

传统编码方法致力于对图像进行去相关处理,这种方法虽然可以达到去除信息冗余度的效果,但是忽略了视觉冗余。因此,在最新研究中,典型做法是,通过对视频进行目标检测来获取感兴趣区域,再对感兴趣区域分配更多的码率,从而提高该区域的编码质量。图3即为典型的采用目标检测技术检测到的感兴趣区域,并进行码率分配的效果,感兴趣区域的编码质量得到保证。

图3 典型的基于目标检测码率分配效果

如何向感兴趣区域分配更多的码率,黄震坤分别向开发者介绍了学术界代表武汉大学的理论研究和产业界代表融云的探索实践。

武汉大学在2021年提出了基于博弈论的码率分配方案模型,具体内容包括:

感兴趣区域编码质量为领导者,非感兴趣区域的编码质量为跟随者;

在设定的目标码率下,领导者决定感兴趣区域分配的码率,而跟随者决定非感兴趣区域的分配的码率;

对于感兴趣区域来说,它的效用不仅取决于自身,而且影响到整个图像的编码质量;

非感兴趣区域只能利用余下的码率达到最优的效用。

而融云的感兴趣区域的视频编码方案是,将运动区域检测和基于博弈论码率分配方案相结合,整合为基于场景的感兴趣区域检测和码率分配方案。这一方案的特点主要体现在训练不同的 yolo 模型,采用同一个预训练模型 yolo,训练不同的场景。

图4 融云感兴趣区域视频编码方案

具体地说,针对人的视频采用训练好的基于人的目标检测模型,针对车的视频采用训练好的基于车的目标检测模型。其中运动检测的方法选用Vibe,为每个像素点建立一个样本背景模型(背景模型中包含N 个样本值),计算待分类像素与背景模型的相似度,如果相似,则分类为背景。

图5 目标和运动检测结合的感兴趣区域提取效果

通过实验可以看出,提取了感兴趣区域之后,采用基于博弈论的方法分配感兴趣区域和非感兴趣区域的码率,最终在有限带宽的情况下,使得感兴趣区域的编码质量获得提高, 整体的编码质量也损失不大。具体效果见图6所示,人脸部分的量化系数比背景区域的量化系数要小,在带宽受限的情况下,能够保留人脸部分的细节。

图6 基于感兴趣区域的码率分配效果

视频压缩技术的最新研究和应用前景

目前在视频压缩的研究方面,主要是基于人工智能的深度学习技术和端到端的视频压缩框架。

深度学习技术替换混合编码框架模块,可用于码率分配、块划分以及帧内预测和帧间预测。以帧间预测为例,实验结果表明,与 HEVC 相比,基于深度学习所提出的方法在low delay P配置下,能达到平均1.7%(最高为8.6%)的码率减少。端到端的视频压缩框架最新研究成果是对现有深度学习视频压缩,只能利用少数的参考帧进行压缩的问题, 研究人员提出了重复自编码器和重复概率估计模型。

黄震坤介绍,这些技术目前都尚处于非常前沿的研究阶段,但拥有着非常广阔的应用前景:首先,采用深度学习网络替换视频压缩的混合编码框架,可以提高编码效率,在 WebRTC 中具有重要的应用价值;其次,深度强化学习网络对码率进行分配,将改善在使用 WebRTC 视频传输中的卡顿现象;第三,基于深度学习的带宽估计模型也将比传统的带宽估计方法更有优势。

结语

在实时音视频领域,视频压缩是非常重要的技术。随着5G基础设施的完善,新的视频应用场景不断涌现,视频压缩技术也在迭代。为了确保视频高质量和高传输效率,视频压缩技术要考虑存储、编解码、算力和带宽等因素在内的总成本,要在画质、码率和性能之间做平衡。随着 5G 基础设施的完善,新的视频应用场景不断涌现,视频压缩技术也会不断迭代创新。而融云将深度参与其中,引领发展!

【对“融云在WICC2021分论坛分享视频编码优化技术”发布评论】

版权及免责声明:
① 本网站部分投稿来源于“网友”,涉及投资、理财、消费等内容,请亲们反复甄别,切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质,仅供阅读,不构成具体实施建议,请谨慎对待。据此操作,风险自担。
② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频,版权均属本网站所有,任何媒体、网站或个人需经本网站许可方可复制或转载,并在使用时必须注明来源【硅谷网】或对应来源,违者本网站将依法追究责任。
③ 注明来源为各大报纸、杂志、网站及其他媒体的文章,文章原作者享有著作权,本网站转载其他媒体稿件是为传播更多的信息,并不代表赞同其观点和对其真实性负责,本网站不承担此类稿件侵权行为的连带责任。
④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容,涉及到侵权、违法等问题,请有关单位或个人速与本网站取得联系(联系电话:01057255600),我们将第一时间核实处理。
广告
相关
·互联网通信云崛起的“融云曲线” |融云
·党建百年融云献礼,重磅发布党建全场景通信解决
·30分钟接入SDK 融云是如何让开发者做到开箱即用
·融云年中大促,新老用户同享超值优惠!
·融云发布语聊房SDK 1.0 & Demo 满足开发者开
·融云音视频产品免费 20 万分钟 助力通信场景全搭
·技术人如何调研和选型第三方 SDK?全文干货!
·科技向善共克时艰 融云在疫情期间免费开放三大场
头条
报告显示中国增值电信业务经营许可企业共达106281家 报告显示中国增值电信业务经营许可企业共达10
2021年7月12日,中国信通院发布《国内增值电信业务许可情况分析报告(2021.6)》。报……
·微软Surface Duo价格大幅跳水:有锁版低至250
·报告显示中国增值电信业务经营许可企业共达10
·研究机构称iPhone 12 mini因为销量不佳可能已
·韩国5G普及率超过两成 韩国即将完全关闭2G服
·中国5G应用计划到2023年5G个人用户数超过5.6
图文
保持双零记录 北京电信圆满完成中国互联网大会通信保障任务
保持双零记录 北京电信圆满完成中国互联网
全国首个!上海电信5G助力打造全智能数字水稻种植示范区
全国首个!上海电信5G助力打造全智能数字水
高管被打脸?红米K20 Pro拆机:这元件和低端机一样
高管被打脸?红米K20 Pro拆机:这元件和低
苹果在华销量大降 苹果新机在华销量不及2018年
苹果在华销量大降 苹果新机在华销量不及201
热点
·高管被打脸?红米K20 Pro拆机:这元件和低端
·手机上突然出现了HD图标!这个图标代表什么意
·口碑爆棚的高逼格手机 萨陀satuo 9918好用吗
·优克联率先实现虚拟SIM卡5G接入 引领全球5G网
·魅族16th与小米MIX3拍照:白天完胜,夜拍也有
旧闻
·2018年手机圈的黑马 中国移动N5上手体验
·HDMI线缆认证计划全面支持包括8K在内的全部 H
·realme 蜘蛛侠电影定制礼盒7月9日正式开售,
·ZAKER手机市场Q1榜单:AI和5G将成手机行业竞
·告别传统交通卡,Samsung Pay京津冀交通卡免
广告
硅谷精选
保持双零记录 北京电信圆满完成中国互联网大会通信保障任务
保持双零记录 北京电信圆满完成中国互联网大会通信保
全国首个!上海电信5G助力打造全智能数字水稻种植示范区
全国首个!上海电信5G助力打造全智能数字水稻种植示范
报告显示中国增值电信业务经营许可企业共达106281家
报告显示中国增值电信业务经营许可企业共达106281家
暑期快乐刷剧看这里 北京电信限时送爱奇艺黄金会员
暑期快乐刷剧看这里 北京电信限时送爱奇艺黄金会员
砥砺前行十九载红色基因永传承 中国电信北京公司启航新征程
砥砺前行十九载红色基因永传承 中国电信北京公司启航
融云发布语聊房SDK 1.0 & Demo 满足开发者开箱即用需求
融云发布语聊房SDK 1.0 & Demo 满足开发者开箱即
关于我们·About | 联系我们·contact | 加入我们·Join | 关注我们·Invest | Site Map | Tags | RSS Map
电脑版·PC版 移动版·MD版 网站热线:(+86)010-57255600
Copyright © 2007-2021 硅谷网. 版权所有. All Rights Reserved. <备案号:京ICP备12003855号-2>