近日，阿里云机器学习PAI团队发布一键端侧超分工具，可实现在设备和网络带宽不变的情况下，将移动端视频分辨率提升1倍，最高可增强至1440p，将大幅提升终端用户的观看体验，该技术目前已在优酷、夸克、UC浏览器等多个APP中广泛应用。
观看上图不难发现，左侧画面和右侧画面的清晰度有极大差别。事实上，两侧画面的视频播放源完全相同，区别在于右侧画面使用了特殊的“一键超分”工具，从而实现清晰度从540p到1080p的华丽转身。
超分，即“超分辨率”，是指通过深度学习方式将低分辨率图片或视频的清晰度提高，获得更高分辨率，进而达到更好的观看体验和识别准确率。通过特殊的卷积神经网络（CNN）对已知的高分辨率资源进行学习，即可实现对任意低分辨率图像和视频资源进行超分处理的模型。
在移动互联网普及并成为主流的今天，用户对“上网冲浪”的体验愈加关注，更快速、更高清也成为APP开发者们不懈的追求。在“更高清”这个方向，纯软件化的优化方案——端侧超分进入开发者的视野：通过在手机、平板电脑等移动设备上运行超分算法，弥补设备硬件、网络带宽、原始素材等客观条件限制，进而获得高画质的图像和视频。但是，受制于端侧算力、设备兼容等问题，端侧超分方案规模化落地并不像想象中简单。
阿里云机器学习PAI 团队近日发布搭载PAI-AISR 模型的一键端侧超分工具，通过对模型进行量化剪枝等加速优化、以及对端侧多设备（CPU/GPU/NPU）进行异构计算和内存I/O优化等，具备以下优势：
超高画质体验：在移动端可将视频分辨率增强至最高1440p，同时进行锯齿和底噪抑制、色彩增强等提升，极大改善观看体验。
体积小，易适配：PAI-AISR 算法最低只需要50KB，不占空间；功耗低至每小时50-100ma。
低延迟，高帧率：低至20ms 以内的处理延迟，以及高达30 fps 的帧率，适用于直播、短视频、视频通话、实时监控等各种场景。
多平台多机型兼容：支持跨平台使用，在iOS 系统和安卓系统环境下均无缝连接，甚至在IoT 设备（如摄像头、电视机、视频会议设备等）均可平稳支持。
数据格式兼容：支持所有主流图片和视频格式。
对移动APP开发者来说，PAI端侧一键超分工具主要具备以下两点价值。首先，使用端侧超分可以减少数据下发过程中CDN的消耗，实现降本提效。其次，当客户端网络不稳定或者带宽受限（例如处于3G状态下，或者处于地铁、电梯等信号不稳定的环境中），导致视频播放卡顿时，端侧超分技术可以让终端用户的浏览体验更顺滑。同时由于整个推理过程在端侧进行，避免了云端推理成本高、时延长等问题的出现。
目前，PAI一键端侧超分方案已经在优酷、夸克、UC浏览器等多个移动应用成功落地，在不断提升终端用户体验的同时，带来应用研发效率的提升。
|
