简介:淘宝音视频技术团队通过自研技术解决了内容电商在画质和流畅度方面的问题,实现了超低码率的高清直播和短视频播放,提升了用户体验,助力淘宝内容化战略。
在内容电商领域,优质的货品、实惠的价格、精致的布景以及有趣的内容输出无疑是吸引消费者的关键要素。然而,这些要素都必须基于两个重要的前提:画质要高清,播放要流畅。曾经,有不少商家和主播因为直播间画质较差的问题而苦恼,不了解如何实现高画质开播。幸运的是,淘宝音视频技术团队通过一系列前沿技术,成功解决了这一难题。
淘宝音视频技术团队自研了一系列音视频技术,包括视频编码、视频增强处理、视频质量评价等,这些技术共同构成了淘宝内容电商的技术基石。通过这些技术,淘宝实现了超低码率的1080p高清直播和短视频播放。改造后的画面质感得到了显著提升,从“标清”飞跃到了“超清”,人像肤色变得更自然,商品色彩也更加准确。这种肉眼可识别的提升,极大地增强了消费者的购物体验。
从技术层面来看,淘宝音视频技术团队面临的挑战是复杂而多变的。一方面,消费者对于视频画质的需求越来越高,要求平台提供高清、流畅的视频体验;另一方面,平台还需要控制从视频生产到下发的整体成本,以应对千变万化的市场需求和业务体量爆炸式增长所带来的挑战。为此,淘宝音视频技术团队持续进行技术打磨和算法创新,力求在高质量和低成本之间找到最佳平衡点。
在具体的技术实现上,淘宝音视频技术团队采用了多种手段。例如,在视频编码方面,团队自研了S265和S266编码器,提高了压缩效率,降低了流量成本,同时保障了画质没有明显损失。在视频增强处理方面,团队自研了STaoVideo视频增强方案,通过噪声去除、色彩增强、细节增强、亮度增强、超分、超帧、HDR等手段,显著提升了视频画质。此外,团队还研发了无参考视频质量评价模型(MD-VQA),用于对视频质量进行客观评价,为视频处理提供了有力支持。
除了技术实现上的创新,淘宝音视频技术团队还注重与业务场景的紧密结合。例如,在淘宝直播中,团队通过接入低延时传输网络GRTN,实现了全链路RTC传输,使得直播视频传输的端到端时延降低到了1秒以内。这一技术突破不仅提升了直播的流畅度,还为淘宝不断涌现的业务形态(如《中国新主播2023》大赛的“多人连麦PK”活动)提供了坚实的底层支持。
值得一提的是,淘宝音视频技术团队的技术实力在国际权威比赛中也得到了充分验证。团队在CVPR NTIRE(New Trends in Image Restoration and Enhancement)等顶级技术比赛中屡获佳绩,展示了其在音视频核心技术领域的领先地位。
展望未来,随着消费者对视频画质和流畅度的要求不断提高,以及内容电商市场的持续繁荣,淘宝音视频技术团队将继续深耕音视频技术领域,不断推出创新技术,为淘宝内容电商的发展提供更加强有力的支持。同时,团队的技术能力和产品能力也将被集团其他业务复用,为整个集团的数字化转型贡献力量。
在这个过程中,千帆大模型开发与服务平台作为淘宝音视频技术团队的重要支撑之一,将发挥关键作用。该平台提供了强大的模型开发和部署能力,使得团队能够更高效地研发和优化音视频技术。通过千帆大模型开发与服务平台,团队可以更加便捷地将新技术应用于实际业务场景,从而不断提升用户体验和业务价值。