简介：小红书音视频架构团队在CVPR NTIRE竞赛中斩获冠亚军，通过图像算法提升短视频与直播体验质量。文章将深入探讨其技术方案、应用场景及业务收益，展现技术实力和创新精神。
近年来，随着短视频和直播的迅猛发展，小红书作为领先的社交媒体平台，不断提升用户在这些领域的体验质量变得尤为重要。近日，在CVPR NTIRE 2024 Challenges中，小红书音视频架构团队图像算法组凭借出色的技术实力，在两项重要竞赛中分别获得了冠军和亚军，这一成就不仅彰显了小红书在图像处理领域的创新能力，更为其短视频与直播业务的质量提升提供了有力支持。
NTIRE（New Trends in Image Restoration and Enhancement）是近年来在图像处理和底层视觉领域最具影响力的全球性研讨会之一，由苏黎世联邦理工学院计算机视觉实验室主办。该研讨会通常涵盖图像修复、增强、质量评价等多个底层视觉竞赛，旨在鼓励研究人员探索计算机视觉中图像恢复和增强的新技术和新方法。小红书音视频架构团队图像算法组此次参赛，正是为了在这一领域取得突破，提升短视频和直播的基础体验质量。
在RAIM（Restore Any Image Model in the Wild Challenge）竞赛中，小红书团队获得了第二名的好成绩。他们采用了当下最先进的生成式复原模型SUPIR，来提高图像复原的主观视觉质量。然而，基于扩散模型的方法在图像复原的保真度上存在挑战，加之训练测试数据分布差异较大，SUPIR在部分测试数据中会存在明显失真现象。为了克服这一难题，小红书团队进一步利用DeSRA方法，通过检测SUPIR模型输出效果不佳的区域，再设计一个Fusion模型优化上述区域，从而实现整体复原效果提升。这一方案在竞赛中取得了显著的成效，展现了小红书团队在图像处理领域的深厚功底和创新精神。
在S-UGC VQA（Short-form UGC Video Quality Assessment Challenge）竞赛中，小红书团队与上海交通大学翟广涛教授课题组联合参与，一举夺魁。他们采用了由快手授权采集和提供的大型短视频质量评价数据集，并联合中国科学技术大学进行数据集标注和标准化。通过这一数据集，小红书团队训练出了能够准确评估短视频质量的模型，为提升短视频体验质量提供了有力保障。
小红书团队在NTIRE竞赛中取得的技术成果，不仅为学术研究做出了贡献，更为其短视频与直播业务带来了实际收益。通过图像算法的应用，小红书能够有效提升短视频和直播的清晰度、色彩还原度和整体视觉效果，从而提升用户体验和满意度。同时，这些算法还能够自动识别和修复视频中的瑕疵和缺陷，减少人工干预和成本。
在短视频领域，小红书通过图像算法的应用，能够自动优化视频质量，提升视频的吸引力和传播力。这有助于吸引更多用户上传和观看短视频，增加用户粘性和活跃度。在直播领域，图像算法的应用能够提升直播画面的清晰度和流畅度，减少卡顿和延迟现象，从而提升用户的观看体验和互动性。
展望未来，小红书将继续深耕图像处理领域，不断推出新的算法和技术方案，提升短视频和直播的体验质量。同时，他们也将积极与学术界和产业界合作，共同推动图像处理技术的发展和创新。通过不断努力，小红书有望成为短视频和直播领域的领军企业，为用户带来更加优质、便捷和愉悦的体验。
在这次竞赛中，小红书团队所展现出的技术实力和创新精神，与千帆大模型开发与服务平台的核心价值不谋而合。千帆大模型开发与服务平台致力于提供高效、易用、可扩展的大模型开发工具和平台，帮助企业和研究机构快速构建和部署大模型应用。如果小红书能够借助千帆大模型开发与服务平台的力量，将进一步加速其图像处理技术的研发和应用进程，为用户带来更加出色的短视频和直播体验。
综上所述，小红书在CVPR NTIRE竞赛中斩获冠亚军的技术成果，不仅为其短视频与直播业务的质量提升提供了有力支持，更为其未来发展奠定了坚实基础。我们有理由相信，在不久的将来，小红书将成为短视频和直播领域的佼佼者，为用户带来更加优质、便捷和愉悦的体验。