简介:快手特效团队为游戏主播“侠客红尘”打造高真实感虚拟人“红尘”,通过自研的3D扫描、动作捕捉及实时渲染技术,实现了虚拟人的实时驱动和高度互动,为创作者提供了更广阔的发挥空间。
在数字化技术日新月异的今天,短视频平台不断探索新技术以丰富创作者的表达方式。快手,作为国内领先的短视频平台,一直致力于通过技术创新提升创作者的发挥空间。近日,快手特效团队联合Y-tech技术团队,为知名游戏主播“侠客红尘”量身打造了一款高真实感的虚拟人形象——“红尘”。
这款虚拟人“红尘”不仅拥有精致的外观,更在直播中展现了极强的互动性和真实感。在“红尘”的直播首秀中,其面部动作和肢体动作都极为逼真,能够准确地传达在游戏中的喜怒哀乐等情绪。此外,“红尘”还可以自由切换发型和各种道具,甚至根据观众的弹幕反馈做出有趣的反应,如在被弹幕喷“菜”时会气得头变大,输掉游戏时会变出一个平底锅来接锅。这些新奇有趣的玩法吸引了大量观众的关注,直播首秀便吸引了近300万人观看,同时在线人数近5000人,涨粉近10万。
“红尘”的成功,离不开快手自研的先进技术。据项目技术总监马博士介绍,这套方案包括3D扫描、动作捕捉以及实时渲染等技术。通过这些技术,快手能够在一个100元左右的摄像头下,实时捕捉人的动态并几乎无延迟地驱动虚拟人。这次虚拟人识别驱动技术为业内顶级,其中面部捕捉技术可以和苹果arkit技术相媲美,而且并不需要采集深度信息。此外,系统中还使用了自动情绪增强模块,通过自动识别的驱动者情感,对虚拟人的面部表情动作进行自动调优,使虚拟角色更具表现力。
资深算法工程师郑博士进一步补充道,该项目在实时渲染效果上极大地接近了真实感,且在渲染效率上做了大幅优化,以能够完美支持直播和短视频场景。同时,在高真实感的皮肤材质生成方面,快手运用深度神经网络,将美术绘制的纹理进行风格转化,降低了美术素材的创建成本,同时提高了渲染的真实感。
对于主播“侠客红尘”而言,虚拟人“红尘”的引入无疑为她的直播带来了全新的体验。她表示,用了虚拟形象之后,和观众有了更好的互动体验。之前直播主要是围绕游戏展开,现在有了虚拟形象后,观众在关注游戏的同时,还能非常好地感受到她的情绪。这无疑为她的直播增添了更多的魅力和吸引力。
快手的这一创新举措,不仅为主播提供了更广阔的发挥空间,也为整个短视频行业带来了新的发展机遇。随着技术的不断进步和应用场景的不断拓展,虚拟人技术有望在更多领域得到广泛应用。例如,在快手的光合创作者大会上,快手就重点介绍了其AIGC数字人解决方案——快手智播。这一方案使得数字人制作更加便捷高效,最低只需要3分钟的视频和音频素材(5分钟以上更佳),就可以制作相应的数字孪生形象,同时快手还将提供整套的SaaS服务工具,不需要用户另外采购任何硬件设备,真正做到一键开播。
综上所述,快手自研的虚拟人技术不仅为主播提供了全新的表达方式,也为整个短视频行业带来了新的发展机遇。未来,随着技术的不断进步和应用场景的不断拓展,我们有理由相信,快手将继续引领短视频行业的创新发展潮流。同时,我们也期待更多的创作者能够利用这一技术创作出更多优质、有趣的内容,为观众带来更加丰富多样的视听体验。