Meta申请新专利 将优化虚拟现实中的口型同步

Meta 提交的一项新专利展示了可以为视频游戏和 VR 应用程序带来更逼真的口型同步和面部动画的技术。通过这些更逼真的面部动作创建 NPC 和为玩家化身提供更逼真和身临其境的体验，包括在 VR 游戏中。

该专利详细介绍了将用户语音转换为逼真的口型同步和面部动画的多种方法，使开发人员可以灵活地选择使用该系统的方式。专利中概述的一种方法涉及使用多人在阅读 50 个不同的语音平衡句子时的音频和视频记录数据集，系统在他们阅读每个句子时跟踪他们的面部表情。通过跟踪个人在阅读每个句子时的面部和嘴巴如何移动，系统可以从这些动作中提取并将它们混合在一起用来让角色的动画更加逼真，甚至包括眨眼和眉毛抬起等细微动作。

除了能够基于现有数据集生成面部动画和口型同步之外，该专利还描述了该系统如何使用集成到 VR 耳机中的摄像头来做同样的事情。此功能可以让 VR 用户拥有能够准确模仿自己面部表情的头像，从而在多人游戏和《VRchat》等社交 VR 体验中获得更加逼真和沉浸的体验。