本文转载自93913,如需转载请注明出处。
据UploadVR报道,Meta“Codec Avatars”现在可以通过iPhone扫描生成。
Facebook于2019年3月首次展示了“Codec Avatars”,其基于一个配置有5个摄像头(2个摄像头内部观察、3个摄像头外部观察)的原型VR头显构成的多神经网络而驱动,而经过多次例如“更逼真的眼睛”、“支持眼动追踪和麦克风输入”等优化改进,Codec Avatars 2.0版本已接近具备完全真实感。
以往,生成一个单独的“Codec Avatar”需要通过“MUGSY”专用捕获设备和171个高分辨率摄像机共同完成,如今,Meta的最新研究摆脱了这一要求,基于配备了前置深度传感器的智能手机(例如带有FaceID的iPhone),用户扫描面部后便能生成虚拟化身(可同时复制65个面部表情)。
研究人员称,面部扫描过程平均只需3分半钟,而实际生成具有完整细节的虚拟化身则需要6个小时,不过Meta“Codec Avatars”虚拟化身生成过程或通过云端执行,而无须通过用户设备。
那么,过去需要100多个摄像头的捕获成像,现在是如何做到只需要一部手机就能达成呢?这其中的诀窍在于“超网络”(hypernetwork、权重神经网络),为此研究人员通过采用先进的捕获设备(类似于MUGSY,但只有90个摄像头)扫描255个不同个体的面部以训练“UPM超网络”。
尽管已有其他研究人员展示了基于智能手机扫描的虚拟化身,但Meta声称其结果是最先进的,目前,该系统还无法处理眼镜及长发,并且仅限于扫描面部。
当然,要达到产品交付的保真度,Meta还有很长的路要走,今天的“Meta Avatars”具有鲜明的卡通艺术风格,且虚拟角色的真实性实际上会随着时间的推移而降低,这使得其可能更适合通过Quest 2驱动的「Horizon Worlds」等大型社交应用。
最终,“Codec Avatar”会成为一个单独的选项,而不是当今卡通化身的直接更新,在接受Lex Fridman采访时,Meta首席执行官扎克伯格描述了这样一个未来,你可能会在休闲游戏中采用“表现主义”化身,而在工作会议中采用“现实主义”化身。今年4月 ,“Codec Avatar”负责人Yaser Sheikh曾表示,暂且无法预测该系统的具体推出时间。