要点:

• Meta 的 Codec Avatars Lab 提出了一种高保真度、可调光的虚拟化身合成方法。

• 该方法利用学习辐射传输和球面高斯实现全频率反射的实时再照明。

• 通过 Relightable Gaussian Codec Avatars 可以捕获3D 亚毫米细节一致。

站长之家（ChinaZ.com）12月9日 消息:Meta 的 Codec Avatars Lab 最近提出了一个名字 Relightable Gaussian Codec Avatars 该方法可合成光线可调的逼真虚拟头像。通过学习辐射传输和球面高斯，该方法实现了全频率反射的实时再照明。传统的头像合成方法存在一些挑战，如如何准确地表达人体头部的各种材料，以及如何准确地跟踪和建模运动中的底层几何。Relightable Gaussian Codec Avatars 基于3D，引入可重新照明的外观模型 解决了这些挑战的高斯几何模型。

论文地址:https://arxiv.org/pdf/2312.03704.pdf

项目主页:https://shunsukesaito.github.io/rgca/

Relightable Gaussian Codec Avatars 核心思想是利用学习辐射传输来表达人体头部的各种材料。因为人类的视觉对头部的外观非常敏感，所以需要一种方法来准确地表达不同的材料，如皮肤、头发和眼睛。该方法采用球面高斯实现全频率反射的实时重新照明，可捕获3D 亚毫米细节一致。此外，该方法还引入了基于3D的方法 使用高斯的可驱动化身 Gaussian Splatting 渲染复杂几何细节的技术。

Relightable Gaussian Codec Avatars 在实验中表现出令人印象深刻的结果。重建的虚拟人物可以有新的表情、视图和光线，包括点光源和高分辨率环境图。即使是眼睛里的光反射也能忠实地再现周围的环境，不会失去高频细节。该方法在几何表征和外观表征上都取得了优异的性能，能更好地塑造皮肤细节和头发，并能实现高频反射。实验结果显示，Relightable Gaussian Codec Avatars 在动态面部序列上捕捉头发和毛孔等亚毫米细节。

Relightable Gaussian Codec Avatars 实时3D推出 化身合成提供了一种高保真度、光线可调的方法。该方法可捕捉头部各种材料的细节，实现全频率反射的实时再照明。基于3D，引入可重新照明的外观模型 该方法能准确地表达人体头部的复杂特征，高斯几何模型。这种虚拟化身合成方法在元宇宙和虚拟现实中具有广阔的应用前景，有助于提高用户体验和现实感。

Relightable Gaussian Codec Avatars 实时3D创新是一种创新 化身合成法，具有保真度高、光线可调的特点。这种方法可以捕捉头部细节的亚毫米精度，通过学习辐射传输和球面高斯来表示人体头部的各种材料。实验结果表明，重建的虚拟人物可以有新的表情、视图和光线，并且可以忠实地再现周围的环境。Relightable Gaussian Codec Avatars 为实时3D 人像合成提供了先进的解决方案，预计将广泛应用于元宇宙和虚拟现实领域。