GET3D

GET3D简介

GET3D是由NVIDIA Toronto AI Lab开发的3D生成模型，专注于从2D图像学习生成高质量的3D纹理形状。该技术能够创建具有任意拓扑结构、丰富几何细节和高保真纹理的3D网格模型，适用于直接消费的3D渲染引擎。

GET3D在NeurIPS 2022上发表，标志着在3D生成领域的一个重要进展。该研究团队通过结合最新的可微表面建模、可微渲染以及2D生成对抗网络的成功经验，推动了3D内容自动生成技术的发展。

GET3D网址：https://research.nvidia.com/labs/toronto-ai/GET3D/

GET3D技术细节

• 3D SDF与纹理场生成：GET3D通过两个潜在代码生成3D SDF（有符号距离函数）和纹理场，利用DMTet算法从SDF提取3D表面网格，并在表面点查询纹理场获取颜色。
• 基于对抗性训练：采用对抗性损失进行训练，通过光栅化的可微渲染器生成RGB图像和剪影，并利用两个2D判别器分别对RGB图像和剪影进行真伪分类。

GET3D功能

• 高质量3D网格生成：能够生成具有复杂拓扑、丰富几何细节和高保真纹理的3D网格，适用于各种下游应用。
• 几何与纹理的解耦：模型在生成过程中实现几何与纹理的良好解耦，支持通过改变纹理潜在代码或几何潜在代码独立调整。
• 多样形状的无缝过渡：支持对不同类别形状进行平滑过渡，展示了模型的多样化生成能力。

GET3D应用领域

• 虚拟现实和游戏开发：直接生成可以用于游戏和虚拟现实应用的3D模型，加速内容创作。
• 设计和视觉效果：提供工业设计、电影和广告行业中复杂物体和场景的快速原型制作能力。