CAD: Photorealistic 3D Generation via Adversarial Distillation

增加了AR/VR、机器人和游戏应用中对3D数据的需求，催生了能够合成高质量3D物体的强大生成管道。这些模型中的大多数依赖于分数蒸馏采样（SDS）算法，以优化3D表示，使渲染图像保持高概率，由预先训练的扩散模型评估。然而，在扩散模型产生的高维分布中找到正确的模式是具有挑战性的，通常会导致过度饱和、过度平滑和Janus状的伪影等问题。在本文中，我们提出了一种新的3D合成学习范式，利用预先训练的扩散模型。我们的方法不是专注于寻求模式，而是以对抗方式直接建模多视角渲染和扩散先验之间的分布差异，这解锁了基于单个图像和提示条件生成高保真和逼真的3D内容。此外，通过利用GAN的潜在空间和表达扩散模型先验，我们的方法促进了各种3D应用，包括单视图重建、高多样性生成和开放域中的连续3D插值。实验证明了我们的管道在生成质量和多样性方面相对于先前的工作的优越性。

本论文旨在解决在AR/VR、机器人和游戏应用中对3D数据的需求增加所带来的问题，即如何生成高质量的3D对象。同时，论文也试图解决Score Distillation Sampling (SDS)算法在高维分布中寻找正确模式的困难和相关问题。

与以往的研究不同，本论文提出了一种新的学习范式，利用预训练的扩散模型，直接在对抗性的方式下建模多视角渲染和扩散先验之间的分布差异，从而生成高保真和照片般逼真的3D内容。同时，通过利用GAN的潜在空间和表达性扩散模型先验，本论文还实现了单视图重建、高多样性生成和开放域中的连续3D插值等多种3D应用。

论文的实验设计了多个不同的任务和数据集，展示了提出方法在生成质量和多样性方面的优越性。论文还开源了代码，方便其他研究者进行进一步的研究。

在这个领域中，最近的相关研究包括：《Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。