Articulated 3D objects are central to many applications in robotics, AR/VR, and animation. Recent approaches to modeling such objects either rely on optimization-based reconstruction pipelines that require dense-view supervision or on feed-forward generative models that produce coarse geometric approximations and often overlook surface texture. In contrast, open-world 3D generation of static objects has achieved remarkable success, especially with the advent of native 3D diffusion models such as Trellis. However, extending these methods to articulated objects by training native 3D diffusion models poses significant challenges. In this work, we present FreeArt3D, a training-free framework for articulated 3D object generation. Instead of training a new model on limited articulated data, FreeArt3D repurposes a pre-trained static 3D diffusion model (e.g., Trellis) as a powerful shape prior. It extends Score Distillation Sampling (SDS) into the 3D-to-4D domain by treating articulation as an additional generative dimension. Given a few images captured in different articulation states, FreeArt3D jointly optimizes the object's geometry, texture, and articulation parameters without requiring task-specific training or access to large-scale articulated datasets. Our method generates high-fidelity geometry and textures, accurately predicts underlying kinematic structures, and generalizes well across diverse object categories. Despite following a per-instance optimization paradigm, FreeArt3D completes in minutes and significantly outperforms prior state-of-the-art approaches in both quality and versatility. Please check our website for more details: https://czzzzh.github.io/FreeArt3D


翻译:关节化三维物体是机器人学、增强现实/虚拟现实(AR/VR)以及动画领域中众多应用的核心。近期针对此类物体的建模方法,要么依赖于需要密集视角监督的基于优化的重建流程,要么依赖于前馈生成模型,这些模型往往只能生成粗略的几何近似且常忽略表面纹理。相比之下,静态物体的开放世界三维生成已取得显著成功,尤其是在原生三维扩散模型(如Trellis)出现之后。然而,通过训练原生三维扩散模型将这些方法扩展到关节化物体面临着重大挑战。本文提出FreeArt3D,一个用于关节化三维物体生成的免训练框架。FreeArt3D并非在有限的关节化数据上训练新模型,而是将预训练的静态三维扩散模型(例如Trellis)重新用作强大的形状先验。该方法通过将关节化视为一个额外的生成维度,将分数蒸馏采样(SDS)扩展至三维到四维领域。给定在不同关节状态下捕获的少量图像,FreeArt3D联合优化物体的几何形状、纹理和关节参数,而无需进行特定任务的训练或访问大规模关节化数据集。我们的方法能够生成高保真度的几何形状和纹理,准确预测底层的运动学结构,并在多样化的物体类别上表现出良好的泛化能力。尽管遵循逐实例优化的范式,FreeArt3D能在数分钟内完成,并在质量和多功能性上显著优于先前的最先进方法。更多详情请访问我们的网站:https://czzzzh.github.io/FreeArt3D

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员