6813个户型，几何与纹理细节丰富，阿里巴巴联合学界开源大型3D场景数据集

2020 年 7 月 26 日 机器之心

机器之心专栏

机器之心编辑部

源于阿里巴巴淘系的工业生产流程，兼具质量与数量，模型包含丰富的几何与纹理细节，阿里巴巴联合学界开源的场景布局数据集 3D-FRONT 将填补大规模高质量 3D 场景布局数据集空白的现状。

近期，阿里巴巴淘系技术部门的赵斌强、贾荣飞等与西蒙弗雷泽大学的张皓教授以及中科院计算所的高林、张凌霄多方共同合作，在 CVPR 2020 的 Workshop“Learning 3D Generative” 中开源了 大型 3D 场景数据集 3D-FRONT（3D Furnished Rooms with layOuts and semaNTics），以填补目前学界在大规模高质量 3D 场景布局数据集上空白的现状 。其中，张皓教授是 CVPR 2020“Learning 3D Generative”Workshop 的核心组织者之一。

以下为 3D-FRONT 数据集中一个典型场景数据的漫游视频：

接下来我们来看 3D-FRONT 的技术细节。

3D 场景数据将推动基于 AI 的 3D 应用研究

图 1：三维室内场景研究与应用。

3D 与 2D 场景理解是打造未来 AI 世界所研究的基础核心课题，涵盖机器人室内寻路、线上商城、室内设计等室内场景相关的应用。这些应用的背后涉及到语义分割、物体识别、场景生成等深度学习相关的理论与技术，而这些技术都是需要依赖大量数据来训练相关深度模型从而发挥作用。

因此， 高质量的大型 3D 场景数据集对于上述相关研究的推动具有重大意义 。

然而，现阶段学术界亟须大规模高质量的 3D 场景数据集以支持和推动数据驱动的智能化 3D 场景的相关研究，特别是具有高质量布局与室内设计的 3D 场景数据集。

目前，相关的数据集有，例如：普林斯顿大学提出的 SUNCG、斯坦福大学提出的 ScanNet、上海科技大学提出的 structured3D 等，但是这些数据集存在场景内容不够丰富，数据规模不够庞大的问题。比如，structured3D 数据集中虽然提供了 3 千多个场景，但是未能提供具有高质量纹理的三维模型数据。

图 2：3D-FRONT 数据采集流程。

阿里巴巴作为世界级的电商互联网巨头，其官方家装家居设计平台 - 躺平设计家积累了海量高质量家居设计方案。

以这些真实家居场景为基础，阿里巴巴淘系技术部结合 3D 人工智能技术初步打造了场景化数字营销，推出了智能设计搭配服务，并创造了大量精美场景布局与设计数据。这些场景数据很好地契合了学术界的需求。

一言以蔽之，3D-FRONT 数据集源于阿里巴巴淘系的工业生产流程，兼具质量与数量。

3D-FRONT 填补学术界 3D 场景布局数据空白

图 3：3D-FRONT 数据集属性。

3D-FRONT 包含 6,813 个真实户型，平均每个户型包含 7 个房间场景，其中 19,775 个房间场景具有人工验证过的精美室内设计信息 。每个房间内涉及的家具均来自于阿里巴巴已开源的 3D 模型数据集 3D-FUTURE（3D FUrniture shapes with TextURE），该数据集的模型都包含丰富的几何与纹理细节。

相比于其他 3D 场景数据集， 3D-FRONT 在以下指标处于领先地位，包括户型数目、房间场景数目和房间类型等，并且还提供了高质量硬装模型和家具模型 。

场景中的 3D 几何模型具有丰富的几何细节与高质量的纹理图，这些几何模型来自于阿里巴巴已开源的 3D 模型库数据集 3D-FUTURE。

图 4：3D-FRONT 与其他场景数据集对比。

目前，3D-FRONT 与 3D-FUTURE 数据集已对外开放并提供下载，同时，淘系技术部与今年 3 月同步发起第一届阿里巴巴 3D 人工智能挑战赛，目前初赛报名阶段已结束，共吸引来自全球 1300 多支队伍报名，共同参与并建立学术研究与工业应用的桥梁。大赛将于 8 月 21 日决出赛道名次，后续结果敬请关注。

3D-FRONT 数据集主页：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset
3D-FUTURE 数据集主页：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future
Learning 3D Generative Models CVPR 2020 Workshop: https://learn3dgen.github.io/

3D-FRONT 数据集贡献者

3D-FRONT数据集的贡献者共有7位，分别是来自阿里巴巴的Huan Fu、Bowen Cai、贾荣飞和赵斌强，中科院计算技术研究所的高林和张凌霄，以及西蒙弗雷泽大学的张皓。