3DGS pretrained datasets

我们提供了8个智能手机捕获的3DGS预训练数据集，位于[`data`](./data/)文件夹中。这些数据集包括：**椭圆形叶子**：青椒（9）、橡胶树（14）、黄金葛（5）、黑珍珠椒（11）、红宝石叶（7）和白旗灌木（27）；**复杂形态**：木槿（多裂叶，12）和幸运竹（细长叶，11）。括号中的数字表示叶子数量。

We provide 8 pre-trained 3D Gaussian Splatting (3DGS) datasets captured by smartphones, which are located in the [`data`](./data/) folder. These datasets include two categories: **Oval Leaves**: green bell pepper (9 leaves), rubber tree (14 leaves), pothos (5 leaves), black pearl pepper (11 leaves), ruby leaf (7 leaves), and white flag shrub (27 leaves); **Complex Morphologies**: hibiscus (lobed leaves, 12 leaves) and lucky bamboo (slender leaves, 11 leaves). The numbers in parentheses indicate the quantity of leaves for each corresponding sample.

原始信息汇总

LeafFit 数据集概述

数据集基本信息

• 数据集名称：LeafFit
• 核心内容：用于从植物3D高斯泼溅（3DGS）模型创建可编辑、可实例化网格资产的8个智能手机拍摄的预训练数据集。
• 关联研究：Eurographics 2026 论文《LeafFit: Plant Assets Creation from 3D Gaussian Splatting》
• 作者：Chang Luo, Umetani Nobuyuki
• 机构：The University of Tokyo

数据集内容与构成

数据集位于仓库的 data 文件夹中，包含8个预训练的3DGS植物数据集。具体构成如下：

椭圆形叶片植物

• Green Pepper (9片叶子)
• Rubber Tree (14片叶子)
• Golden Pothos (5片叶子)
• Black Pearl Pepper (11片叶子)
• Ruby Leaf (7片叶子)
• White Flag Bush (27片叶子)

复杂形态植物

• Cotton Rose (多裂叶片，12片叶子)
• Lucky Bamboo (细长叶片，11片叶子)

数据集用途与方法

• 主要目的：作为LeafFit管道的输入数据，该管道将植物的3DGS表示转换为与游戏引擎兼容的可编辑、实例化网格资产。
• 关键技术：通过分割叶片并对每个实例通过可微分移动最小二乘法（MLS）变形拟合模板网格，以解决3DGS的高内存占用问题。
• 处理结果：显著减小数据尺寸，支持参数级编辑，并可通过顶点着色器实时评估变形以实现高效的运行时性能。

自定义数据说明

对于自定义数据集，用户可使用GoF训练自己的植物模型，并使用高斯编辑器（如SuperSplat）从训练好的高斯模型中裁剪出植物部分，作为本方法的输入。

相关资源链接

• 论文：Arxiv, PDF
• 项目主页：https://netbeifeng.github.io/LeafFit/
• 演示视频：YouTube

搜集汇总

数据集介绍

构建方式

在植物三维建模领域，LeafFit项目通过智能手机采集的植物图像构建了八个预训练的3D高斯泼溅数据集。这些数据集涵盖了椭圆叶片形态的绿椒、橡胶树、黄金葛等六种植物，以及具有复杂形态特征的木槿和幸运竹。数据集的构建过程涉及使用高斯不透明度场技术对植物进行三维重建，随后通过高斯编辑器裁剪出植物主体，为后续的叶片分割与模板网格拟合提供高质量的输入数据。

特点

该数据集的特点在于其专注于植物叶片的高精度三维表示，不仅包含了常见的椭圆叶片形态，还涵盖了多裂片与细长叶片等复杂结构。每个数据集均标注了叶片数量，为植物形态学研究提供了量化基础。数据集采用3D高斯泼溅表示，能够高效捕捉植物的几何与外观细节，同时通过LeafFit流水线可进一步转换为轻量化的实例化网格资产，显著降低了存储与计算开销，并支持参数化编辑与实时渲染。

使用方法

使用该数据集时，研究人员需首先配置指定的Python环境并安装依赖库，包括PyTorch与PyTorch3D等。数据集可直接用于LeafFit流水线，通过其叶片分割与可微分移动最小二乘变形算法，将3D高斯泼溅数据转换为可编辑的网格实例。对于自定义植物数据，用户可参照提供的方法，先使用高斯不透明度场进行训练与裁剪，再输入至本框架进行处理，从而实现从真实采集到游戏引擎兼容资产的完整工作流。

背景与挑战

背景概述

在计算机图形学与植物建模领域，高保真植物资产的创建一直是实现自然场景真实感渲染的核心挑战。东京大学的研究团队于2026年提出的LeafFit项目，旨在通过3D高斯泼溅技术，将植物扫描数据转化为可编辑的网格资产，以适配游戏引擎等实时应用需求。该项目由Chang Luo与Umetani Nobuyuki主导，其核心研究问题聚焦于解决传统3DGS模型内存占用过高、缺乏结构化编辑能力的问题，通过引入可微分移动最小二乘变形技术，实现了叶片实例化与参数化编辑，显著推动了植物数字资产在虚拟环境中的高效生成与应用。

当前挑战

LeafFit数据集所针对的领域挑战在于植物形态的复杂性与多样性，尤其是叶片几何结构的精细重建与实例化分割，这要求模型能够准确捕捉从椭圆叶片到多裂形态的广泛变异。在构建过程中，研究团队面临数据采集与处理的难题，包括智能手机捕获的3DGS预训练数据在噪声抑制、遮挡处理以及点云配准方面的技术瓶颈，同时还需确保生成网格在保持视觉逼真度的前提下，实现内存占用的显著降低与实时渲染的兼容性。

常用场景

经典使用场景

在植物建模与计算机图形学领域，3DGS预训练数据集为基于3D高斯泼溅（3DGS）的植物重建与编辑提供了关键的数据基础。该数据集最经典的使用场景是作为LeafFit等先进管道的输入，用于将密集的3D高斯点云转换为轻量级、可实例化编辑的网格资产。研究人员通过该数据集，能够高效地处理具有复杂形态的植物叶片，如椭圆叶形的绿胡椒或多裂叶的朱槿，从而在游戏引擎或虚拟环境中实现高质量的植物资产创建与优化。

实际应用

在实际应用层面，3DGS预训练数据集直接服务于数字内容创作与交互式娱乐产业。例如，在游戏开发与虚拟现实场景中，该数据集可用于快速生成逼真且可交互的植物模型，支持环境艺术家的资产创建工作流。通过LeafFit管道转换后的网格资产兼容主流游戏引擎，允许实时渲染与动态调整，从而提升开放世界或模拟训练项目中植被系统的真实感与性能效率，降低了手工建模的成本与时间。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在植物特定三维表示与编辑技术的创新。例如，LeafFit本身作为核心管道，集成了高斯泼溅分割与模板变形算法；同时，该数据集构建于高斯不透明度场（GoF）等前期工作之上，促进了从神经辐射场到高效高斯表示的过渡。此外，相关方法如SuperSplat编辑器也与之协同，推动了用户友好型高斯编辑工具的发展，为植物计算图形学领域提供了连贯的技术生态。