Phlowers

Name: Phlowers
Creator: 京都大学信息学研究科
Published: 2025-12-19T02:50:08+08:00

arXiv2025-12-19 更新2025-12-20 收录

参数估计

具身视觉

数据链接：

https://vision.ist.i.kyoto-u.ac.jp/research/m-phygs/数据链接链接失效反馈

官方服务：

资源简介：

Phlowers是由京都大学构建的首个多材料物理参数估计数据集，聚焦于真实世界中人与花朵的交互场景。该数据集通过稀疏视角视频捕捉花朵在自然状态下的动态形变，并结合密集视角的静态3D高斯点云重建，旨在提供复杂多材料物体的力学参数（如杨氏模量、密度）标注。其数据包含花朵受重力及外力作用下的连续运动序列，用于训练和评估M-PhyGs模型对异质材料分割与参数联合估计的能力，推动具身视觉领域对非刚性物体动态预测的研究。

Phlowers is the first multi-material physical parameter estimation dataset developed by Kyoto University, focusing on real-world human-flower interaction scenarios. This dataset captures dynamic deformations of flowers in their natural state via sparse-view videos, paired with dense-view static 3D Gaussian point cloud reconstruction, and aims to provide annotated mechanical parameters for complex multi-material objects, such as Young's modulus and density. The dataset contains continuous motion sequences of flowers subjected to gravity and external forces, which are utilized to train and evaluate the M-PhyGs model’s capacity for heterogeneous material segmentation and joint parameter estimation, thereby advancing research on dynamic prediction of non-rigid objects in the embodied vision field.

提供机构：

京都大学信息学研究科

创建时间：

2025-12-19

原始信息汇总

M-PhyGs 数据集概述

数据集名称

M-PhyGs: Multi-Material Object Dynamics from Video

数据集简称

Phlowers dataset (physics of flowers)

数据集简介

Phlowers 是一个专注于真实花朵作为代表性且具有挑战性的自然多材料物体的新颖数据集。该数据集包含 10 种花朵的真实多视角视频，用于评估多材料物理参数估计这一挑战性任务的准确性。

数据集内容

数据规模：包含 10 种花朵的数据。
数据采集：对于每种花朵，从 5 个不同视角拍摄了人将花朵插入花插（flower frog）的视频。每个视频至少包含 100 帧。
数据标注与处理：
- 使用 COLMAP 从静态场景的密集视图捕获中估计相机内参和外参。
- 使用 ChArUco 标定板对齐坐标尺度和旋转。
- 使用时码同步视频。

数据集用途

作为评估多材料物理参数估计方法准确性的新平台。

结果展示

数据集详情页面展示了使用 M-PhyGs 方法得到的一系列结果，包括：

材料参数估计：估计的每段材料参数形成大致与不同物体部分对齐的聚类。
序列内动态预测：使用参数估计对未见交互进行动态预测的定性结果可视化，展示了训练数据及其后续序列的预测。
跨序列动态预测：展示与训练数据不同的序列的动态预测。
方法对比：M-PhyGs 与 OmniPhysGS、PhysDreamer、Pixie、Spring-Gaus、gs-dynamics、GIC 等方法在观测动态上的对比结果。

相关资源

论文：M-PhyGs: Multi-Material Object Dynamics from Video
资源链接：提供了 arXiv、视频和项目页面的链接（在原始 HTML 中以 [ arXiv ][ video ][ project ] 形式表示）。

搜集汇总

数据集介绍

构建方式

在计算机视觉与机器人学领域，对多材质物体动态行为的精准预测是推动具身智能发展的关键挑战。Phlowers数据集的构建旨在为这一复杂任务提供真实世界的评估平台，其采集过程融合了密集与稀疏视角的协同捕获。研究团队首先对静态状态下的花朵进行多视角密集扫描，利用3D高斯泼溅技术重建其精细几何与外观；随后，通过五台相机从稀疏视角录制人手与花朵交互的动态视频，每段视频包含至少100帧，并借助COLMAP进行相机参数标定与时间同步，确保了数据在时空维度上的一致性。

使用方法

Phlowers数据集主要用于评估多材质物体物理参数估计方法的准确性，其使用遵循分析-合成的范式。研究者可基于数据集提供的动态视频与静态扫描数据，利用如M-PhyGs等方法联合分割物体材质区域并优化其力学参数；通过将估计参数输入物理仿真器，预测物体在未见交互中的动态响应，并在后续帧或跨序列中验证预测与真实观测的一致性。评估指标包括PSNR、IoU与倒角距离等，从而量化材料估计的可靠性，为视觉动力学建模领域提供严谨的基准平台。

背景与挑战

背景概述

在计算机视觉与机器人学领域，准确预测物体在未知物理交互下的动态行为是实现高级场景理解与操作规划的关键。传统方法多局限于单一材质物体或简化拓扑结构，难以应对现实世界中复杂多材质对象的动力学建模。为此，京都大学信息学研究科的研究团队于2025年提出了Phlowers数据集，作为评估多材质物体物理参数估计任务的首个专用平台。该数据集聚焦于花朵这类典型多材质自然物体，通过稀疏视角拍摄的人与花朵交互视频，旨在推动视觉动力学建模向更具现实复杂性的方向发展。Phlowers的创建不仅填补了多材质物体物理参数估计数据集的空白，也为后续研究提供了可靠的基准测试环境。

当前挑战

Phlowers数据集所针对的核心领域问题在于多材质物体物理参数估计，其挑战主要体现在两个方面。首先，在领域问题层面，现实世界中的物体往往由多种材料构成，各部件具有不同的力学特性，且几何结构复杂，这导致传统基于单一材质假设或简化拓扑的方法无法准确建模其整体动力学行为。其次，在数据集构建过程中，研究者面临多重技术难题：如何从稀疏视角视频中同时实现材料分割与连续介质力学参数恢复；如何在动力学模拟中有效纳入重力影响以反映真实物理状态；以及如何设计高效的优化策略以处理长序列观测带来的误差累积与计算成本问题。这些挑战共同构成了该数据集在推动视觉动力学建模研究中的关键障碍。

常用场景

经典使用场景

在计算机视觉与机器人学领域，Phlowers数据集为多材料物体动力学建模提供了关键实验平台。该数据集聚焦于真实花朵这一典型多材料自然物体，通过稀疏视角拍摄的人与花朵交互视频，结合静态密集视角重建的3D高斯表示，为研究复杂材料组成的非刚性物体动力学提供了标准化基准。其经典使用场景在于评估和验证多材料物理参数估计方法的准确性，例如通过分析视频序列中花朵茎、叶、花瓣等不同材料部分的变形行为，驱动物理仿真并预测未观测交互下的物体响应。

解决学术问题

Phlowers数据集有效解决了多材料复杂物体动力学建模中的若干核心学术难题。传统方法通常假设物体为单一均匀材料、依赖预学习的动力学模型或简化拓扑结构，难以处理真实世界中材料组成与几何形态各异的物体。该数据集通过提供真实花朵的多视角交互视频，支持联合材料分割与连续介质力学参数（如杨氏模量、密度）的估计，并纳入重力影响进行动力学模拟。这突破了以往方法在材料异质性、复杂几何与数据效率方面的局限，为视觉物理建模领域提供了更贴近现实的研究基础。

实际应用

Phlowers数据集的实际应用场景广泛涉及机器人操作、虚拟仿真与增强现实等领域。在机器人技术中，基于该数据集训练的模型可使机器人仅通过视觉观察预测花朵等易变形物体的动力学行为，从而规划精准抓取与放置策略。在虚拟内容生成方面，其支持创建物理真实的数字孪生体，用于影视特效或交互式仿真。此外，该数据集还能促进农业自动化中植物处理系统的开发，或辅助教育工具中物理交互的模拟，推动具身视觉与智能化交互系统的发展。

数据集最近研究