five

PartDrag-4D|机器人操作数据集|动态视觉分析数据集

收藏
arXiv2025-03-26 更新2025-03-27 收录
机器人操作
动态视觉分析
下载链接:
https://PartRM.c7w.tech/
下载链接
链接失效反馈
资源简介:
PartDrag-4D数据集是一个大规模的4D动态数据集,由清华大学、密歇根大学、北京大学和BAAI项目共同开发。该数据集包含了超过20,000个状态下的多视角观察数据,基于PartNet-Mobility数据集构建,提供静态物体的部件级运动的多视角图像。数据集覆盖了8个类别的738个网格,通过在不同位置渲染物体的运动状态来生成。它旨在为机器人操作任务提供支持,并推动部件级运动学习领域的研究。
提供机构:
清华大学, 密歇根大学, 北京大学, BAAI项目
创建时间:
2025-03-26
AI搜集汇总
数据集介绍
main_image_url
构建方式
PartDrag-4D数据集构建于PartNet-Mobility数据集之上,通过精心设计的流程生成多视角观测数据。研究团队从738个跨8类别的网格模型中,通过动画化可动部件在6个运动阶段间的状态变化,共生成20,548个独特状态。每个状态通过Blender渲染引擎生成12个固定视角的512×512分辨率RGBA图像,并精确记录相机参数。针对可动部件表面,采用基于投影的2D拖拽点采样策略,通过深度校验确保采样点位于部件可见表面,从而构建起包含网格、点云及运动点数据的完整4D观测体系。
特点
该数据集的核心价值体现在三维动态建模的全面性与精确性。其独特之处在于同步捕获部件级几何、外观与运动信息,每个样本包含多视角渲染图像、相机参数及部件运动轨迹。数据集覆盖20,000余个运动状态,特别保留trashcan类别作为验证集,有效支持模型泛化能力测试。相较于传统单视角视频数据,PartDrag-4D通过多视角一致性标注与精确的部件运动参数,为4D重建任务提供了前所未有的时空关联数据,其结构化标注体系更可直接应用于机器人操作策略训练。
使用方法
使用该数据集需遵循三维动态建模的特定流程。首先加载多视角图像序列与对应相机参数作为初始观测,结合标注的2D拖拽向量作为动作输入。研究者可通过两阶段训练框架进行模型开发:第一阶段利用3D高斯参数监督运动学习,第二阶段通过光度损失优化外观重建。评估时建议采用新颖视图合成指标(PSNR/SSIM/LPIPS),通过渲染8个256×256视角图像与真值比对。对于机器人应用,可从生成的高斯分布中提取部件网格与运动轴,直接导入Isaac Gym等仿真平台进行零样本策略验证。
背景与挑战
背景概述
PartDrag-4D数据集由清华大学、北京大学和北京智源人工智能研究院的研究团队于2025年提出,旨在解决物体部件级动态建模这一关键科学问题。该数据集基于PartNet-Mobility数据集构建,包含738个跨8个类别的物体模型,通过12个视角捕捉超过20,000种部件运动状态,为4D重建任务提供了丰富的多视角观测数据。作为世界模型研究的重要组成部分,PartDrag-4D通过精确记录部件级几何形变与运动轨迹,显著推动了机器人操作、增强现实等领域的算法发展,其提出的3D高斯重建框架为动态场景建模设立了新的技术标准。
当前挑战
PartDrag-4D数据集面临的核心挑战体现在两个维度:在领域问题层面,传统方法依赖2D视频扩散模型难以实现多视角一致的3D运动表征,且分钟级的计算延迟无法满足实时交互需求;在构建过程层面,数据稀缺问题尤为突出,现有3D数据集缺乏精确的部件运动标注,而将静态3D先验知识迁移到动态场景时易发生灾难性遗忘。此外,如何设计有效的拖拽交互嵌入模块来捕捉多粒度运动特征,以及平衡几何保持与运动建模的对抗性目标,都是构建过程中需要攻克的技术难点。
常用场景
经典使用场景
PartDrag-4D数据集在计算机视觉领域中被广泛用于研究物体部件级别的动态建模。通过提供多视角观测数据,该数据集支持从单视角图像预测物体部件运动的任务,为构建高效的世界模型提供了关键数据支持。其经典应用场景包括机器人操作任务中的物体部件运动预测,以及增强现实/虚拟现实中动态物体的交互式编辑。
解决学术问题
PartDrag-4D数据集有效解决了部件级别动态建模中的数据稀缺问题,为研究同时建模物体外观、几何结构和部件运动提供了基准。该数据集克服了传统方法依赖2D视频表示的局限性,通过提供超过20,000个状态的详细标注,支持了4D重建技术的发展,显著提升了部件运动预测的精度和效率。
衍生相关工作
PartDrag-4D数据集推动了多项相关研究的发展,包括基于3D高斯重建的动态建模方法PartRM,以及改进的部件运动预测算法。这些工作扩展了数据集的应用范围,在机器人操作、虚拟现实等领域产生了深远影响,为后续研究提供了重要的技术基础。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4099个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

中国交通事故深度调查(CIDAS)数据集

交通事故深度调查数据通过采用科学系统方法现场调查中国道路上实际发生交通事故相关的道路环境、道路交通行为、车辆损坏、人员损伤信息,以探究碰撞事故中车损和人伤机理。目前已积累深度调查事故10000余例,单个案例信息包含人、车 、路和环境多维信息组成的3000多个字段。该数据集可作为深入分析中国道路交通事故工况特征,探索事故预防和损伤防护措施的关键数据源,为制定汽车安全法规和标准、完善汽车测评试验规程、

北方大数据交易中心 收录

UAV123

从低空无人机捕获的视频与流行的跟踪数据集 (如OTB50,OTB100,VOT2014,VOT2015,TC128和ALOV300) 中的视频本质上不同。因此,我们提出了一个新的数据集 (UAV123),其序列来自空中视点,其子集用于长期空中跟踪 (UAV20L)。我们新的UAV123数据集包含总共123个视频序列和超过110K帧,使其成为仅次于ALOV300的第二大对象跟踪数据集。所有序列都用直立的边界框完全注释。数据集可以很容易地与视觉跟踪器基准集成。它包括无人机数据集的所有边界框和属性注释。还请使用包含序列和跟踪器配置的修改后的文件 “configSeqs.m” 和 “configTrackers.m” 下载修改后的跟踪器基准。另外,请注意,文件 “perfPlot.m” 已根据本文中描述的属性进行了修改以进行评估。

OpenDataLab 收录

Nexdata/chinese_dialect

该数据集包含25,000小时的中文方言语音数据,收集自多个方言区域的本地方言使用者,涵盖闽南语、粤语、四川话、河南话、东北话、上海话、维吾尔语和藏语等。数据格式为16kHz、16bit、未压缩的wav文件,单声道。句子准确率超过95%。数据集支持的任务包括自动语音识别(ASR)和音频说话人识别。

hugging_face 收录

熟肉制品在全国需求价格弹性分析数据

为更好了解各市对熟肉制品的市场需求情况,本行业所有企业对相关熟肉制品需求弹性数据进行采集计算。如果熟肉制品需求量变动的比率大于价格变动的比率,那么熟肉制品需求富有弹性,说明顾客对于熟肉制品价格变化的敏感程度大,弹性越大,需求对价格变化越敏感,本行业所有企业可以在该市适当的降低熟肉制品价格来获得较多的收益。如果熟肉制品需求缺乏弹性,本行业所有企业可以在该市适当的提高熟肉制品价格来获得较多的收益。该项数据对本行业所有企业在全国的市场营销决策有重要意义。1.数据采集:采集相关熟肉制品在某一时间段全国的的需求数据和价格数据,按照市级进行整理归纳,得到该熟肉制品的需求量变动数值和价格变化数值。 2.算法规则:对采集得到的数据按照如下公式进行计算:需求弹性系数Ed=-(△Q/Q)÷(△P/P),得到需求弹性系数。式中:Q表示产品的需求量,单位为份;P表示产品的价格,单位为元;△Q表示需求量同比变动值,单位为份;△P表示价格同比变动值,单位为元。取需求弹性系数的绝对值|Ed|作为分析数据时的参考系数。 3.数据分析:根据|Ed|的数值可分析该熟肉制品的需求价格弹性。(1)|Ed|=1(单位需求价格弹性),说明需求量变动幅度与价格变动幅度相同;(2)1<|Ed|(需求富有弹性),说明需求量变动幅度大于价格变动幅度;(3)|Ed|<1(需求缺乏弹性),说明需求量变动幅度小于价格变动幅度。

浙江省数据知识产权登记平台 收录

TCIA

TCIA(The Cancer Imaging Archive)是一个公开的癌症影像数据集,包含多种癌症类型的医学影像数据,如CT、MRI、PET等。这些数据通常与临床和病理信息相结合,用于癌症研究和临床试验。

www.cancerimagingarchive.net 收录