OrienText300K, Open6DOR V2, 6-DoF SpatialBench

OrienText300K: 一个包含30万条文本的数据集，用于语义方向的研究。Open6DOR V2: 一个用于6自由度物体重排的数据集。6-DoF SpatialBench: 一个用于6自由度空间推理的基准数据集。

SoFar is a 6-degree-of-freedom system designed for spatial reasoning and robotic manipulation.

原始信息汇总

SoFar 数据集概述

数据集简介

• 名称: SoFar (Language-Grounded Orientation Bridges Spatial Reasoning and Object Manipulation)
• 类型: 6-DoF空间推理与机器人操作数据集
• 主要贡献: 提出**语义方向(semantic orientation)**概念，将物体方向与开放词汇语言条件相结合

核心组件

1. PointSO: 3D点云方向预测模型
2. OrienText300K: 大规模3D资产数据集
3. Open6DOR V2: 6自由度物体重排基准
4. 6-DoF SpatialBench: 空间推理基准

数据集详情

OrienText300K

• 数据来源: Objaverse多视角渲染
• 规模:
  • 350K方向-文本对
  • 8M多视角图像
• 特点:
  • 通过ChatGPT自动标注
  • 包含多维度物体属性标注
• 下载地址: https://huggingface.co/datasets/qizekun/OrienText300K

Open6DOR V2

• 任务类型: 开放指令6-DoF物体重排
• 规模: ~4500个任务
• 改进:
  • 修正V1版本错误数据
  • 移除需人工判断部分
• 下载地址: https://huggingface.co/datasets/qizekun/Open6DOR_V2

6-DoF SpatialBench

• 评估维度:
  • 位置关系(相对/绝对)
  • 方向关系(相对/绝对)
  • 位置-方向联合关系
• 下载地址: https://huggingface.co/datasets/qizekun/6DoF-SpatialBench

性能表现

物体操作(SimplerEnv)

• Google Robot视觉匹配:
  • 平均成功率: 74.9%(SOTA)
• Widow-X视觉匹配:
  • 平均成功率: 58.3%(SOTA)

6-DoF物体重排(Open6DOR V2)

• 6-DoF总体得分: 48.7%(SOTA)
• 位置追踪:
  • Level 0: 96.0%
  • Level 1: 81.5%
• 旋转追踪:
  • Level 0: 68.6%
  • Level 1: 42.2%
  • Level 2: 70.1%

6-DoF空间VQA(6-DoF SpatialBench)

• 总体准确率: 43.9%(SOTA)
• 位置(相对): 59.6%
• 位置(绝对): 33.8%
• 方向(相对): 54.6%
• 方向(绝对): 31.3%

使用许可

• 代码许可: Apache 2.0
• 数据许可: CC BY-NC 4.0

相关资源

• 项目主页: https://qizekun.github.io/sofar/
• 论文: https://arxiv.org/abs/2502.13143
• Hugging Face资源集: https://huggingface.co/collections/qizekun/sofar-67b511129d3146d28cea9920

搜集汇总

数据集介绍

构建方式

SoFar数据集通过融合语言和空间推理的概念，构建了一种6自由度（6-DoF）的系统和相关数据集，旨在实现空间推理和机器人操作。该数据集的构建涉及语义方向的引入，即使用开放词汇的语言来表示物体方向条件，并通过结合Objaverse和ChatGPT生成的多视图注释，以及Open6DOR V2的错误数据移除和手动判断部分的消除，形成了一个全面评估模型在位置、方向及其关系上的推理能力的基准。

特点

SoFar数据集的特点在于其创新性地将语言与空间推理相结合，提供了丰富的多视图图像和对应的文本描述，以及针对物体方向和位置的高质量注释。此外，数据集包含了用于评估机器人操作和空间关系理解的各种任务，如6自由度物体重排和空间视觉问题回答等。数据集还注重数据的清洗和过滤，确保了数据的质量和可用性。

使用方法

使用SoFar数据集，用户需要先设置环境并克隆相应的GitHub仓库。接着，可以通过执行不同的脚本来加载演示、评估模型的性能，或对PointSO模型进行预训练和微调。详细的安装说明和使用方法可在数据集的官方文档和GitHub页面找到，用户还可以通过Hugging Face平台访问和下载数据集。

背景与挑战

背景概述

SoFar数据集是一项创新性的研究，致力于构建一个6-自由度（6-DoF）的系统和相关数据集，用于空间推理和机器人操控。该数据集由多个研究人员和机构共同开发，包括Qi Zekun、Wenyao Zhang等，并于2025年发布在arXiv上。SoFar的核心研究问题是将语言语义与物体的方向条件相结合，推动空间推理和对象操控领域的发展。该数据集在学术界产生了广泛的影响，为相关领域的研究提供了新的视角和工具。

当前挑战

在构建SoFar数据集的过程中，研究人员面临了多项挑战。首先，如何准确地将开放词汇语言与对象的方向条件关联起来，是一个技术难题。其次，数据集的构建过程中，需要处理大量的三维数据和多视图图像，这对数据标注和预处理提出了高要求。此外，在评估数据集性能时，如何设计合理的指标和基准，以确保对模型的空间推理和对象操控能力进行准确的评估，也是一大挑战。

常用场景

经典使用场景

SoFar数据集作为首个6-DoF系统，将空间推理与机器人操作相结合，其经典使用场景主要包括空间推理任务和机器人操作任务。该数据集引入了语义方向的概念，即基于开放词汇的语言对物体方向条件的表示，使得机器能够更好地理解和操作三维空间中的物体。

衍生相关工作

基于SoFar数据集，衍生了一系列相关的研究工作，如PointSO预训练和微调、OrienText300K数据集的构建、Open6DOR V2和6-DoF SpatialBench基准数据集的提出等。这些工作进一步推动了空间推理和机器人操作领域的发展，拓展了SoFar数据集的应用范围。

数据集最近研究

最新研究方向

SoFar数据集结合了语言理解和机器人操作，引入了语义方向性概念，以应对开放词汇语言下的物体方向条件。该研究方向的突破在于创建了一种全新的6自由度（6-DoF）系统，该系统能够将空间推理与机器人操作相结合。SoFar的提出，不仅提升了6-DoF物体重排和空间视觉问题解答的性能，而且在物体操作领域具有重大意义，为未来机器人与人类环境的互动提供了新的视角和技术路径。