MS-HAB-TidyHouse, MS-HAB-PrepareGroceries, MS-HAB-SetTable

MS-HAB数据集包括三个部分：TidyHouse、PrepareGroceries和SetTable，用于家庭重排任务中的低级操作。这些数据集可以通过HuggingFace下载，并且可以通过自定义轨迹过滤标准生成数据。

The MS-HAB dataset consists of three subsets: TidyHouse, PrepareGroceries, and SetTable, which are designed for low-level operations in household rearrangement tasks. This dataset is available for download via HuggingFace and can be generated using custom trajectory filtering criteria.

原始信息汇总

ManiSkill-HAB 数据集概述

数据集简介

ManiSkill-HAB 是一个用于家庭重排任务中低级操作的基准数据集。该数据集包含多个任务场景，如整理房间、准备食物和摆放餐桌等。

数据集内容

• 数据集大小：约490GB。
• 数据类型：包括场景数据、任务计划、轨迹数据等。
• 任务场景：
  • TidyHouse（整理房间）
  • PrepareGroceries（准备食物）
  • SetTable（摆放餐桌）

数据集下载

数据集可通过 HuggingFace 平台下载，具体下载方法如下： bash huggingface-cli login # 如果尚未认证

数据集下载

export MSHAB_DATASET_DIR="$MS_ASSET_DIR/scene_datasets/replica_cad_dataset/rearrange-dataset" huggingface-cli download arth-shukla/MS-HAB-TidyHouse --local-dir "$MSHAB_DATASET_DIR/tidy_house" huggingface-cli download arth-shukla/MS-HAB-PrepareGroceries --local-dir "$MSHAB_DATASET_DIR/prepare_groceries" huggingface-cli download arth-shukla/MS-HAB-SetTable --local-dir "$MSHAB_DATASET_DIR/set_table"

数据生成

用户还可以通过运行提供的脚本生成数据集，具体方法如下： bash bash scripts/gen_dataset.sh

用户可以通过编辑 mshab/utils/label_dataset.py 文件自定义轨迹过滤标准。

数据集用途

该数据集主要用于训练和评估机器人执行家庭重排任务的能力，支持多种算法和模型的训练与评估。

搜集汇总

数据集介绍

构建方式

MS-HAB数据集通过模拟家庭重排任务中的低级操作，构建了一个包含多个子任务的基准数据集。该数据集的构建依赖于ManiSkill3模拟器，结合了ReplicaCAD数据集的场景，通过生成脚本和轨迹过滤技术，生成了大量的操作轨迹数据。用户可以通过自定义过滤标准，如更严格的碰撞要求或允许失败数据，来生成符合特定需求的数据集。

使用方法

MS-HAB数据集的使用方法包括下载预生成数据或通过脚本自行生成数据。用户可以通过HuggingFace平台下载数据集和模型检查点，或使用提供的脚本进行数据生成。数据集支持多种训练算法，如SAC、PPO、BC和Diffusion Policy，用户可以通过配置文件调整训练参数。此外，数据集还提供了评估脚本，用于评估长时任务和单个子任务的性能。

背景与挑战

背景概述

MS-HAB数据集由Arth Shukla、Stone Tao和Hao Su等人创建，专注于家庭重排任务中的低级操作。该数据集旨在为机器人技术领域提供一个基准，特别是在处理复杂的家庭环境中的物体操作任务。通过模拟真实家庭场景中的任务，如整理房间、准备食材和摆放餐桌，MS-HAB数据集为研究人员提供了一个评估和训练机器人操作技能的平台。该数据集的创建不仅推动了机器人技术的发展，还为家庭自动化和辅助机器人领域的研究提供了宝贵的资源。

当前挑战

MS-HAB数据集在构建过程中面临多项挑战。首先，模拟真实家庭环境中的低级操作任务需要高度复杂的物理引擎和精确的物体交互模型，以确保数据的准确性和可靠性。其次，数据集的规模庞大（约490GB），下载和处理这些数据对计算资源和网络带宽提出了高要求。此外，生成数据时需要进行轨迹过滤，以确保数据的质量和适用性，这进一步增加了数据处理的复杂性。最后，由于ManiSkill3仍处于测试阶段，系统的不稳定性可能对数据集的使用和开发带来额外挑战。

常用场景

经典使用场景

MS-HAB数据集在家庭重排任务中的低级操作领域展现了其经典应用。该数据集通过模拟家庭环境中的具体任务，如整理房间（TidyHouse）、准备食材（PrepareGroceries）和布置餐桌（SetTable），为研究者提供了一个评估和训练机器人操作技能的平台。这些任务不仅涉及单一操作，还包括多个步骤的连续操作，从而模拟了真实世界中的复杂任务处理能力。

解决学术问题

MS-HAB数据集解决了机器人学中关于低级操作和复杂任务规划的多个学术问题。通过提供详细的任务分解和操作轨迹数据，该数据集帮助研究者开发和验证新的算法，以提高机器人在家庭环境中的操作精度和效率。此外，数据集中的失败案例和碰撞数据为强化学习提供了宝贵的训练材料，有助于提升机器人在复杂环境中的适应性和鲁棒性。

实际应用

在实际应用中，MS-HAB数据集为家庭服务机器人提供了重要的训练和测试资源。例如，在智能家居领域，机器人可以通过学习数据集中的操作模式，自动完成日常家务，如整理房间或准备餐食。此外，该数据集还可用于开发和测试新的机器人控制算法，以提高机器人在复杂环境中的操作能力和任务完成率。

数据集最近研究

最新研究方向

在家庭重排任务中的低级操作领域，MS-HAB数据集的最新研究方向主要集中在开发和优化机器人操作策略，以实现高效且精确的家庭环境重排。该数据集通过提供详细的任务规划和环境模拟，支持研究者探索长时程任务的技能链和多任务学习。此外，研究者们正致力于通过强化学习、行为克隆和扩散策略等方法，提升机器人在复杂家庭场景中的操作能力，特别是在处理如整理房间、准备食材和摆放餐桌等具体任务时。这些研究不仅推动了机器人技术的实际应用，也为家庭服务机器人的智能化发展提供了重要的理论和实践基础。