HCIS-Lab/soarm101-ice-cream-feeding

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=HCIS-Lab/soarm101-ice-cream-feeding">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 5,
"total_frames": 4358,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:5"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
720,
1280,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 720,
"video.width": 1280,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.side": {
"dtype": "video",
"shape": [
720,
1280,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 720,
"video.width": 1280,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于训练智能体执行精细任务至关重要。soarm101-ice-cream-feeding数据集通过LeRobot平台构建，记录了机器人执行冰淇淋喂食任务的完整过程。数据采集涉及5个独立的情节，总计4358帧，以30帧每秒的速率捕获。机器人状态与动作信息以浮点数值形式存储，同时整合了腕部与侧方视角的高清视频流，视频分辨率为720x1280，采用AV1编码格式。所有数据被组织为Parquet文件格式，并依据分块策略进行存储，确保了数据的高效访问与处理。

使用方法

研究人员可利用该数据集训练或评估机器人控制策略，特别是涉及多传感器融合的模型。通过加载Parquet文件，可以便捷地访问机器人的关节状态、动作指令以及同步的视频帧。数据集已预设训练分割，涵盖了全部5个情节，适用于端到端的策略学习或行为克隆。结合LeRobot提供的可视化工具，用户能够直观审视任务执行过程，进而分析机器人的决策与交互行为。在具体应用中，需注意遵循Apache 2.0许可协议，并合理引用相关资源。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习正成为实现复杂任务自主操作的关键途径。soarm101-ice-cream-feeding数据集由HCIS-Lab基于LeRobot平台构建，专注于机器人喂食任务，特别是冰淇淋喂食这一精细操作场景。该数据集通过记录机械臂的多模态数据，包括关节位置、视觉观测及时间序列信息，旨在为机器人模仿学习提供高质量的真实世界演示数据。其核心研究问题在于如何让机器人从人类演示中学习并泛化精细的喂食动作，以推动服务机器人在日常辅助任务中的实际应用。尽管数据集规模相对有限，但其在机器人操作技能迁移领域具有潜在的研究价值。

当前挑战

该数据集旨在解决机器人模仿学习中精细操作任务的泛化难题，其核心挑战在于如何从有限的演示样本中提取鲁棒的动作策略，以应对真实环境中物体姿态、光照条件及用户交互的多样性。构建过程中的挑战包括多模态数据的高效同步与对齐，例如机械臂关节状态与双视角视觉流的时间一致性维护；同时，数据采集需在动态喂食场景下确保动作的连贯性与安全性，避免因环境干扰导致的数据噪声。此外，数据规模较小可能限制模型的泛化能力，需通过数据增强或迁移学习策略加以弥补。

常用场景

经典使用场景

在机器人学习领域，soarm101-ice-cream-feeding数据集为模仿学习与行为克隆提供了宝贵的实验素材。该数据集记录了机械臂执行冰淇淋喂食任务的多模态数据，包含关节位置状态、腕部和侧方视角的高清视频流，以及精确的时间戳信息。研究者可利用这些序列化数据训练端到端的策略模型，使机器人能够从人类示范中学习精细的操作技能，例如抓取、定位和喂食动作的协调执行。

解决学术问题

该数据集主要应对机器人操作中动态环境下的灵巧控制难题。通过提供真实世界的多感官交互记录，它有助于解决模仿学习中的数据稀缺问题，并支持研究者在部分可观测马尔可夫决策过程中探索状态表示学习。其意义在于推动了机器人从静态任务向复杂、非结构化场景的过渡，为具身智能的发展提供了可重复评估的基准。

实际应用

在实际应用中，该数据集能够指导服务型机器人的开发，特别是在辅助护理或餐饮服务场景。基于数据驱动的模型可使机器人学会处理易变形物体（如冰淇淋）的柔顺操作，减少对精确编程的依赖。这类技术有望提升机器人在家庭、医疗或商业环境中的适应性，实现更自然的人机协作体验。

数据集最近研究

最新研究方向

在机器人学领域，模仿学习与视觉运动控制正成为推动服务机器人发展的核心动力。soarm101-ice-cream-feeding数据集以其多模态特性，融合了机械臂关节状态与高分辨率视觉信息，为精细操作任务的研究提供了宝贵资源。当前前沿探索聚焦于基于Transformer的端到端策略学习，旨在通过视觉感知直接生成连续动作序列，以提升机器人执行喂食等日常任务的泛化能力。这一方向与具身智能的热潮紧密相连，推动了家庭辅助机器人向更自然、更安全的人机交互迈进，其影响深远，为机器人适应复杂动态环境奠定了数据基础。