mburgjr/GelSight-YoungsModulus

---
license: mit
language:
- en
tags:
- code
- robotics
- manipulation
- modulus
- youngs
- youngs modulus
- compliance
- hardness
- tactile
- tactile sensing
- robotic manipulation
- gelsight
- shore
- shape
- material
---

GelSight Young's Modulus Dataset
==============
by [Michael Burgess](https://mburgjr.github.io/)

Dataset of tactile images collected over grasping common objects labelled with the objects' Young's Moduli. All images are collected using GelSight Wedges, both with and without displacement markers. Associated code is available on [GitHub](https://github.com/GelSight-lab/EstimateModulus/tree/main).

Dataset Format
---------------

Each object is grasped a number of times, and each of these grasps is downsampled to 3 frames and shifted to create different data augmentations of the same grasp. Collected data is split into folders according to the following structure...

```
gelsight_youngs_modulus_dataset
└── {object_name}
├── metadata.json
└── grasp={grasp_number}
└── augmentation={augmentation_number}
├── RGB.pkl
├── depth.pkl
├── RGB_markers.pkl
├── depth_markers.pkl
├── forces.pkl
├── widths.pkl
├── elastic_estimate.pkl
└── hertz_estimate.pkl
```

In the OBJECT_NAME folder, metadata for each object is provided in a .json file, including the object's shape, material, Young's modulus, and Shore hardness.
```
metadata = {
'object_name': {object_name}, # [str]
'youngs_modulus': 0.0, # [Pa]
'material': '', # [str]
'shape': '', # [str]
'shore_00_hardness': None, # [/]
'shore_A_hardness': None, # [/]
'shore_D_hardness': None, # [/]
'used_in_training': True # [bool]
}
```

In the AUGMENTATION_NUMBER folder, data is provided in .pkl files. You will find the following named conventions...
- Tactile RGB images (3 images, without markers): `RGB.pkl`
- Tactile depth images (3 images, without markers): `depth.pkl`
- Tactile RGB images (3 images, with markers): `RGB_markers.pkl`
- Tactile depth images (3 images, with markers): `depth_markers.pkl`
- Sampled grasping contact forces: `forces.pkl`
- Sampled gripper widths: `widths.pkl`
- Elastic analytical model estimate: `elastic_estimate.pkl`
- Hertzian analytical model estimate: `hertz_estimate.pkl`

### 许可证：MIT许可证
### 语言：
- 英语
### 标签：
- 代码
- 机器人学
- 操控
- 模量
- 杨氏
- 杨氏模量（Young's Modulus）
- 柔度
- 硬度
- 触觉
- 触觉传感（Tactile Sensing）
- 机器人操控（Robotic Manipulation）
- GelSight
- 邵氏（Shore）
- 形状
- 材料

# GelSight杨氏模量数据集（GelSight Young's Modulus Dataset）

作者：[Michael Burgess](https://mburgjr.github.io/)

本数据集收录了抓取常见物体时采集的触觉图像，所有图像均标注了对应物体的杨氏模量。所有图像均使用GelSight楔形传感器采集，部分采集过程带有位移标记，部分无标记。配套开源代码已发布于[GitHub](https://github.com/GelSight-lab/EstimateModulus/tree/main)。

## 数据集格式

每个物体被抓取多次，每次抓取的图像序列会被下采样至3帧，并通过移位操作生成同一抓取动作的多种数据增强样本。采集得到的数据按以下目录结构组织：

gelsight_youngs_modulus_dataset
└── {object_name} # 物体名称
├── metadata.json # 元数据文件
└── grasp={grasp_number} # 抓取编号
└── augmentation={augmentation_number} # 数据增强编号
├── RGB.pkl
├── depth.pkl
├── RGB_markers.pkl
├── depth_markers.pkl
├── forces.pkl
├── widths.pkl
├── elastic_estimate.pkl
└── hertz_estimate.pkl

在物体名称对应的文件夹中，包含该物体的元数据JSON文件，其中涵盖了物体的形状、材料、杨氏模量以及邵氏硬度等信息。

metadata = {
"object_name": "{object_name}", # 字符串类型，物体名称
"youngs_modulus": 0.0, # 浮点型，单位为帕斯卡（Pa）
"material": "", # 字符串类型，材料名称
"shape": "", # 字符串类型，物体形状
"shore_00_hardness": null, # 邵氏00型硬度值
"shore_A_hardness": null, # 邵氏A型硬度值
"shore_D_hardness": null, # 邵氏D型硬度值
"used_in_training": true # 布尔类型，是否用于训练集
}

在数据增强编号对应的文件夹中，所有数据均以.pkl文件格式存储，各文件的命名规则如下：
- 无位移标记的触觉RGB图像（共3帧）：`RGB.pkl`
- 无位移标记的触觉深度图像（共3帧）：`depth.pkl`
- 带位移标记的触觉RGB图像（共3帧）：`RGB_markers.pkl`
- 带位移标记的触觉深度图像（共3帧）：`depth_markers.pkl`
- 采样得到的抓取接触力数据：`forces.pkl`
- 采样得到的夹爪开度数据：`widths.pkl`
- 弹性解析模型的估计结果：`elastic_estimate.pkl`
- 赫兹解析模型的估计结果：`hertz_estimate.pkl`

原始信息汇总

GelSight Youngs Modulus Dataset

作者

• Michael Burgess

标签

• code
• robotics
• manipulation
• modulus
• youngs
• youngs modulus
• compliance
• hardness
• tactile
• tactile sensing
• robotic manipulation
• gelsight
• shore
• shape
• material

数据集描述

该数据集包含使用GelSight Wedge采集的触觉图像，这些图像来自对常见物体的抓取，并标注了物体的杨氏模量。数据集包括带有和不带有位移标记的图像。相关代码可在GitHub上找到。

数据集格式

每个物体被抓取多次，每次抓取被下采样为3帧并进行移位，以创建相同抓取的不同数据增强。数据集按照以下结构组织：

gelsight_youngs_modulus_dataset └── {object_name} ├── metadata.json └── grasp={grasp_number} └── augmentation={augmentation_number} ├── RGB.pkl ├── depth.pkl ├── RGB_markers.pkl ├── depth_markers.pkl ├── forces.pkl ├── widths.pkl ├── elastic_estimate.pkl └── hertz_estimate.pkl

对象元数据

在每个对象文件夹中，提供了一个包含对象形状、材料、杨氏模量和肖氏硬度的.json文件：

json metadata = { object_name: {object_name}, # [str] youngs_modulus: 0.0, # [Pa] material: , # [str] shape: , # [str] shore_00_hardness: None, # [/] shore_A_hardness: None, # [/] shore_D_hardness: None, # [/] used_in_training: True # [bool] }

增强数据

在每个增强文件夹中，数据以.pkl文件形式提供，包括以下内容：

• 触觉RGB图像（3张，无标记）：RGB.pkl
• 触觉深度图像（3张，无标记）：depth.pkl
• 触觉RGB图像（3张，有标记）：RGB_markers.pkl
• 触觉深度图像（3张，有标记）：depth_markers.pkl
• 采样的抓取接触力：forces.pkl
• 采样的夹持器宽度：widths.pkl
• 弹性分析模型估计：elastic_estimate.pkl
• 赫兹分析模型估计：hertz_estimate.pkl

搜集汇总

数据集介绍

构建方式

在机器人触觉感知领域，GelSight杨氏模量数据集通过系统化采集常见物体的触觉图像构建而成。研究者利用GelSight楔形传感器，在抓取过程中捕获带有位移标记与无标记的触觉数据，每个抓取动作被下采样至三帧，并通过位移生成多种数据增强版本。数据以层次化结构组织，每个物体文件夹包含元数据文件，详细记录了物体的形状、材料、杨氏模量及肖氏硬度等物理属性，确保了数据标注的精确性与可追溯性。

特点

该数据集在触觉感知研究中展现出显著的多样性与丰富性。其涵盖了圆柱体、矩形体、球体、六面体及不规则形状等多种几何形态，其中不规则形状占比过半，材料类型亦广泛包含橡胶、金属、塑料、木材、泡沫及其他类别。每样本均提供RGB与深度触觉图像、抓取接触力、夹持器宽度及基于弹性与赫兹接触模型的解析估计，多模态数据的融合为材料力学属性的跨模态学习提供了坚实基础。

使用方法

为有效利用该数据集，用户可依据其层次化目录结构访问具体数据文件。每个抓取样本的增强版本均包含RGB图像、深度图、力信号及宽度测量等序列化数据，辅以两种接触力学模型的估计结果。研究者可通过加载元数据文件获取物体物理属性，进而结合触觉图像与力学信号，训练模型以估计未知物体的杨氏模量，推动机器人灵巧操作与材料合规性感知的前沿探索。

背景与挑战

背景概述

在机器人触觉感知领域，精确识别物体力学属性是实现灵巧操作的关键。由麻省理工学院GelSight实验室于2024年发布的GelSight杨氏模量数据集，通过集成高分辨率触觉图像与材料弹性参数，为机器人触觉感知研究提供了重要基准。该数据集利用GelSight楔形传感器采集常见物体的抓取触觉图像，并标注了对应的杨氏模量、材料类型及形状信息，旨在解决机器人通过触觉反馈实时估计物体刚度的核心科学问题。其多模态数据结构和丰富的物体类别，显著推动了触觉感知与机器人操作策略的交叉研究进展。

当前挑战

该数据集致力于解决机器人触觉感知中材料刚度估计的挑战，即如何从触觉图像中准确推断物体的杨氏模量，这对机器人适应不同材质物体的抓取力度控制至关重要。在构建过程中，研究人员面临传感器数据对齐的复杂性，需同步处理带有标记点与无标记点的触觉图像序列，并确保力学模型估计值与实际测量值的一致性。此外，数据集中不规则形状物体占比超过50%，其接触力学响应的异质性增加了模型泛化的难度，要求算法具备处理高度非线性触觉信号的能力。

常用场景

经典使用场景

在机器人触觉感知领域，GelSight-YoungsModulus数据集为研究材料力学属性的视觉表征提供了关键支持。该数据集通过GelSight楔形传感器采集常见物体抓取过程中的触觉图像，并标注了杨氏模量标签，使得研究人员能够利用深度学习模型直接从触觉图像中推断物体的弹性模量。这一场景典型地应用于机器人抓取与操作任务中，旨在让机器人通过触觉反馈理解物体的软硬特性，从而适应不同材质的物体，实现更柔顺、自适应的操控。

实际应用

在实际工业与服务机器人场景中，该数据集支撑了自适应抓取系统的开发。例如，在自动化装配线上，机器人可利用训练后的模型实时估计未知零件的弹性，动态调整抓取力以防止损坏脆弱部件；在医疗辅助机器人中，能够安全地操作不同硬度的生物组织或医疗器械。此外，在物流分拣领域，机器人可依据包裹材质调整抓取策略，提升处理混合物品的鲁棒性与效率，体现了触觉智能在复杂非结构化环境中的实用价值。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作。例如，基于其触觉图像与杨氏模量标签，研究者开发了端到端的卷积神经网络模型，实现了从单帧或多帧触觉序列中回归材料弹性参数。后续工作进一步结合了赫兹接触理论等物理模型，提出了混合数据驱动与模型驱动的估计框架，提升了跨物体泛化能力。这些研究不仅推动了触觉感知算法的进步，还促进了触觉传感器硬件与机器人控制策略的协同创新，形成了从数据到系统的完整技术链条。