OCID-VLG
收藏资源简介：
OCID-VLG是由格罗宁根大学、爱丁堡大学和伦敦大学学院联合创建的视觉语言抓取数据集，旨在为复杂场景下的语言引导机器人抓取任务提供基准。该数据集包含1763个高杂乱度的室内桌面RGB-D场景，涵盖31个类别、58个独特实例，提供2D分割掩码、边界框以及4自由度抓取标注。通过对OCID-Grasp数据集的场景图进行解析，生成89,639个独特的语言-掩码-抓取标注元组，支持视觉定位与抓取合成的端到端学习。OCID-VLG的创建过程结合了自动表达式生成技术，确保标注的多样性和准确性。其主要应用于机器人抓取任务，特别是在自然语言指令引导下的复杂室内场景抓取。数据集的发布为机器人视觉语言交互领域提供了宝贵的资源，推动了相关技术的发展。
OCID-VLG is a vision-language grasping dataset jointly developed by the University of Groningen, the University of Edinburgh, and University College London, designed to provide a benchmark for language-guided robotic grasping tasks in complex scenes. This dataset includes 1,763 highly cluttered indoor desktop RGB-D scenes, spanning 31 categories and 58 unique instances, and provides 2D segmentation masks, bounding boxes, and 4-degree-of-freedom grasping annotations. By parsing the scene graphs of the OCID-Grasp dataset, 89,639 distinct language-mask-grasping annotation tuples are generated, enabling end-to-end learning for visual grounding and grasping synthesis. The construction of OCID-VLG integrates automatic expression generation techniques to guarantee the diversity and accuracy of annotations. It is primarily utilized for robotic grasping tasks, especially complex indoor scene grasping guided by natural language instructions. The release of this dataset serves as a valuable resource for the field of robotic vision-language interaction, promoting the advancement of related technologies.
OCID-VLG 数据集概述
数据集简介
OCID-VLG 是一个针对杂乱室内场景的语言引导抓取任务的数据集。该数据集基于 OCID-Grasp，为每个场景提供了一个自然语言表达的参照表达式来唯一描述目标对象，以及对应的抓取矩形框的地面真实值。
数据集构成
- 图像-文本-掩膜-抓取元组：包含 89,639 个图像-文本-掩膜-抓取元组，来自 1763 个独特的 OCID 场景。
- 场景类型：包含多种场景，每个场景包含一个或多个参照表达式和对应的目标对象。
数据集版本
- multiple：随机训练-验证-测试分割（70%-10%-20%），每个分割包含来自 OCID 数据集的独特场景，每个场景有多个针对同一目标对象的参照表达式。
- unique：随机训练-验证-测试分割（70%-10%-20%），每个分割包含来自 OCID 数据集的独特场景，每个场景对每个目标对象只有一个参照表达式。
- novel-instances：测试分割包含针对训练-验证分割中不存在的对象实例的参照表达式。
- novel-classes：测试分割包含针对训练-验证分割中不存在的对象类的参照表达式。
数据加载
使用 OCIDVLGDataset 类从 torch.utils.data.Dataset 加载数据集，支持图像预处理。
数据样本结构
img：场景图像（480, 640, 3）depth：场景深度图像（480, 640）sentence：目标对象的参照表达式target：目标对象标签target_idx：目标对象标签的唯一索引bbox：目标对象的边界框坐标mask：目标对象的像素级分割掩膜grasps：目标对象的抓取矩形框grasp_masks：抓取掩膜，包括位置、质量、角度和宽度
参考文献
@inproceedings{tziafas2023language, title={Language-guided Robot Grasping: CLIP-based Referring Grasp Synthesis in Clutter}, author={Tziafas, Georgios and Yucheng, XU and Goel, Arushi and Kasaei, Mohammadreza and Li, Zhibin and Kasaei, Hamidreza}, booktitle={7th Annual Conference on Robot Learning}, year={2023} }
