OSWorld-G

该数据集包含图像以及与图像相关的信息，如图像路径、大小、标注框类型、标注框坐标等。测试集共有510个样本，数据集总大小约为251MB。数据集适用于图像识别和标注相关任务。

搜集汇总

数据集介绍

构建方式

在计算机视觉与多模态交互研究领域，OSWorld-G数据集通过精心设计的标注流程构建而成。该数据集收录了510个测试样本，每个样本包含图像路径、尺寸信息及详细的界面元素标注。标注过程中采用标准化的坐标序列记录界面元素位置，同时整合了多种GUI组件类型，确保数据标注的精确性与一致性。数据以分片存储形式组织，总容量约251MB，为多模态任务提供了高质量的基准数据。

特点

该数据集的核心特征体现在其多维度的标注体系设计。每个样本不仅包含原始图像数据，还配备了精细的界面元素边界框坐标和类型标签，支持复杂的空间关系分析。数据字段设计科学完整，涵盖图像标识、指令描述、坐标体系及组件分类等多重维度。特别值得关注的是其采用的序列化标注方式，能够准确捕捉界面元素的布局特征，为GUI理解和交互任务提供丰富的结构化信息。

使用方法

研究人员可通过标准的测试分割直接加载数据集进行模型评估。使用时应重点关注图像与标注数据的对齐关系，充分利用边界框坐标和GUI类型序列进行多模态任务训练。数据加载时需注意图像尺寸与坐标系统的匹配，建议采用官方提供的预处理流程确保数据一致性。该数据集特别适用于视觉定位、界面元素检测和跨模态理解等研究方向，为评估模型在真实场景下的表现提供可靠基准。

背景与挑战

背景概述

OSWorld-G数据集诞生于2024年，由多模态人工智能研究团队构建，聚焦于图形用户界面（GUI）的智能交互任务。该数据集旨在解决计算机视觉与自然语言处理交叉领域的核心问题——如何让模型理解屏幕元素并执行复杂操作指令。通过整合界面图像、空间坐标及操作指引，它为GUI自动化、辅助技术等应用提供了关键基准，推动了人机交互智能化的研究进程。

当前挑战

在GUI交互领域，模型需克服动态界面元素识别、多步骤操作逻辑推理等核心难题。OSWorld-G构建过程中面临标注复杂性挑战：界面元素的空间坐标标注需保持像素级精度，而跨平台GUI类型多样性导致标注标准难以统一。同时，指令与界面元素的语义对齐要求标注者具备专业领域知识，这些因素共同增加了数据一致性与质量的保障难度。

常用场景

经典使用场景

在图形用户界面交互研究领域，OSWorld-G数据集为多模态智能体提供了标准化的评估环境。该数据集通过整合屏幕截图、界面元素坐标及操作指令，构建了真实操作系统环境下的任务执行场景。其核心应用聚焦于训练和验证智能体在复杂图形界面中的理解和交互能力，例如自动完成软件操作、界面导航等跨平台任务，为评估模型在动态环境中的适应性和泛化性能奠定了坚实基础。

衍生相关工作

该数据集催生了系列创新性研究，例如基于视觉定位的界面元素检索模型、结合强化学习的多步操作决策框架等。众多工作通过扩展其标注体系或引入新的评估维度，衍生出面向特定领域的变体数据集。这些研究不仅深化了对多模态表征学习的理解，更推动了具身智能、可访问计算等交叉领域的发展，形成以界面交互为核心的技术生态链。

数据集最近研究

最新研究方向

在计算机视觉与多模态交互融合领域，OSWorld-G数据集凭借其GUI元素的空间坐标标注和多样化指令对，正推动具身智能代理在真实操作系统环境中的任务执行能力研究。当前前沿探索聚焦于视觉语言模型与屏幕理解技术的协同优化，通过精确的边界框定位和类型识别，助力模型实现跨平台界面元素的动态交互。这一方向与数字助手自动化、无障碍技术等热点议题深度交织，为提升人机协作效率奠定了关键实证基础。