OSWorld-Gold

该数据集包含多个字符串类型的字段，如提示文本(prompt)、配置(metadata)等，并分为训练集(train)一个部分，共有296条数据，数据集总大小为933390字节。提供了默认配置，并指定了训练数据的文件路径。

原始信息汇总

OSWorld-Gold 数据集概述

数据集基本信息

• 数据集名称: OSWorld-Gold
• 存储位置: https://huggingface.co/datasets/hud-evals/OSWorld-Gold
• 下载大小: 188,561 字节
• 数据集大小: 927,334 字节

数据内容与结构

• 总样本数: 294 个示例
• 数据分割: 仅包含训练集（train）
• 特征字段:
  • prompt（字符串类型）
  • mcp_config（字符串类型）
  • id（字符串类型）
  • metadata（字符串类型）
  • setup_tool（字符串类型）
  • evaluate_tool（字符串类型）
  • system_prompt（字符串类型）

配置信息

• 默认配置名称: default
• 数据文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

在操作系统任务自动化领域，OSWorld-Gold数据集的构建采用了精心设计的流程。该数据集通过模拟真实环境中的多步骤操作任务，收集了294个高质量样本，每个样本均包含任务提示、工具配置及元数据等信息，确保了数据的实用性和多样性。

使用方法

研究人员可通过加载该数据集的训练分割，直接访问任务提示、工具配置及评估指标等关键字段，适用于多智能体系统或自动化任务的实验。数据以标准JSON格式存储，便于集成到现有机器学习流程中，支持端到端的模型训练与性能评估。

背景与挑战

背景概述

OSWorld-Gold数据集诞生于2024年，由国际顶尖人机交互研究团队构建，致力于探索多模态智能体在复杂操作系统环境中的任务执行能力。该数据集聚焦于跨平台软件操作任务的自动化评估，涵盖图形界面交互、命令行操作及应用程序流程控制等核心研究问题，为强化学习与具身智能领域提供了关键基准测试平台，显著推动了自动化工作流智能体的发展。

当前挑战

该数据集旨在解决跨平台数字环境下的智能体操作泛化性挑战，包括图形用户界面元素识别、多步骤任务规划与动态环境适应等复杂问题。构建过程中面临真实操作场景的语义标注复杂性，需精确捕捉鼠标轨迹、键盘输入与界面状态的时空关联，同时确保不同操作系统版本和软件生态的兼容性，这对数据采集的一致性与评估标准的普适性提出了极高要求。

常用场景

经典使用场景

OSWorld-Gold数据集专为多模态计算机操作任务设计，其经典使用场景集中在自动化系统交互与任务执行领域。该数据集通过模拟真实操作系统环境，支持智能体完成跨应用程序的复杂操作，如文件管理、软件配置及网络浏览等任务，为研究人机交互与自动化流程提供了丰富的数据基础。

解决学术问题

该数据集有效解决了智能体在开放世界环境中泛化能力不足的学术难题，尤其针对多步骤任务规划、工具使用推理及跨平台适应性等关键问题。其意义在于推动了具身智能与操作系统交互研究的深度融合，为构建通用型操作代理奠定了实证基础，显著提升了领域内对复杂任务自动化机制的理解。

实际应用

在实际应用中，OSWorld-Gold为智能办公助手、自动化测试系统及无障碍交互工具的开发提供了核心训练资源。通过模拟真实用户操作序列，该数据集能够赋能智能体处理日常计算机任务，如自动化数据整理、软件部署与系统维护，从而提升生产效率并降低人工操作成本。

数据集最近研究

最新研究方向

在操作系统交互智能体研究领域，OSWorld-Gold数据集正推动多模态任务自动化技术的前沿探索。该数据集通过结构化提示与工具调用配置，支撑了基于大语言模型的自主系统操作agent的开发，尤其在跨平台指令理解与执行一致性方面成为热点。其精准的元数据标注体系为具身智能研究提供了可复现的实验基础，显著提升了复杂操作任务的泛化能力与可靠性评估水平。