cogym-collabskill-trajectories
收藏资源简介：
CollabSkill Trajectories 是一个用于研究人类工人与 AI 代理在真实职业任务上协作的数据集。该数据集基于 CollabSkill 框架，通过将参与者根据其职业背景匹配到具体任务，并与五种 AI 代理之一配对，收集了完整的交互日志、参与者与会话元数据、任务评分标准、自动评分结果以及人类和代理的贝叶斯 CollabSkill 评级。任务要求生成实际工作产品，如电子表格、文档、演示文稿、PDF 等，来源于 GDPVal、APEX 和 APEX-Agents 数据集，覆盖 10 个 O*NET 职业领域。数据集包含约数百个交互会话（其中 386 个为研究会话，另有 61 个会话因日志缺失或无效而包含特殊标记），每个会话的交互日志以 JSONL 格式存储，包含会话 ID、轮次、代理名称、模型、角色、事件类型、文本内容、工具名称和输入等字段。领导者数据包括参与者信息（匿名用户 ID、任务分配、工作经验等）、会话记录、任务描述（含提示、参考材料元数据、预期交付物、职业元数据和评分标准）、自动评分记录以及贝叶斯技能估计（保守值为 mu - 3 * sigma）。数据可通过会话 ID、用户 ID、任务 ID 等进行关联。该数据集主要用于研究人机协作、交互分析、代理评估和 AI 素养，但应注意参与者样本仅限 Upwork 上的美国工人，任务集中于开放式的、产生工件的工作，结果可能不具普遍性。数据集采用 CC BY 4.0 许可。
CollabSkill Trajectories is a dataset dedicated to researching collaboration between human workers and AI agents on real-world occupational tasks. Built upon the CollabSkill framework, this dataset collects comprehensive interaction logs, participant and session metadata, task scoring rubrics, automated scoring results, and Bayesian CollabSkill ratings for both humans and agents, by matching participants to specific tasks based on their occupational backgrounds and pairing them with one of five AI agents. Tasks require the generation of practical work products such as spreadsheets, documents, presentations, PDFs, and other deliverables, sourced from the GDPVal, APEX, and APEX-Agents datasets, covering 10 O*NET occupational domains. The dataset contains roughly several hundred interaction sessions, 386 of which are official research sessions, with an additional 61 sessions flagged due to missing or invalid logs. Interaction logs for each session are stored in JSONL format, including fields such as session ID, turn, agent name, model, role, event type, text content, tool name, and input. The core dataset includes participant information (anonymous user ID, task assignment, work experience, etc.), session records, task descriptions (covering prompts, reference material metadata, expected deliverables, occupational metadata, and scoring rubrics), automated scoring records, and Bayesian skill estimates (conservative value: μ - 3σ). Data can be associated using identifiers such as session ID, user ID, and task ID. This dataset is primarily used for research on human-AI collaboration, interaction analysis, agent evaluation, and AI literacy. It should be noted that the participant sample is limited to U.S. workers on Upwork, and tasks focus on open-ended, artifact-generating work, so the study results may not be generalizable across all scenarios. The dataset is licensed under CC BY 4.0.
数据集概述
CollabSkill Trajectories 是一个用于研究人类工作者与AI代理在真实职业任务中协作的数据集，包含交互日志、参与者与会话元数据、任务评分标准、自动评分结果以及人类和代理的贝叶斯 CollabSkill 评分。
基本信息
- 许可证： Creative Commons Attribution 4.0 International (CC BY 4.0)
- 语言： 主要为英语
- 任务类别： 文本生成
- 数据集规模： 1k < n < 10k
- 相关论文： CollabSkill: Evaluating Human-Agent Collaboration on Real-World Tasks
- 项目网站： cogym.saltlab.stanford.edu
数据集内容
参与者根据其职业背景被匹配到相应任务，并与五种AI代理之一配对。任务要求产出真实的职业工作成果，如电子表格、文档、演示文稿、PDF等，涵盖10个O*NET职业领域，任务来源于 GDPVal、APEX 和 APEX-Agents。
数据结构
release/ ├── README.md ├── interaction_logs/ │ └── <session_id>/ │ └── extracted_log.jsonl └── leaderboard_data/ ├── participants.json ├── ratings.json ├── scores.json ├── sessions.json └── tasks.json
交互日志
每个以 session_id 命名的文件夹内包含一个标准的 extracted_log.jsonl 文件，每行为一个JSON对象，包含以下字段：
session_id(string)：会话UUIDturn_id(integer)：会话内记录顺序或轮次标识agent(string)：会话使用的代理名称model(string)：会话使用的模型标识role(string)：记录来源，如user、assistant、tool或systemtype(string)：事件类型，如message、tool_call、tool_result或statuscontent(string)：文本内容或提取的事件描述tool_name(string)：适用的工具名称tool_input(string)：提取的工具输入is_conversational(boolean)：是否为面向用户的对话记录
注意： 61个会话没有可提取的交互日志（因原始日志缺失、不完整或无效），这些文件使用独立的一行哨兵格式：{"no_extracted_log_reason":"Wrong log file submission."}
排行榜数据
- participants.json： 参与者记录，包括假名
user_id、任务分配与进度、职业经验年限、LLM使用人口统计信息，以及可选的前/后研究调查回复。 - sessions.json： 会话记录，与
interaction_logs/中的目录名完全对应。 - tasks.json： 任务记录，包括提示词、参考资料元数据、预期成果、职业元数据和评分标准。
- scores.json： 自动评分记录。三个保留会话包含
autograde_score_id及嵌入的总体分数，但其详细评分记录在原始scores.json中已缺失。 - ratings.json： 代理和人类参与者的贝叶斯技能估计。人类
entity_id对应参与者的user_id；代理条目使用代理标识符。保守的 CollabSkill 值为mu - 3 * sigma。
数据关联方式
- 交互日志目录与
sessions.json通过session_id关联。 - 会话与参与者通过
user_id关联。 - 会话与任务元数据通过
task_id关联。 - 人类评分与参与者通过
ratings.humans[].entity_id == participants[].user_id关联。 - 代理评分与会话代理通过对应的代理标识符关联。
由于一名参与者未完成完整评分回合，93名研究参与者对应92条人类评分记录。
数据加载示例
数据集使用嵌套JSON和JSONL文件而非单一表格划分。官方示例代码演示了如何选择386个研究会话并处理两种交互日志格式（标准记录和哨兵记录）。
局限性与预期用途
- 参与者样本为通过Upwork招募的美国工作者，不能代表所有工作者或职业。
- 任务覆盖10个O*NET领域，侧重开放式、产出制的工作，结果可能不适用于其他场景。
- 交互日志来自异构的代理界面，已被规范化为统一的提取模式。
- 数据集仅用于人类-代理协作、交互分析、代理评估和AI素养研究，不应用于对个体参与者做出重大决策。
引用信息
bibtex @inproceedings{shao2026collabskill, title = {CollabSkill: Evaluating Human-Agent Collaboration on Real-World Tasks}, author = {Shao, Yijia and Wang, Zora Zhiruo and Ahuja, Neel and Wang, Yicheng and Liu, Bowen and Yang, Diyi}, booktitle = {Third Conference on Language Modeling}, year = {2026}, url = {https://arxiv.org/abs/2606.09833} }
