AdithyaSK/dabstep-harbor

dabstep-harbor是DABstep数据集的Harbor版本，专门适配了`/workdir`工作目录标准。它包含450个金融分析事实任务，基于一个共享的Adyen支付数据语料库。每个任务的工作目录、数据目录和答案文件都从原始`/app`路径重定位到`/workdir`路径，使得该测试套件可以直接兼容遵循常见`/workdir/answer.txt`约定的代理或测试框架。数据集旨在评估多步推理和异构文档理解能力，任务分为简单（72个）和困难（378个）两个难度级别，保持了与原始DABstep数据集相同的任务数量、评分逻辑和语义，仅修改了路径以提升兼容性。

A `/workdir`-native Harbor edition of DABstep. 450 financial-analytics factoid tasks over a single shared Adyen-payments corpus — every tasks working directory, data dir, and answer file re-anchored from `/app` to `/workdir` so the suite drops straight into agents/harnesses that follow the common `/workdir/answer.txt` convention.

搜集汇总

数据集介绍

构建方式

dabstep-harbor数据集以原始DABstep基准测试为基础，通过系统性地将工作目录从/app重锚定至/workdir，并相应调整数据路径与答案文件位置，构建了一套兼容Harbor框架的金融分析任务集合。该数据集保留了Adyen与Hugging Face联合发布的450个多步推理难题，每个任务均包含统一的Docker运行环境、指令文档、评分脚本及参考答案。构建过程中未修改原始问题文本或标准答案，仅对目录结构进行了标准化迁移，确保与遵循/workdir/answer.txt约定的代理系统无缝对接。

特点

该数据集的核心特征在于其兼顾了金融领域的专业深度与评估框架的通用兼容性。450个任务源自真实的Adyen支付平台工作负载，涵盖结构化与非结构化数据源的综合推理，其中困难子集的任务占比高达84%，对智能体的多步规划能力提出严峻挑战。通过引入Harbor任务架构，数据集不仅提供了难度等级的数值化标注（0级与4级），还实现了与主流代理评估生态的即插即用，使得跨模型、跨框架的性能比较变得透明且可复现。

使用方法

使用dabstep-harbor数据集时，用户可通过Hugging Face命令行工具克隆完整任务集合，并利用Harbor框架的指令集进行标准化评估。每个任务以独立目录形式组织，包含Harbor架构兼容的配置文件、环境Dockerfile及评分逻辑。用户可直接调用内置的oracle代理验证环境正确性，随后接入任意遵循Harbor规范的智能体执行推理，最终通过基于模糊匹配的评分器自动计算奖励值。该设计显著降低了在真实金融数据场景下代理系统的部署与评测门槛。

背景与挑战

背景概述

dabstep-harbor数据集由Adyen公司与Hugging Face团队于2025年联合创建，旨在为金融数据分析领域的智能体评估提供标准化基准。该数据集源于DABstep（Data Agent Benchmark for Multi-step Reasoning），其核心研究问题聚焦于衡量数据代理在多步骤推理任务中的规划能力与异构文档推理能力。基于真实Adyen支付平台的450项财务分析事实性任务，dabstep-harbor通过将工作目录从'/app'统一重定向至'/workdir'，兼容遵循通用约定的智能体评估框架。该数据集的发布填补了金融领域数据代理系统性评估的空白，对推动具备复杂推理能力的智能体开发具有重要影响。

当前挑战

金融数据分析领域面临的核心挑战在于，智能体需执行多步骤规划并同时处理异构文档（如支付记录、费率JSON、商家手册等），即使最先进的模型在困难子集上的得分仍低于15%，揭示了现有系统在综合推理上的显著不足。此外，数据集构建过程中需确保450项任务源自真实支付平台工作负载且语义完整，同时将环境配置从原始路径标准化至'/workdir'，并保留原始难度划分与计分逻辑不变，这对数据迁移的一致性验证提出了严格要求。

常用场景

经典使用场景

在金融数据分析与智能体评估领域，dabstep-harbor数据集作为一项专为多步推理设计的代理基准测试，其最为经典的用途在于衡量语言模型驱动的数据分析智能体在真实世界金融支付场景中的任务完成能力。该数据集包含450个基于Adyen支付平台实际业务衍生出的知识问答任务，每个任务均在一个共享语料库上构建，迫使智能体在异构文档集合中进行多步信息检索、因果推理与精准答案生成。其独特的Harbor适配版本将工作目录统一为/workdir，使得该基准能够无缝融入遵循标准Answer.txt约定的评估框架，从而成为学术界与工业界评估数据代理系统在金融领域实用性能的首选工具。

实际应用

在实际应用层面，dabstep-harbor数据集为金融科技企业、数据分析平台以及人工智能服务提供商提供了极具价值的质量验证工具与能力评估框架。企业可以借助这一基准对内部开发的数据分析智能体进行压力测试，识别其在处理支付交易记录、费用结构解析、商户数据整合等多源异构金融数据时的薄弱环节，从而有针对性地优化系统设计。同时，该数据集的高难度设置使其成为评估前沿语言模型在金融领域微调效果的理想试金石，帮助工程师在部署前准确预判模型在真实支付查询场景中的表现，有效降低生产环境中的错误率与风险敞口。

衍生相关工作

基于dabstep-harbor数据集的设计理念与评估范式，一系列衍生研究工作应运而生，共同推动了数据代理评估生态的繁荣。其姊妹数据集AdithyaSK/data_agent_rl_environment_eval借鉴了同样的/workdir原生Harbor格式，将评估范围扩展至366个基于Kaggle数据集的数据分析任务，从而填补了非金融领域评估的空白。此外，Harbor Visualiser交互式浏览工具的发布，使得研究者能够在图形界面中直观审视每个任务的指令、环境配置、测试逻辑与难度层级，极大降低了基准的理解门槛与复现成本。这些衍生工作共同构建了一个从基准构建、可视化分析到强化学习环境的一体化评估体系，深刻塑造了数据代理研究与发展的未来方向。