DataClawBench

DataClawBench 由中山大学计算机学院陈川团队与南方周末科创力研究中心联合发布，面向真实业务场景的数据集。本数据集所有数据与任务来自南方周末科创力研究中心多年的智库研究与咨询业务，由中山大学岭南学院的金融与产业研究专家命题、标注。每一道题不是为评测而造，而是研究咨询机构真实在桌子上做的任务。Co-developed by Sun Yat-sen University and Southern Weekly, this dataset encompasses 350 real-world business analysis tasks. For the first time, it integrates seven types of heterogeneous data sources from the three domains of enterprise, industry and policy into a unified evaluation framework, and multi-dimensionally evaluates the actual performance of LLM systems across the entire pipeline from tool calling, multi-step reasoning to final content generation.

搜集汇总

背景与挑战

背景概述

DataClawBench是一个面向过程的数据分析基准，旨在评估OpenClaw风格端到端代理在真实复杂数据环境中的表现。它基于2022年真实世界数据，涵盖企业、行业和政策三大主题领域，包含492个多步骤推理任务，并采用多指标评估代理的执行过程和结果准确性。