ARB
收藏官方服务:
资源简介:
ARB 是一个新颖的基准数据集,由高级推理问题组成,旨在评估法学硕士在文本理解和专家领域推理方面的能力,提供比以前的基准更具挑战性的测试,其特点是测试更深入的数学、物理、生物、化学和法律知识。
ARB is a novel benchmark dataset comprising advanced reasoning questions, designed to evaluate Large Language Models (LLMs) on their text understanding and expert-domain reasoning capabilities. It provides more challenging tests than prior benchmarks, featuring assessments that require in-depth knowledge of mathematics, physics, biology, chemistry, and law.
提供机构:
OpenDataLab创建时间:
2024-04-30
搜集汇总
数据集介绍

背景与挑战
背景概述
ARB是一个高级推理基准数据集,用于评估大型语言模型在文本理解和专家领域(如数学、物理、生物、化学和法律)的深度推理能力,提供比以往更具挑战性的测试。该数据集由苏黎世联邦理工学院、佐治亚理工学院和DuckAI于2023年7月发布,相关资源可通过GitHub和arXiv获取。
以上内容由遇见数据集搜集并总结生成



