legalbench_small

LegalBench Small 是 LegalBench 数据集的子采样版本，旨在为大型推理模型提供成本高效的评估基准。该数据集包含 159 个法律任务的代表性子集，每个任务提供 20 个样本（共 3,180 个样本），以零样本提示形式呈现，并包含真实答案。每个样本包含四个字段：任务名称、输入提示、答案和评估方法。评估方法包括多种类型，如输出包含答案字符串、列表项完全匹配等。数据集构建过程中，从原始任务中随机抽取样本，并转换为零样本格式，排除了少数不适合的任务。该数据集适用于法律推理能力的评估，覆盖了广泛的法律领域和任务类型。