reglab/legal_hallucinations

该数据集包含对大型语言模型（LLM）的查询、模型输出、正确回答示例以及对回答的评估。每行数据代表一个对LLM的查询、其响应、一个正确响应的示例以及对该响应的评估。查询涵盖了多个不同主题，并参考了多个公开的法律数据库，包括Caselaw Access Project、Supreme Court Database、Shepards数据集和Courtlistener。数据集的结构包括多个字段，如查询ID、任务名称、法院级别、提示风格、LLM类型、温度参数、案例来源、法院缩写、引用、年份、查询内容、正确性评分和幻觉判断等。

原始信息汇总

数据集概述

数据集名称

• 名称: Legal Hallucinations

数据集描述

• 描述: 该数据集包含在Dahl等人即将发表的论文《Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models》中分析的查询和原始模型输出。每行代表一个向LLM提出的查询、其响应以及一个正确响应的示例。

数据集创建者

• 创建者: Matt Dahl, Varun Magesh, Mirac Suzgin, Daniel E. Ho

数据集语言

• 语言: 英语

数据集大小

• 大小: 100K<n<1M

数据集结构

• 文件结构:
  • id: 唯一标识符
  • task: 任务名称
  • court_level: 法院级别
  • prompt_style: 提示风格
  • llm: 被评估的LLM
  • temperature: 模型温度参数
  • case_source: 案件来源数据库
  • court_slug: 特定法院的slug
  • citation: 案件报告引用
  • year: 相关案件决定的年度
  • query: 向LLM提交的确切查询
  • correctness_score: 响应正确性评分
  • hallucination: 响应是否被判定为幻觉

数据集文件

• 文件:
  • reserved.csv 和 dataset.csv: 包含LLM响应和正确答案示例。
  • zero_resource.csv: 用于评估没有正确答案的响应，包含多个LLM输出。

数据集用途

• 用途: 用于评估LLM中的法律信息和幻觉的可能性及特征。

数据集来源

• 来源: 使用多个公开法律数据库创建，包括Supreme Court Database, Caselaw Access Project, Shepards dataset等。

数据集注意事项

• 注意事项: 数据集不包含所有查询的信息，reserve.csv文件中的数据暂时封存。