dariolopez/justicio-BOE-A-1978-31229-constitucion-by-articles-qa-bge-m3-groq_llama3_70b_8192-sas

该数据集是一个端到端的评估数据集，用于评估语义答案相似性（SAS），特别是在法律领域的西班牙宪法相关问答任务中。数据集包含多个字段，如文章编号、上下文、问题、真实答案、上下文问答对、生成的答案以及多个模型的SAS评分。数据集的语言为西班牙语，领域为法律和西班牙宪法。

It is an end-to-end evaluation dataset (using SAS metric) for legal domain, specifically for question-answering tasks related to the Spanish Constitution. The dataset includes fields such as article number, context, question, ground truth, context-QA pairs, generated answers, and SAS scores from multiple models. The language of the dataset is Spanish, and the domain is legal and Spanish Constitution.

原始信息汇总

数据集概述

数据集信息

• 特征字段:

  • number: 西班牙宪法文章的编号，数据类型为 int64。
  • context: 西班牙宪法文章的文本内容，数据类型为 string。
  • question: 与西班牙宪法文章段落相关的问题，数据类型为 string。
  • ground_truth: 与西班牙宪法文章段落相关的答案，数据类型为 string。
  • context_qa: 包含10个最接近问题的片段及其分数的列表，数据类型为 string 和 float64。
  • answer: 使用原始justicio提示、context_qa作为上下文和llama-3-70b生成的答案，数据类型为 string。
  • roberta-base-bne-finetuned-msmarco-qa-es-mnrl-mn-sas: dariolopez/roberta-base-bne-finetuned-msmarco-qa-es-mnrl-mn SAS，数据类型为 float64。
  • multilingual-e5-large-sas: intfloat/multilingual-e5-large SAS，数据类型为 float64。
  • bge-m3-sas: BAAI/bge-m3 SAS，数据类型为 float64。
  • sentence_similarity_spanish_es-sas: hiiamsid/sentence_similarity_spanish_es SAS，数据类型为 float64。
  • paraphrase-multilingual-mpnet-base-v2-sas: sentence-transformers/paraphrase-multilingual-mpnet-base-v2 SAS，数据类型为 float64。
  • mean_sas: 模型平均SAS，数据类型为 float64。

• 分割:

  • train: 训练集，包含514个样本，数据大小为6098224字节。

• 下载大小: 2360665字节

• 数据集大小: 6098224字节

配置

• 配置名称: default
  • 数据文件:
    • train: 路径为 data/train-*。

许可证

• apache-2.0

任务类别

• question-answering

语言

• es (西班牙语)

标签

• legal

数据集大小类别

• n<1K

数据字段

• number: 西班牙宪法文章的编号。
• context: 西班牙宪法文章的文本内容。
• question: 与西班牙宪法文章段落相关的问题。
• ground_truth: 与西班牙宪法文章段落相关的答案。
• context_qa: 10个最接近问题的片段及其分数。
• answer: 使用原始justicio提示、context_qa作为上下文和llama-3-70b生成的答案。
• roberta-base-bne-finetuned-msmarco-qa-es-mnrl-mn-sas: dariolopez/roberta-base-bne-finetuned-msmarco-qa-es-mnrl-mn SAS。
• multilingual-e5-large-sas: intfloat/multilingual-e5-large SAS。
• bge-m3-sas: BAAI/bge-m3 SAS。
• sentence_similarity_spanish_es-sas: hiiamsid/sentence_similarity_spanish_es SAS。
• paraphrase-multilingual-mpnet-base-v2-sas: sentence-transformers/paraphrase-multilingual-mpnet-base-v2 SAS。
• mean_sas: 模型平均SAS。

语义答案相似度 (SAS) 平均值

• 0.6498897197604614