dariolopez/justicio-BOE-A-1978-31229-constitucion-by-articles-qa-qa-groq_llama3_70b_8192-sas

该数据集是一个用于评估Justicio系统的端到端数据集，使用SAS（语义答案相似度）指标进行评估。数据集涉及法律领域，特别是西班牙宪法，语言为西班牙语。数据集中包含多个字段，如文章编号、文章内容、问题、真实答案、上下文QA、生成的答案以及多个模型的SAS评分。SAS评分用于衡量生成答案与真实答案之间的语义相似度，评分范围为0到1，分数越高表示匹配度越好。

原始信息汇总

数据集概述

基本信息

• 语言：西班牙语
• 许可证：Apache-2.0
• 大小分类：小于1K
• 任务分类：问答

数据集特征

• number：西班牙宪法条款编号，数据类型为int64。
• context：西班牙宪法条款文本，数据类型为string。
• question：与西班牙宪法条款相关的问答，数据类型为string。
• ground_truth：与西班牙宪法条款相关的标准答案，数据类型为string。
• context_qa：包含10个与问题最匹配的文本块及其分数，数据类型为list，其中context为string，score为float64。
• answer：使用原始Justicio提示和context_qa生成的答案，数据类型为string。
• multilingual-e5-large-sas：intfloat/multilingual-e5-large的SAS评分，数据类型为float64。
• sentence_similarity_spanish_es-sas：hiiamsid/sentence_similarity_spanish_es的SAS评分，数据类型为float64。
• paraphrase-multilingual-mpnet-base-v2-sas：sentence-transformers/paraphrase-multilingual-mpnet-base-v2的SAS评分，数据类型为float64。
• roberta-base-bne-finetuned-msmarco-qa-es-mnrl-mn-sas：dariolopez/roberta-base-bne-finetuned-msmarco-qa-es-mnrl-mn的SAS评分，数据类型为float64。
• mean_sas：模型平均SAS评分，数据类型为float64。

数据集分割

• 训练集：包含515个样本，总大小为5555382字节。

下载与数据集大小

• 下载大小：2233145字节
• 数据集大小：5555382字节

数据集用途

• 用于Justicio（一个问答助手）的端到端评估，专注于西班牙官方国家公报（BOE）的问题解答。

领域与语言

• 领域：法律、法律、西班牙宪法
• 语言：西班牙语

SAS评分概述

• Semantic Answer Similarity (SAS)：评估生成答案与标准答案之间的语义相似度，评分范围为0到1，平均分为0.6206581082950834。