daqc/constitucion_politica_del_peru_1993_q_argilla

该数据集是通过Argilla创建的，包含与HuggingFace `datasets`库兼容的记录。数据集的结构包括字段、问题、建议、元数据、向量和注释指南。数据集的主要用途是用于不同的NLP任务，具体取决于配置。数据集的加载可以通过Argilla或`datasets`库完成。

原始信息汇总

数据集卡片 for constitucion_politica_del_peru_1993_q_argilla

数据集描述

• 主页: https://argilla.io
• 仓库: https://github.com/argilla-io/argilla
• 论文:
• 排行榜:
• 联系人:

数据集概述

该数据集包含：

• 符合 Argilla 数据集格式的配置文件 argilla.yaml。该配置文件将在使用 Argilla 的 FeedbackDataset.from_huggingface 方法时用于配置数据集。
• 兼容 HuggingFace datasets 格式的数据集记录。这些记录在使用 FeedbackDataset.from_huggingface 时会自动加载，也可以通过 datasets 库的 load_dataset 方法独立加载。
• 用于构建和整理数据集的标注指南（如果在 Argilla 中定义了）。

加载方式

使用 Argilla 加载

安装 Argilla：pip install argilla --upgrade，然后使用以下代码：

python import argilla as rg

ds = rg.FeedbackDataset.from_huggingface("daqc/constitucion_politica_del_peru_1993_q_argilla")

使用 datasets 加载

安装 datasets：pip install datasets --upgrade，然后使用以下代码：

python from datasets import load_dataset

ds = load_dataset("daqc/constitucion_politica_del_peru_1993_q_argilla")

支持的任务和排行榜

该数据集可以包含多个字段、问题和响应，因此可以根据配置用于不同的 NLP 任务。数据集结构在数据集结构部分中描述。

该数据集没有关联的排行榜。

语言

[需要更多信息]

数据集结构

数据在 Argilla 中

数据集在 Argilla 中创建，包含：字段、问题、建议、元数据、向量和指南。

字段是数据集记录本身，目前仅支持文本字段。这些字段将用于提供对问题的响应。

字段名称	标题	类型	必填	支持 Markdown
input	input	text	True	True
instructions	instructions	text	True	False

问题是向标注者提出的问题。它们可以是不同类型，如评分、文本、标签选择、多标签选择或排序。

问题名称	标题	类型	必填	描述	值/标签
instruction-rating	您如何评价生成的指令？	rating	True	N/A	[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
curated-instruction	准确的指令	text	True	如果您认为指令不准确，请纠正它。如果原始指令可以，请复制粘贴到这里。	N/A

建议是人为或机器生成的推荐，以协助标注者在标注过程中。这些建议总是与现有问题相关联，并且名称附加 "-suggestion" 和 "-suggestion-metadata"，包含建议的值及其元数据。

元数据是一个字典，可用于提供有关数据集记录的额外信息。这可以为标注者提供额外的上下文，或提供有关数据集记录本身的额外信息。元数据总是可选的，并且可以与 argilla.yaml 中定义的 metadata_properties 相关联。

✨ 新功能 向量是包含浮点数的不同列，这些列在配置向量时受预定义维度约束，维度始终为 1 维。向量是可选的，并且在 argilla.yaml 中由预定义的向量名称标识。

向量名称	标题	维度
input	input	[1, 384]
instructions	instructions	[1, 384]

元数据名称	标题	类型	值	对标注者可见
length-input	length-input	integer	None - None	True
length-instruction	length-instruction	integer	None - None	True
input_n_tokens	Input N Tokens	integer	None - None	True
input_n_unique_tokens	Input N Unique Tokens	integer	None - None	True
input_n_sentences	Input N Sentences	integer	None - None	True
input_perplexity	Input Perplexity	float	None - None	True
input_entropy	Input Entropy	float	None - None	True
input_flesch_reading_ease	Input Flesch Reading Ease	float	None - None	True
instructions_n_tokens	Instructions N Tokens	integer	None - None	True
instructions_n_unique_tokens	Instructions N Unique Tokens	integer	None - None	True
instructions_n_sentences	Instructions N Sentences	integer	None - None	True
instructions_perplexity	Instructions Perplexity	float	None - None	True
instructions_entropy	Instructions Entropy	float	None - None	True
instructions_flesch_reading_ease	Instructions Flesch Reading Ease	float	None - None	True

指南是可选的，只是一个可以向标注者提供指令的纯字符串。请参阅标注指南部分。

数据实例

Argilla 中的数据集实例示例如下：

json { "external_id": null, "fields": { "input": "CONSTITUCIÓN POLÍTICA DEL PERÚ P R E Á M B U L O EL CONGRESO CONSTITUYENTE DEMOCRÁTICO INVOCANDO A DIOS TODOPODEROSO OBEDECIENDO EL MANDATO DEL PUEBLO PERUANO Y RECORDANDO EL SACRIFICIO DE TODAS LAS GENERACIONES QUE NOS HAN PRECEDIDO EN NUESTRA PATRIA HA RESUELTO DAR LA SIGUIENTE CONSTITUCION TÍTULO I DE", "instructions": "¿Cuál es el propósito del Preámbulo en la Constitución Política del Perú?" }, "metadata": { "generation-model": "mistralai/Mixtral-8x7B-Instruct-v0.1", "input_entropy": 0.09, "input_flesch_reading_ease": 63.42, "input_n_sentences": 7, "input_n_tokens": 51, "input_n_unique_tokens": 47, "input_perplexity": 1.1, "instructions_entropy": 0.03, "instructions_flesch_reading_ease": 74.81, "instructions_n_sentences": 1, "instructions_n_tokens": 12, "instructions_n_unique_tokens": 11, "instructions_perplexity": 1.03, "length-input": 305, "length-instructions": 73 }, "responses": [], "suggestions": [], "vectors": {} }

HuggingFace datasets 中的相同记录示例如下：

json { "curated-instruction": [], "curated-instruction-suggestion": null, "curated-instruction-suggestion-metadata": { "agent": null, "score": null, "type": null }, "external_id": null, "input": "CONSTITUCIÓN POLÍTICA DEL PERÚ P R E Á M B U L O EL CONGRESO CONSTITUYENTE DEMOCRÁTICO INVOCANDO A DIOS TODOPODEROSO OBEDECIENDO EL MANDATO DEL PUEBLO PERUANO Y RECORDANDO EL SACRIFICIO DE TODAS LAS GENERACIONES QUE NOS HAN PRECEDIDO EN NUESTRA PATRIA HA RESUELTO DAR LA SIGUIENTE CONSTITUCION TÍTULO I DE", "instruction-rating": [], "instruction-rating-suggestion": null, "instruction-rating-suggestion-metadata": { "agent": null, "score": null, "type": null }, "instructions": "¿Cuál es el propósito del Preámbulo en la Constitución Política del Perú?", "metadata": "{"length-input": 305, "length-instructions": 73, "generation-model": "mistralai/Mixtral-8x7B-Instruct-v0.1", "input_n_tokens": 51, "input_n_unique_tokens": 47, "input_n_sentences": 7, "input_perplexity": 1.1, "input_entropy": 0.09, "input_flesch_reading_ease": 63.42, "instructions_n_tokens": 12, "instructions_n_unique_tokens": 11, "instructions_n_sentences": 1, "instructions_perplexity": 1.03, "instructions_entropy": 0.03, "instructions_flesch_reading_ease": 74.81}", "vectors": { "input": null, "instructions": null } }

数据字段

在数据集字段中，我们区分以下内容：

• 字段： 这些是数据集记录本身，目前仅支持文本字段。这些字段将用于提供对问题的响应。

  • input 类型为 text。
  • instructions 类型为 text。

• 问题： 这些是向标注者提出的问题。它们可以是不同类型，如 RatingQuestion、TextQuestion、LabelQuestion、MultiLabelQuestion 和 RankingQuestion。

  • instruction-rating 类型为 rating，允许值为 [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]。
  • curated-instruction 类型为 text，描述为 "如果您认为指令不准确，请纠正它。如果原始指令可以，请复制粘贴到这里。"。

• 建议： 自 Argilla 1.13.0 起，建议已包含在内，以提供标注者在标注过程中简化或协助。建议与现有问题相关联，总是可选的，并且不仅包含建议本身，还包含其相关元数据（如果适用）。

  • (可选) instruction-rating-suggestion 类型为 rating，允许值为 [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]。
  • (可选) curated-instruction-suggestion 类型为 text。

• ✨ 新功能 向量： 自 Argilla 1.19.0 起，向量已包含在内，以添加对基于向量搜索的相似性搜索的支持。向量是可选的，不能在 UI 中看到，这些是上传并在内部使用的。向量始终是可选的，并且仅限于在其设置中预定义的维度。

  • (可选) input 类型为 float32，维度为 (1, 384)。
  • (可选) instructions 类型为 float32，维度为 (1, 384)。

此外，还有两个可选字段：

• 元数据： 这是一个可选字段，可用于提供有关数据集记录的额外信息。这可以为标注者提供额外的上下文，或提供有关数据集记录本身的额外信息。元数据总是可选的，并且可以与 argilla.yaml 中定义的 metadata_properties 相关联。
• external_id： 这是一个可选字段，可用于为数据集记录提供外部 ID。如果您想将数据集记录链接到外部资源（如数据库或文件），这可能很有用。

数据分割

数据集包含一个分割，即 train。