nataliaElv/similarity-qa-no-vectors

该数据集是通过Argilla创建的，包含一个符合Argilla数据集格式的配置文件`argilla.yaml`，以及兼容HuggingFace `datasets`库的记录。数据集可以用于不同的NLP任务，具体取决于配置。数据集中包含字段、问题、建议、元数据、向量和指南。字段是数据集记录本身，问题是对注释者提出的问题，建议是辅助注释过程的建议，元数据提供额外的上下文信息，向量用于相似性搜索，指南是给注释者的指令。数据集包含一个`train`分割。

原始信息汇总

数据集卡片 for similarity-qa-no-vectors

数据集描述

数据集概述

该数据集包含：

• 一个符合 Argilla 数据集格式的配置文件 argilla.yaml，用于在使用 Argilla 的 FeedbackDataset.from_huggingface 方法时配置数据集。
• 与 HuggingFace datasets 兼容的数据集记录，这些记录在使用 FeedbackDataset.from_huggingface 时会自动加载，也可以通过 datasets 库独立加载。
• 用于构建和整理数据集的标注指南（如果已在 Argilla 中定义）。

加载方式

使用 Argilla 加载

安装 Argilla：

python pip install argilla --upgrade

加载数据集：

python import argilla as rg

ds = rg.FeedbackDataset.from_huggingface("nataliaElv/similarity-qa-no-vectors")

使用 datasets 加载

安装 datasets：

python pip install datasets --upgrade

加载数据集：

python from datasets import load_dataset

ds = load_dataset("nataliaElv/similarity-qa-no-vectors")

支持的任务和排行榜

该数据集可以包含多个字段、问题和响应，因此可以用于不同的 NLP 任务，具体取决于配置。数据集结构在数据集结构部分中描述。

该数据集没有关联的排行榜。

语言

[更多信息需要]

数据集结构

数据在 Argilla 中

数据集在 Argilla 中包含以下内容：

• 字段（Fields）：数据集记录本身，目前仅支持文本字段。

  字段名称	标题	类型	必需	Markdown
  instruction	Instruction	text	True	False
  input	Input	text	False	False
  output	Output	text	True	False

• 问题（Questions）：向标注者提出的问题，可以是不同类型，如评分、文本、标签选择、多标签选择或排序。

  问题名称	标题	类型	必需	描述	值/标签
  quality	Rate the quality of the record:	rating	True	N/A	[1, 2, 3, 4, 5]
  explanation	Explain your rating:	text	True	N/A	N/A

• 建议（Suggestions）：人类或机器生成的建议，以协助标注者在标注过程中使用。

• 元数据（Metadata）：提供关于数据集记录的额外信息，可选。

• 向量（Vectors）：包含浮点数的不同列，维度在数据集配置文件 argilla.yaml 中预定义。

  向量名称	标题	维度
  input	Input	[1, 384]
  instruction	Instruction	[1, 384]
  output	Output	[1, 384]
  testing	EMPTY!	[1, 1]

• 指南（Guidelines）：提供给标注者的指令，可选。

数据实例

在 Argilla 中的数据集实例示例：

json { "external_id": null, "fields": { "input": "", "instruction": "Give three tips for staying healthy.", "output": "1. Eat a balanced diet and make sure to include plenty of fruits and vegetables. 2. Exercise regularly to keep your body active and strong. 3. Get enough sleep and maintain a consistent sleep schedule." }, "metadata": { "text_length": 241 }, "responses": [], "suggestions": [], "vectors": {} }

在 HuggingFace datasets 中的相同记录示例：

json { "explanation": [], "explanation-suggestion": null, "explanation-suggestion-metadata": { "agent": null, "score": null, "type": null }, "external_id": null, "input": "", "instruction": "Give three tips for staying healthy.", "metadata": "{"text_length": 241}", "output": "1. Eat a balanced diet and make sure to include plenty of fruits and vegetables. 2. Exercise regularly to keep your body active and strong. 3. Get enough sleep and maintain a consistent sleep schedule.", "quality": [], "quality-suggestion": null, "quality-suggestion-metadata": { "agent": null, "score": null, "type": null }, "vectors": { "input": null, "instruction": null, "output": null, "testing": null } }

数据字段

数据集字段包括：

• 字段（Fields）：数据集记录本身，目前仅支持文本字段。

  • instruction 类型为 text。
  • (可选) input 类型为 text。
  • output 类型为 text。

• 问题（Questions）：向标注者提出的问题，可以是不同类型。

  • quality 类型为 rating，允许值为 [1, 2, 3, 4, 5]。
  • explanation 类型为 text。

• 建议（Suggestions）：自 Argilla 1.13.0 起，提供给标注者的建议，以协助标注过程。

  • (可选) quality-suggestion 类型为 rating，允许值为 [1, 2, 3, 4, 5]。
  • (可选) explanation-suggestion 类型为 text。

• 向量（Vectors）：自 Argilla 1.19.0 起，添加了向量以支持基于向量搜索的相似性搜索。

  • (可选) input 类型为 float32，维度为 (1, 384)。
  • (可选) instruction 类型为 float32，维度为 (1, 384)。
  • (可选) output 类型为 float32，维度为 (1, 384)。
  • (可选) testing 类型为 float32，维度为 (1, 1)。

此外，还有两个可选字段：

• 元数据（Metadata）：提供关于数据集记录的额外信息。
• external_id：提供数据集记录的外部 ID。

数据分割

数据集包含一个分割，即 train。