kursathalat/ranking_ds

该数据集是一个用于排名任务的数据集，包含文本字段（如prompt、response1、response2）和排名问题（如preference）。数据集可以通过Argilla或HuggingFace的`datasets`库加载。数据集的注释指南提供了如何对选项进行排名的说明。数据集的结构包括字段、问题、建议、元数据和注释指南。数据集的创建过程、来源数据、注释过程等信息尚未提供。

原始信息汇总

数据集卡片 for ranking_ds

数据集描述

• 主页: https://argilla.io
• 仓库: https://github.com/argilla-io/argilla
• 论文:
• 排行榜:
• 联系点:

数据集概述

该数据集包含：

• 符合 Argilla 数据集格式的数据集配置文件 argilla.yaml。该配置文件将在使用 Argilla 的 FeedbackDataset.from_huggingface 方法时用于配置数据集。
• 与 HuggingFace datasets 兼容的数据集记录。这些记录在使用 FeedbackDataset.from_huggingface 时会自动加载，也可以通过 datasets 库的 load_dataset 独立加载。
• 用于构建和整理数据集的标注指南（如果在 Argilla 中定义）。

加载方式

使用 Argilla 加载

安装 Argilla： python pip install argilla --upgrade

然后使用以下代码： python import argilla as rg

ds = rg.FeedbackDataset.from_huggingface("kursathalat/ranking_ds")

使用 datasets 加载

安装 datasets： python pip install datasets --upgrade

然后使用以下代码： python from datasets import load_dataset

ds = load_dataset("kursathalat/ranking_ds")

支持的任务和排行榜

该数据集可以包含多个字段、问题和响应，因此可以根据配置用于不同的 NLP 任务。数据集结构在数据集结构部分中描述。

该数据集没有关联的排行榜。

语言

[更多信息需要]

数据集结构

数据在 Argilla 中

数据集在 Argilla 中创建，包含：字段、问题、建议、元数据、向量和指南。

字段是数据集记录本身，目前仅支持文本字段。这些字段将用于提供问题的响应。

字段名称	标题	类型	必需	Markdown
prompt	Prompt	text	True	False
response1	Response 1	text	True	False
response2	Response 2	text	False	False

问题是向标注者提出的问题。它们可以是不同类型，如评分、文本、标签选择、多标签选择或排序。

问题名称	标题	类型	必需	描述	值/标签
preference	Order responses based on your preference	ranking	True	N/A	[response1, response2]

建议是人为或机器生成的推荐，用于在标注过程中协助标注者。这些建议总是与现有问题相关联，并通过在问题名称后附加 "-suggestion" 和 "-suggestion-metadata" 来命名，分别包含建议的值及其元数据。

元数据是一个字典，用于提供有关数据集记录的额外信息。这可以为标注者提供额外的上下文，或提供有关数据集记录本身的额外信息。元数据总是可选的，并且可能与 argilla.yaml 中定义的 metadata_properties 相关联。

指南是可选的，只是一个纯字符串，用于向标注者提供指令。请参阅标注指南部分。

数据实例

在 Argilla 中的数据集实例示例如下：

json { "external_id": null, "fields": { "prompt": "What do you prefer?", "response1": " "If you d", "response2": "onu0027t wear " }, "metadata": {}, "responses": [ { "status": "submitted", "user_id": "525f4274-ebb4-4aee-a116-f8b422b2e2b4", "values": { "preference": { "value": [ { "rank": 1, "value": "response1" }, { "rank": 2, "value": "response2" } ] } } }, { "status": "submitted", "user_id": "464c365f-9fd7-4db9-a06f-42c320c54547", "values": { "preference": { "value": [ { "rank": 2, "value": "response1" }, { "rank": 1, "value": "response2" } ] } } } ], "suggestions": [ { "agent": null, "question_name": "preference", "score": null, "type": null, "value": [ { "rank": 1, "value": "response1" }, { "rank": 2, "value": "response2" } ] } ], "vectors": {} }

在 HuggingFace datasets 中的相同记录示例如下：

json { "external_id": null, "metadata": "{}", "preference": [ { "status": "submitted", "user_id": "525f4274-ebb4-4aee-a116-f8b422b2e2b4", "value": { "rank": [ 1, 2 ], "value": [ "response1", "response2" ] } }, { "status": "submitted", "user_id": "464c365f-9fd7-4db9-a06f-42c320c54547", "value": { "rank": [ 2, 1 ], "value": [ "response1", "response2" ] } } ], "preference-suggestion": { "rank": [ 1, 2 ], "value": [ "response1", "response2" ] }, "preference-suggestion-metadata": { "agent": null, "score": null, "type": null }, "prompt": "What do you prefer?", "response1": " "If you d", "response2": "onu0027t wear " }

数据字段

在数据集字段中，我们区分以下内容：

• 字段: 这些是数据集记录本身，目前仅支持文本字段。这些字段将用于提供问题的响应。

  • prompt 是 text 类型。
  • response1 是 text 类型。
  • (可选) response2 是 text 类型。

• 问题: 这些是向标注者提出的问题。它们可以是不同类型，如 RatingQuestion、TextQuestion、LabelQuestion、MultiLabelQuestion 和 RankingQuestion。

  • preference 是 ranking 类型，允许值为 [response1, response2]。

• 建议: 自 Argilla 1.13.0 起，建议已包含在内，以在标注过程中为标注者提供建议，以简化或协助标注过程。建议与现有问题相关联，总是可选的，并且不仅包含建议本身，还包含与之相关的元数据（如果适用）。

  • (可选) preference-suggestion 是 ranking 类型，允许值为 [response1, response2]。

此外，还有两个可选字段：

• 元数据: 这是一个可选字段，用于提供有关数据集记录的额外信息。这可以为标注者提供额外的上下文，或提供有关数据集记录本身的额外信息。例如，您可以使用此字段提供数据集记录的原始来源链接，或提供有关数据集记录本身的额外信息，如作者、日期或来源。元数据总是可选的，并且可能与 argilla.yaml 中定义的 metadata_properties 相关联。
• external_id: 这是一个可选字段，用于为数据集记录提供外部 ID。如果您希望将数据集记录与外部资源（如数据库或文件）链接，这可能很有用。

数据分割

数据集包含一个单一分割，即 train。