five

when2rl/Nectar_reformatted

收藏
Hugging Face2024-06-05 更新2024-06-12 收录
下载链接:
https://hf-mirror.com/datasets/when2rl/Nectar_reformatted
下载链接
链接失效反馈
官方服务:
资源简介:
--- dataset_info: features: - name: prompt dtype: string - name: prompt_id dtype: string - name: chosen list: - name: content dtype: string - name: role dtype: string - name: rejected list: - name: content dtype: string - name: role dtype: string - name: messages list: - name: content dtype: string - name: role dtype: string - name: score_chosen dtype: float64 - name: score_rejected dtype: float64 - name: other_info struct: - name: chosen_model dtype: string - name: chosen_rank dtype: float64 - name: good_natured dtype: bool - name: prompt_source sequence: string - name: rejected_model dtype: string - name: rejected_rank dtype: float64 - name: source dtype: string splits: - name: train num_bytes: 1004392837 num_examples: 182954 download_size: 482675685 dataset_size: 1004392837 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for when2rl/Nectar_reformatted <!-- Provide a quick summary of the dataset. --> Reformatted from `berkeley-nest/Nectar` dataset. To make it consistent with other preference dsets, we: 1. convert all 7-way comparison data from the original dataset to DPO pairs. We take the top-ranked answer as chosen, and randomly pick one of the bottom three response as rejected. 2. since no score was labeled in the original dataset, we use chosen=10.0 and rejected=1.0 as placeholders. ## Dataset Details ### Dataset Description <!-- Provide a longer summary of what this dataset is. --> - **Curated by:** [More Information Needed] - **Funded by [optional]:** [More Information Needed] - **Shared by [optional]:** [More Information Needed] - **Language(s) (NLP):** [More Information Needed] - **License:** [More Information Needed] ### Dataset Sources [optional] <!-- Provide the basic links for the dataset. --> - **Repository:** [More Information Needed] - **Paper [optional]:** [More Information Needed] - **Demo [optional]:** [More Information Needed] ## Uses <!-- Address questions around how the dataset is intended to be used. --> ### Direct Use <!-- This section describes suitable use cases for the dataset. --> [More Information Needed] ### Out-of-Scope Use <!-- This section addresses misuse, malicious use, and uses that the dataset will not work well for. --> [More Information Needed] ## Dataset Structure <!-- This section provides a description of the dataset fields, and additional information about the dataset structure such as criteria used to create the splits, relationships between data points, etc. --> [More Information Needed] ## Dataset Creation ### Curation Rationale <!-- Motivation for the creation of this dataset. --> [More Information Needed] ### Source Data <!-- This section describes the source data (e.g. news text and headlines, social media posts, translated sentences, ...). --> #### Data Collection and Processing <!-- This section describes the data collection and processing process such as data selection criteria, filtering and normalization methods, tools and libraries used, etc. --> [More Information Needed] #### Who are the source data producers? <!-- This section describes the people or systems who originally created the data. It should also include self-reported demographic or identity information for the source data creators if this information is available. --> [More Information Needed] ### Annotations [optional] <!-- If the dataset contains annotations which are not part of the initial data collection, use this section to describe them. --> #### Annotation process <!-- This section describes the annotation process such as annotation tools used in the process, the amount of data annotated, annotation guidelines provided to the annotators, interannotator statistics, annotation validation, etc. --> [More Information Needed] #### Who are the annotators? <!-- This section describes the people or systems who created the annotations. --> [More Information Needed] #### Personal and Sensitive Information <!-- State whether the dataset contains data that might be considered personal, sensitive, or private (e.g., data that reveals addresses, uniquely identifiable names or aliases, racial or ethnic origins, sexual orientations, religious beliefs, political opinions, financial or health data, etc.). If efforts were made to anonymize the data, describe the anonymization process. --> [More Information Needed] ## Bias, Risks, and Limitations <!-- This section is meant to convey both technical and sociotechnical limitations. --> [More Information Needed] ### Recommendations <!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. --> Users should be made aware of the risks, biases and limitations of the dataset. More information needed for further recommendations. ## Citation [optional] <!-- If there is a paper or blog post introducing the dataset, the APA and Bibtex information for that should go in this section. --> **BibTeX:** [More Information Needed] **APA:** [More Information Needed] ## Glossary [optional] <!-- If relevant, include terms and calculations in this section that can help readers understand the dataset or dataset card. --> [More Information Needed] ## More Information [optional] [More Information Needed] ## Dataset Card Authors [optional] [More Information Needed] ## Dataset Card Contact [More Information Needed]

数据集信息: 特征: - 字段名:提示词(prompt) 数据类型:字符串(string) - 字段名:提示词ID(prompt_id) 数据类型:字符串(string) - 字段名:选中回复(chosen) 数据类型:列表 - 子字段:内容(content) 数据类型:字符串(string) - 子字段:角色(role) 数据类型:字符串(string) - 字段名:被拒回复(rejected) 数据类型:列表 - 子字段:内容(content) 数据类型:字符串(string) - 子字段:角色(role) 数据类型:字符串(string) - 字段名:对话消息(messages) 数据类型:列表 - 子字段:内容(content) 数据类型:字符串(string) - 子字段:角色(role) 数据类型:字符串(string) - 字段名:选中回复得分(score_chosen) 数据类型:float64 - 字段名:被拒回复得分(score_rejected) 数据类型:float64 - 字段名:其他信息(other_info) 数据类型:结构体 - 子字段:选中回复所用模型(chosen_model) 数据类型:字符串(string) - 子字段:选中回复排名(chosen_rank) 数据类型:float64 - 子字段:友好性(good_natured) 数据类型:布尔值(bool) - 子字段:提示词来源(prompt_source) 数据类型:字符串序列(sequence: string) - 子字段:被拒回复所用模型(rejected_model) 数据类型:字符串(string) - 子字段:被拒回复排名(rejected_rank) 数据类型:float64 - 子字段:来源(source) 数据类型:字符串(string) 数据划分: - 划分名称:训练集(train) 字节大小:1004392837 样本数量:182954 下载大小:482675685 数据集总大小:1004392837 数据集配置: - 配置名称:默认配置(default) 数据文件: - 划分:训练集(train) 路径:data/train-* # when2rl/Nectar_reformatted 数据集卡片 <!-- 请简要概述该数据集。 --> 本数据集从`berkeley-nest/Nectar`数据集重构而来。为使其与其他偏好数据集保持一致,我们开展了如下处理: 1. 将原数据集中所有7类比较数据转换为DPO配对样本:将排名最高的回复作为选中回复,从排名最低的三个回复中随机选取一个作为被拒回复。 2. 由于原数据集未标注得分,我们以`chosen=10.0`与`rejected=1.0`作为占位符。 ## 数据集详情 ### 数据集描述 <!-- 请提供该数据集的详细概述。 --> - **整理者:** [需补充更多信息] - **资助方(可选):** [需补充更多信息] - **共享方(可选):** [需补充更多信息] - **自然语言处理所用语言:** [需补充更多信息] - **许可证:** [需补充更多信息] ### 数据集来源(可选) <!-- 请提供该数据集的基础链接。 --> - **代码仓库:** [需补充更多信息] - **论文(可选):** [需补充更多信息] - **演示(可选):** [需补充更多信息] ## 使用场景 <!-- 请阐述该数据集的预期使用方式相关问题。 --> ### 直接使用 <!-- 本节描述该数据集的适用场景。 --> [需补充更多信息] ### 超出适用范围的使用 <!-- 本节阐述误用、恶意使用,以及该数据集无法良好适配的使用场景。 --> [需补充更多信息] ## 数据集结构 <!-- 本节提供数据集字段的描述,以及关于数据集结构的额外信息,例如划分所用的标准、数据点间的关系等。 --> [需补充更多信息] ## 数据集构建 ### 整理动机 <!-- 阐述创建该数据集的动机。 --> [需补充更多信息] ### 源数据 <!-- 本节描述源数据(例如新闻文本与标题、社交媒体帖子、翻译语句等)。 --> #### 数据收集与处理流程 <!-- 本节描述数据收集与处理过程,例如数据选择标准、过滤与归一化方法、所用工具与库等。 --> [需补充更多信息] #### 源数据的生成者是谁? <!-- 本节描述最初创建该数据的个人或系统。若可用,还应包含源数据创建者自行报告的人口统计或身份信息。 --> [需补充更多信息] ### 标注信息(可选) <!-- 若数据集包含初始数据收集之外的标注内容,请使用本节描述相关信息。 --> #### 标注流程 <!-- 本节描述标注流程,例如标注过程中使用的工具、标注的数据量、提供给标注者的标注指南、标注者间统计数据、标注验证等。 --> [需补充更多信息] #### 标注者是谁? <!-- 本节描述创建标注的个人或系统。 --> [需补充更多信息] #### 个人与敏感信息 <!-- 说明数据集是否包含可被视为个人、敏感或隐私的数据(例如:显示地址、唯一可识别的姓名或别名、种族或族裔出身、性取向、宗教信仰、政治观点、财务或健康数据等)。若已对数据采取匿名化措施,请描述该匿名化过程。 --> [需补充更多信息] ## 偏差、风险与局限性 <!-- 本节旨在传达技术与社会技术层面的局限性。 --> ### 建议 <!-- 本节旨在针对偏差、风险与技术局限性给出相关建议。 --> 用户应知晓该数据集存在的风险、偏差与局限性。如需进一步建议,需补充更多信息。 ## 引用(可选) <!-- 若有介绍该数据集的论文或博客文章,应在此处给出其APA与BibTeX格式的引用信息。 --> **BibTeX格式:** [需补充更多信息] **APA格式:** [需补充更多信息] ## 术语表(可选) <!-- 若相关,可在此处添加可帮助读者理解数据集或数据集卡片的术语与计算公式。 --> [需补充更多信息] ## 更多信息(可选) [需补充更多信息] ## 数据集卡片撰写者(可选) [需补充更多信息] ## 数据集卡片联系人 [需补充更多信息]
提供机构:
when2rl
原始信息汇总

数据集概述

数据集名称

  • 名称: when2rl/Nectar_reformatted

数据集转换

  • 原始数据集: berkeley-nest/Nectar
  • 转换操作:
    • 将原始的7-way比较数据转换为DPO对,选取排名最高的答案作为chosen,随机选择底部三个响应中的一个作为rejected。
    • 由于原始数据集未标记分数,使用chosen=10.0和rejected=1.0作为占位符。

数据集特征

主要特征

  • prompt: 字符串类型
  • prompt_id: 字符串类型
  • chosen:
    • content: 字符串类型
    • role: 字符串类型
  • rejected:
    • content: 字符串类型
    • role: 字符串类型
  • messages:
    • content: 字符串类型
    • role: 字符串类型
  • score_chosen: 浮点数类型(float64)
  • score_rejected: 浮点数类型(float64)
  • other_info: 结构化数据
    • chosen_model: 字符串类型
    • chosen_rank: 浮点数类型(float64)
    • good_natured: 布尔类型
    • prompt_source: 序列字符串类型
    • rejected_model: 字符串类型
    • rejected_rank: 浮点数类型(float64)
    • source: 字符串类型

数据集分割

  • 分割名称: train
  • 数据大小: 1004392837字节
  • 示例数量: 182954
  • 下载大小: 482675685字节
  • 数据集大小: 1004392837字节

配置

  • 配置名称: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*
二维码
社区交流群
二维码
科研交流群
商业服务