stanfordnlp/SHP|机器学习数据集|数据集难度评估数据集

hugging_face2023-10-10 更新2024-03-04 收录

机器学习

数据集难度评估

下载链接：

https://hf-mirror.com/datasets/stanfordnlp/SHP

下载链接

链接失效反馈

资源简介：

Stanford Human Preferences Dataset (SHP) 是一个包含385K条Reddit用户对18个不同主题领域的问题/指令的集体偏好的数据集，用于训练RLHF奖励模型和NLG评估模型。每个示例是一个Reddit帖子，包含一个问题/指令和一对顶级评论，其中一个评论更受Reddit用户集体偏好。数据集通过时间戳信息推断偏好，确保偏好反映的是评论的‘帮助性’而非‘有害性’。数据集包含18个子论坛的训练、验证和测试数据，每个子论坛的数据以JSONL文件格式存储。

提供机构：

stanfordnlp

原始信息汇总

数据集概述

数据集名称

Stanford Human Preferences Dataset (SHP)

数据集大小

385K 条数据

数据集任务类别

文本生成
问答

数据集标签

人类反馈
RLHF
偏好
Reddit
偏好模型
RL
NLG
评估

数据集语言

英语

数据集内容

SHP 包含 385K 条人类对回答问题/指令的偏好数据，涵盖 18 个不同领域，如烹饪、法律咨询等。每个示例包含一个 Reddit 帖子，一个问题/指令以及该帖子的两个顶级评论，其中一个评论被 Reddit 用户集体更偏好。

数据集结构

数据集分为 18 个目录，每个目录代表一个子论坛，每个目录包含用于训练、验证和测试的 JSONL 文件。

数据集用途

用于训练 RLHF 奖励模型和 NLG 评估模型。

数据集与其他数据集的区别

与 Anthropics HH-RLHF 数据集相比，SHP 的数据均为自然发生和人类编写，而 HH-RLHF 的回答是机器编写。
与 ELI5 数据集相比，SHP 使用时间戳信息推断偏好，而 ELI5 仅提供评论和分数。

数据集预处理

预处理保持最小化，包括扩展子论坛特定缩写和移除超链接中的 URL。

构建偏好模型

建议使用大型模型进行微调，如 FLAN-T5-xl，以预测人类偏好，并建议根据 score_ratio 报告性能曲线。

数据集限制

SHP 不用于伤害最小化，不包含学习毒性检测所需的毒性内容。
更偏好的响应不一定更事实准确。

数据集许可证

根据 Reddit API 使用条款进行数据抓取，用户内容所有权归用户所有，Reddit 授予非独占、不可转让、不可再授权和可撤销的许可。

数据集联系信息

联系邮箱：kawin@stanford.edu

数据集创建者

Kawin Ethayarajh, Heidi (Chenyu) Zhang, Yizhong Wang, Dan Jurafsky

AI搜集汇总

数据集介绍

构建方式

斯坦福人类偏好数据集（SHP）的构建采用了对Reddit平台上的帖子及其评论进行抓取的方式。通过分析帖子的时间戳和评分信息，该数据集提炼出了人类对评论帮助性的集体偏好。具体而言，数据集包含了18个不同主题的子版块，每个子版块下有训练、验证和测试三个数据集，数据通过子版块内的帖子ID进行划分，确保了数据的多样性和代表性。

特点

SHP数据集的特点在于其利用了Reddit平台上评论的时间戳信息来推断偏好，而非单纯依赖评分。此外，数据集涵盖了18个不同领域的子版块，包括了从烹饪到法律咨询等多样化的主题，使得该数据集在领域覆盖上具有广泛性。每个示例包含了一个问题或指令以及两个顶级评论，通过集体的偏好标签，为训练RLHF奖励模型和NLG评估模型提供了有力的基础。

使用方法

使用SHP数据集时，用户可以通过HuggingFace的datasets库来加载整个数据集或特定子版块的数据。数据集的结构包括多个字段，如帖子ID、领域、评分比例、偏好标签等，这些字段为用户提供了丰富的信息来进行模型训练和评估。加载数据后，用户可以根据需要对其进行预处理，以适应不同模型的输入要求，进而进行微调、评估等操作。

背景与挑战

背景概述

斯坦福人类偏好数据集（SHP）是一款汇集了385K条人类对问题/指令响应的集体偏好数据集，涵盖了18个不同的主题领域。该数据集创建于2022年，主要研究人员来自于斯坦福大学，其核心研究问题是如何理解和利用人类偏好信息来训练强化学习奖励模型和自然语言生成评价模型。SHP数据集对相关领域产生了重要影响，为研究人类偏好提供了丰富的实验资源。

当前挑战

SHP数据集在构建过程中遇到的挑战主要包括：1）如何准确捕捉并利用人类在Reddit上的偏好信息，特别是在处理时间戳和评分之间的关系时；2）如何确保数据集的多样性和平衡性，避免特定领域的过度代表；3）如何在保持数据质量的同时，处理Reddit数据中的噪声和潜在的有害内容；4）如何设计和实现有效的偏好模型，使其在不同领域和不同条件下都能保持良好的性能。

常用场景

经典使用场景

斯坦福人类偏好数据集（SHP）广泛应用于自然语言处理领域，其经典使用场景在于训练和评估基于人类偏好的模型，如强化学习中的奖励模型和自然语言生成（NLG）的评价模型。该数据集通过收集Reddit上的用户评论，利用评论的时间戳和得分差异来推断人类对回答的偏好，进而优化模型对问题回答的准确性和有效性。

实际应用

在实际应用中，SHP数据集可被用于改进聊天机器人、推荐系统和个性化搜索等，通过模拟人类偏好，这些系统能够提供更加精准和符合用户期望的服务。此外，它还可以用于广告投放和内容优化，以增强用户互动和满意度。

衍生相关工作

基于SHP数据集，衍生出了多项相关工作，包括SteamSHP模型，这是一种经过微调的偏好模型，用于评估NLG和构建RLHF奖励模型。这些工作进一步扩展了SHP数据集的应用范围，推动了自然语言处理领域的发展。

以上内容由AI搜集并总结生成

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4098个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

中国气象数据

本数据集包含了中国2023年1月至11月的气象数据，包括日照时间、降雨量、温度、风速等关键数据。通过这些数据，可以深入了解气象现象对不同地区的影响，并通过可视化工具揭示中国的气温分布、降水情况、风速趋势等。

github 收录

马达加斯加岛 – 世界地理数据大百科辞条

马达加斯加岛在非洲的东南部，位于11o56′59″S - 25o36′25″S及43o11′18″E - 50o29′36″E之间。通过莫桑比克海峡与位于非洲大陆的莫桑比克相望，最近距离为415千米。临近的岛屿分别为西北部的科摩罗群岛、北部的塞舌尔群岛、东部的毛里求斯岛和留尼汪岛等。在google earth 2015年遥感影像基础上研发的马达加斯加海岸线数据集表明，马达加斯加岛面积591,128.68平方千米，其中马达加斯加本岛面积589,015.06平方千米，周边小岛面积为2,113.62平方千米。马达加斯加本岛是非洲第一大岛，是仅次于格陵兰、新几内亚岛和加里曼丹岛的世界第四大岛屿。岛的形状呈南北走向狭长纺锤形，南北向长1,572千米；南北窄，中部宽，最宽处达574千米。海岸线总长16,309.27千米, 其中马达加斯加本岛海岸线长10,899.03千米，周边小岛海岸线长5,410.24千米。马达加斯加岛属于马达加斯加共和国。全国共划分22个区，119个县。22个区分别为：阿那拉芒加区，第亚那区，上马齐亚特拉区，博爱尼区，阿齐那那那区，阿齐莫-安德列发那区，萨瓦区，伊达西区，法基南卡拉塔区，邦古拉法区，索非亚区，贝齐博卡区，梅拉基区，阿拉奥特拉-曼古罗区，阿那拉兰基罗富区，阿莫罗尼马尼亚区，法土法韦-非图韦那尼区，阿齐莫-阿齐那那那区，伊霍罗贝区，美那贝区，安德罗伊区和阿诺西区。首都安塔那那利佛（Antananarivo）位于岛屿的中东部。马达加斯加岛是由火山及喀斯特地貌为主。贯穿海岛的是巨大火山岩山体-察腊塔纳山，其主峰马鲁穆库特鲁山（Maromokotro）海拔2,876米，是全国最高峰。马达加斯加自然景观垂直地带性分异显著，是热带雨林和热带草原广布的地区。岛上大约有20多万种动植物，其中包括马达加斯加特有物种狐猴（Lemur catta）、马达加斯加国树猴面包树（Adansonia digitata L.）等。

国家对地观测科学数据中心收录

全国 1∶200 000 数字地质图（公开版）空间数据库

As the only one of its kind, China National Digital Geological Map (Public Version at 1∶200 000 scale) Spatial Database (CNDGM-PVSD) is based on China' s former nationwide measured results of regional geological survey at 1∶200 000 scale, and is also one of the nationwide basic geosciences spatial databases jointly accomplished by multiple organizations of China. Spatially, it embraces 1 163 geological map-sheets (at scale 1: 200 000) in both formats of MapGIS and ArcGIS, covering 72% of China's whole territory with a total data volume of 90 GB. Its main sources is from 1∶200 000 regional geological survey reports, geological maps, and mineral resources maps with an original time span from mid-1950s to early 1990s. Approved by the State's related agencies, it meets all the related technical qualification requirements and standards issued by China Geological Survey in data integrity, logic consistency, location acc racy, attribution fineness, and collation precision, and is hence of excellent and reliable quality. The CNDGM-PVSD is an important component of China' s national spatial database categories, serving as a spatial digital platform for the information construction of the State's national economy, and providing informationbackbones to the national and provincial economic planning, geohazard monitoring, geological survey, mineral resources exploration as well as macro decision-making.

DataCite Commons 收录

URPC系列数据集, S-URPC2019, UDD

URPC系列数据集包括URPC2017至URPC2020DL，主要用于水下目标的检测和分类。S-URPC2019专注于水下环境的特定检测任务。UDD数据集信息未在README中详细描述。

github 收录

poi

本项目收集国内POI兴趣点，当前版本数据来自于openstreetmap。

github 收录