HuggingFaceH4/stack-exchange-preferences|用户偏好分析数据集|自然语言处理数据集

该数据集包含来自Stack Overflow数据集的问题和答案，专门用于偏好模型训练。数据集中的问题至少有两个答案，每个答案根据点赞数和提问者的接受情况获得分数。此数据集还可用于指令微调和语言模型训练。README文件中还提供了一个用于创建二值化数据集的脚本，这对于偏好模型预训练至关重要。数据集遵循cc-by-sa-4.0许可，具有特定的归属要求。

原始信息汇总

H4 Stack Exchange Preferences Dataset 概述

数据集描述

• 数据集名称: H4 Stack Exchange Preferences Dataset
• 数据集用途: 主要用于偏好模型训练，也可用于指令微调和语言模型训练。
• 数据集内容: 包含从Stack Overflow数据转储中筛选出的问题及其至少两个答案，每个答案附有根据Anthropic论文定义的评分。
• 评分机制: 评分计算公式为score = log2 (1 + upvotes) 四舍五入到最近的整数，如果答案被提问者接受则加1，如果upvotes为负则评分设为-1。
• 数据集大小: 下载大小为22.13 GB。
• 数据集语言: 主要为英语。

使用指南

• 数据预处理: 提供了一个脚本用于将数据集二值化，以便于偏好模型预训练。
• 注意事项: 使用此数据集进行偏好模型预训练时，可能需要进一步过滤数据以匹配评分。

许可证信息

• 许可证: CC-BY-SA-4.0
• 使用要求: 使用时必须按照许可证要求进行适当的归属，包括显示内容来源、作者信息及直接链接至原始问题和作者个人资料页。

引用信息

@online{h4stackexchange, author = {Lambert, Nathan and Tunstall, Lewis and Rajani, Nazneen and Thrush, Tristan}, title = {HuggingFace H4 Stack Exchange Preference Dataset}, year = 2023, url = {https://huggingface.co/datasets/HuggingFaceH4/stack-exchange-preferences}, }