luisroque/instruct-python-500k

该数据集包含来自Stack Overflow上带有`python`标签的问题和答案，时间跨度为2008年8月2日至2016年10月19日。数据集经过转换，专注于高质量内容，用于微调大型语言模型（LLMs）以改进Python编程辅助。处理步骤包括问题与答案的配对、保留每个问题的最高评分答案、去除HTML标签、合并问题的标题和正文、过滤掉负分或不包含Python代码结构的条目。最终数据集包含`score_question`、`score_answer`、`question`和`answer`四个字段。数据集的大小为987,469,369字节，包含501,349个示例，适用于文本生成任务，语言为英语。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • score_question: 问题评分，数据类型为 int16
  • score_answer: 回答评分，数据类型为 int16
  • question: 问题内容，数据类型为 string
  • answer: 回答内容，数据类型为 string
  • __index_level_0__: 索引级别，数据类型为 int64
• 分割:
  • train: 训练集，包含 501349 个样本，总字节数为 987469369
• 下载大小: 550185963 字节
• 数据集大小: 987469369 字节
• 配置:
  • default: 数据文件路径为 data/train-*
• 许可: CC-BY-SA 3.0
• 任务类别: 文本生成
• 语言: 英语
• 名称: Instruct Python 500k
• 大小类别: 100K<n<1M

转换后的数据集

• 目标: 用于微调大型语言模型，以提高Python编程辅助的质量。
• 结构:
  • 问题-回答配对: 使用 ParentId 进行问题和回答的配对。
  • 质量聚焦: 仅保留每个问题的最高评分回答。
  • HTML标签移除: 移除内容中的所有HTML标签。
  • 合并问题字段: 每个问题的标题和正文合并。
  • 过滤: 排除评分负数或不包含Python代码结构的条目。
• 最终列:
  • score_question
  • score_answer
  • question
  • answer

原始数据集

• 内容: 包含带有 python 标签的Stack Overflow问题和回答，时间范围从2008年8月2日至2016年10月19日。