dim/habr_prompts_5k

Hugging Face2023-09-25 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/dim/habr_prompts_5k

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: features: - name: solution_short_llama2 dtype: string - name: id dtype: int64 - name: language dtype: string - name: url dtype: string - name: title dtype: string - name: text_markdown dtype: string - name: text_html dtype: string - name: author dtype: string - name: original_author dtype: string - name: original_url dtype: string - name: lead_html dtype: string - name: lead_markdown dtype: string - name: type dtype: string - name: time_published dtype: int64 - name: statistics struct: - name: commentsCount dtype: int64 - name: favoritesCount dtype: int64 - name: readingCount dtype: int64 - name: score dtype: int64 - name: votesCount dtype: int64 - name: votesCountMinus dtype: int64 - name: votesCountPlus dtype: int64 - name: labels sequence: string - name: hubs sequence: string - name: flows sequence: string - name: tags sequence: string - name: reading_time dtype: int64 - name: format dtype: string - name: complexity dtype: string - name: comments struct: - name: author sequence: string - name: children sequence: sequence: int64 - name: id sequence: int64 - name: level sequence: int64 - name: message_html sequence: string - name: message_markdown sequence: string - name: parent_id sequence: int64 - name: score sequence: int64 - name: time_published sequence: int64 - name: votes sequence: int64 - name: readingCount dtype: int64 - name: prompts dtype: string splits: - name: train num_bytes: 1032739347 num_examples: 5000 download_size: 495188038 dataset_size: 1032739347 --- # Dataset Card for "habr_prompts_5k" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 数据集信息 **特征字段**： 1. `solution_short_llama2`：字符串类型 2. `id`：64位整数（int64）类型 3. `language`：字符串类型 4. `url`：字符串类型 5. `title`：字符串类型 6. `text_markdown`：字符串类型 7. `text_html`：字符串类型 8. `author`：字符串类型 9. `original_author`：字符串类型 10. `original_url`：字符串类型 11. `lead_html`：字符串类型 12. `lead_markdown`：字符串类型 13. `type`：字符串类型 14. `time_published`：64位整数（int64）类型 15. `statistics`：结构体类型，包含以下子字段： - `commentsCount`：64位整数（int64）类型（评论总数） - `favoritesCount`：64位整数（int64）类型（收藏总数） - `readingCount`：64位整数（int64）类型（阅读总数） - `score`：64位整数（int64）类型（内容评分） - `votesCount`：64位整数（int64）类型（总投票数） - `votesCountMinus`：64位整数（int64）类型（反对票数量） - `votesCountPlus`：64位整数（int64）类型（赞成票数量） 16. `labels`：字符串序列类型 17. `hubs`：字符串序列类型 18. `flows`：字符串序列类型 19. `tags`：字符串序列类型 20. `reading_time`：64位整数（int64）类型（阅读时长） 21. `format`：字符串类型（内容格式） 22. `complexity`：字符串类型（内容复杂度） 23. `comments`：结构体类型，包含以下子字段： - `author`：字符串序列（评论作者列表） - `children`：嵌套整数序列（评论回复层级结构） - `id`：64位整数（int64）序列（评论ID列表） - `level`：64位整数（int64）序列（评论层级列表） - `message_html`：字符串序列（HTML格式的评论内容列表） - `message_markdown`：字符串序列（Markdown格式的评论内容列表） - `parent_id`：64位整数（int64）序列（评论父级ID列表） - `score`：64位整数（int64）序列（评论评分列表） - `time_published`：64位整数（int64）序列（评论发布时间列表） - `votes`：64位整数（int64）序列（评论投票数列表） 24. `readingCount`：64位整数（int64）类型（阅读总数） 25. `prompts`：字符串类型（提示词） **数据集划分**： - 训练集（train）：占用字节数1032739347，共包含5000条样本数据集下载总大小：495188038，数据集存储总大小：1032739347 --- # 「habr_prompts_5k」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

提供机构：

dim

原始信息汇总

数据集概述

数据集信息

特征

solution_short_llama2: 类型为字符串。
id: 类型为64位整数。
language: 类型为字符串。
url: 类型为字符串。
title: 类型为字符串。
text_markdown: 类型为字符串。
text_html: 类型为字符串。
author: 类型为字符串。
original_author: 类型为字符串。
original_url: 类型为字符串。
lead_html: 类型为字符串。
lead_markdown: 类型为字符串。
type: 类型为字符串。
time_published: 类型为64位整数。
statistics: 结构体，包含以下字段：
- commentsCount: 类型为64位整数。
- favoritesCount: 类型为64位整数。
- readingCount: 类型为64位整数。
- score: 类型为64位整数。
- votesCount: 类型为64位整数。
- votesCountMinus: 类型为64位整数。
- votesCountPlus: 类型为64位整数。
labels: 序列，类型为字符串。
hubs: 序列，类型为字符串。
flows: 序列，类型为字符串。
tags: 序列，类型为字符串。
reading_time: 类型为64位整数。
format: 类型为字符串。
complexity: 类型为字符串。
comments: 结构体，包含以下字段：
- author: 序列，类型为字符串。
- children: 序列的序列，类型为64位整数。
- id: 序列，类型为64位整数。
- level: 序列，类型为64位整数。
- message_html: 序列，类型为字符串。
- message_markdown: 序列，类型为字符串。
- parent_id: 序列，类型为64位整数。
- score: 序列，类型为64位整数。
- time_published: 序列，类型为64位整数。
- votes: 序列，类型为64位整数。
readingCount: 类型为64位整数。
prompts: 类型为字符串。

数据分割

train: 包含5000个样本，占用1032739347字节。

数据集大小

下载大小: 495188038字节。
数据集大小: 1032739347字节。

搜集汇总

数据集介绍

构建方式

该数据集源自俄罗斯知名技术博客平台Habr，通过系统化采集与精心筛选，最终收录了5000篇高质量的技术文章。每篇文章均被转化为Markdown与HTML双格式文本，并辅以详尽的元数据，包括标题、作者、发布时间、阅读统计及用户互动指标。尤为独特的是，数据集引入了基于Llama 2模型生成的短篇摘要（solution_short_llama2），为每篇内容提供了精炼的语义凝练。此外，数据还涵盖了文章所属标签、技术中心、流程分类及复杂度评级等结构化信息，并保留了完整的评论树结构，包括嵌套回复与评分。这一构建方式不仅确保了数据的多维度覆盖，也为后续的自然语言处理任务提供了丰富的上下文与标注基础。

使用方法

该数据集可通过Hugging Face Datasets库直接加载，用户仅需指定数据集名称'dim/habr_prompts_5k'即可获取训练集。数据以字典形式组织，包含文本内容、元数据及嵌套结构如评论与标签。在应用层面，研究者可提取'text_markdown'字段进行文档分类或主题建模，利用'prompts'字段进行指令微调或提示工程实验。评论数据可被解析为对话序列，用于训练对话机器人或分析用户互动模式。对于需要预训练或微调的场景，建议将文本与摘要配对，构建监督学习任务。数据集的统计字段如阅读数与评分，亦可作为回归或排序任务的标签。加载时，建议根据任务需求过滤特定语言或格式的条目，以优化模型训练效率。

背景与挑战

背景概述

在自然语言处理领域，高质量提示语（prompt）数据集的构建对于推动大语言模型（LLM）的指令遵循能力与生成质量至关重要。dim/habr_prompts_5k数据集由俄罗斯知名技术博客平台Habr的社区内容衍生而来，其创建时间可追溯至2023年后，由数据科学家团队基于Habr上逾5000篇技术文章及其用户互动数据精心整理而成。该数据集的核心研究问题在于探索如何从真实世界的技术讨论中提取多样化的提示语，以模拟复杂、多领域的用户查询场景，填补了现有提示语数据集多局限于单一任务或合成数据的空白。其影响力在于为LLM的微调与评测提供了一个富含俄语技术语境、包含文章标题、正文、评论及元数据的多模态提示语集合，有力推动了多语言与领域特定提示工程的发展。

当前挑战

该数据集所解决的领域挑战在于克服传统提示语数据集任务单一、语言与文化多样性不足的局限，通过整合Habr上涵盖编程、科学、设计等多元技术主题的原始内容，构建出反映真实用户意图的复杂提示语，从而提升模型对俄语技术语境的理解与生成能力。在构建过程中，挑战尤为显著：一是需从海量非结构化HTML与Markdown文本中精准提取提示语字段，同时保留文章结构、评论线程及用户评分等上下文信息，确保数据完整性；二是处理多语言混杂（如俄语与英语术语混用）及作者匿名化带来的标注一致性难题；三是平衡数据规模与质量，在5000个样本中实现提示语复杂度（如simple、medium、hard）与格式（如article、note、discussion）的均匀分布，以避免模型过拟合于特定模式。

常用场景

经典使用场景

在自然语言处理与计算语言学领域，dim/habr_prompts_5k数据集因其丰富的多模态文本结构而备受青睐。该数据集汇聚了来自俄语技术社区Habr的五千篇高质量文章，每篇均包含标题、正文（Markdown与HTML格式）、评论树、元标签及用户互动统计等字段。其最经典的使用场景在于训练和评估面向技术内容的文本生成模型，例如基于提示（prompt）的摘要生成、技术博客风格迁移以及多轮对话系统的上下文构建。研究者可借助其中的prompts字段与solution_short_llama2字段，构建监督式学习任务，从而探索大型语言模型在特定领域指令遵循能力上的表现。

解决学术问题

该数据集有效回应了技术文本理解与生成中若干长期存在的学术难题。首先，它提供了结构化的评论层级和丰富的元数据（如阅读量、评分、投票数），使得研究者能够深入分析技术社区中的信息传播模式与用户反馈机制。其次，通过整合多语言标签、技术复杂度标注以及阅读时长信息，数据集为解决跨语言技术知识迁移和文本可读性评估提供了基准资源。此外，它支持对技术文章进行细粒度的情感分析、主题建模以及作者影响力预测，从而推动了计算社会科学与自然语言处理的交叉研究。

实际应用

在实际应用层面，dim/habr_prompts_5k数据集可赋能多种工业级系统。例如，智能内容推荐系统可借助其中的统计特征（如readingCount、favoritesCount）和标签体系，为技术读者提供个性化文章推送。自动问答平台可利用评论树中的对话结构，抽取高频问题与专家回答，构建面向程序员与工程师的知识库。此外，该数据集还可用于训练技术文档自动摘要工具、博客风格改写引擎以及基于社区反馈的内容质量评估模型，从而提升技术写作与知识管理的效率。

数据集最近研究