sadnblueish/apache-hadoop-mddocs-instruct

---
dataset_info:
features:
- name: instruction
dtype: string
- name: response
dtype: string
- name: hadoop_version
dtype: string
- name: source
dtype: string
- name: section_title
dtype: string
- name: system
dtype: string
splits:
- name: train
num_bytes: 14904765
num_examples: 12438
- name: test
num_bytes: 784902
num_examples: 655
download_size: 4883687
dataset_size: 15689667
configs:
- config_name: default
data_files:
- split: train
path: hadoop_3.4.3/train-*
- split: test
path: hadoop_3.4.3/test-*
license: apache-2.0
task_categories:
- question-answering
- feature-extraction
- text-generation
language:
- en
pretty_name: Apache Hadoop v3.4.3
size_categories:
- 10K<n<100K
---

# Dataset Card for sadnblueish/apache-hadoop-mddocs-instruct

Domain Knowledge Synthetic Dataset of Apache Hadoop v3.4.3.

## Dataset Details

### Dataset Description

AI Cognitive SFT dataset for domain knowledge of Apache Hadoop version 3.4.3.
Ollama hosted Deepseek-Coder-16B:Q4 was used to augment the dataset via multi-step Markdown ingestion pipeline.

A LoRA adapter of Qwen2.5-Coder-7B was Fine Tuned with this dataset:

| | Avg Train Loss | Final Train Loss | Eval Loss | Train Runtime (s) | flash_attn |
| ------| -------------- | ---------------- | --------- | ----------------- | -------------|
| bf16 | 0.5232 | 0.2942 | 0.7667 | 2886 | flash-attn-3 |

### Dataset Sources

- **Repository:** https://github.com/apache/hadoop/tree/branch-3.4.3

数据集信息：
特征字段：
- 字段名：instruction，数据类型：字符串
- 字段名：response，数据类型：字符串
- 字段名：hadoop_version，数据类型：字符串
- 字段名：source，数据类型：字符串
- 字段名：section_title，数据类型：字符串
- 字段名：system，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：14904765，样本数：12438
- 划分名称：test，字节数：784902，样本数：655
下载大小：4883687，总数据集大小：15689667
配置项：
- 配置名称：default，数据文件：
- 训练集划分：hadoop_3.4.3/train-*
- 测试集划分：hadoop_3.4.3/test-*
许可证：apache-2.0
任务类别：
- 问答任务
- 特征提取任务
- 文本生成任务
语言：英语
数据集展示名：Apache Hadoop v3.4.3
样本量区间：10000 < 样本数 < 100000

# 数据集卡片：sadnblueish/apache-hadoop-mddocs-instruct

Apache Hadoop 3.4.3 版本领域知识合成数据集。

## 数据集详情

### 数据集描述
面向Apache Hadoop 3.4.3版本领域知识的AI认知监督微调（Supervised Fine-Tuning, SFT）数据集。本数据集通过多步Markdown文档摄取流水线，借助Ollama部署的Deepseek-Coder-16B:Q4模型完成数据增强。

本数据集用于微调Qwen2.5-Coder-7B的低秩适配器（Low-Rank Adaptation, LoRA），微调结果如下：

| | 平均训练损失 | 最终训练损失 | 评估损失 | 训练运行时长（秒） | Flash Attention (flash_attn) |
| ------| -------------- | ---------------- | --------- | ----------------- | -------------|
| bf16 | 0.5232 | 0.2942 | 0.7667 | 2886 | flash-attn-3 |

### 数据集来源
- **代码仓库**：https://github.com/apache/hadoop/tree/branch-3.4.3