REILX/neo_sft_phase2_single

---
license: apache-2.0
task_categories:
- text-generation
language:
- en
- zh
size_categories:
- 10K<n<100K
---

### dataset
The original dataset can be found at: https://huggingface.co/datasets/m-a-p/neo_sft_phase2</br>
Use the following code to select two-turn conversations for your SFT dataset.

### code
```python
import json
def process_conversations(input_file, output_file):
with open(input_file, 'r', encoding='utf-8') as f_in, \
open(output_file, 'w', encoding='utf-8') as f_out:
data = json.load(f_in)

for item in data:
conversations = item.get("conversations", [])
if len(conversations) == 2:
human_value = conversations[0].get("value", "")
gpt_value = conversations[1].get("value", "")
output_data = {
"instruction": human_value,
"output": gpt_value
}
f_out.write(json.dumps(output_data, ensure_ascii=False) + "\n")

if __name__ == "__main__":
input_json_file = "neo_sft_phase2.json"
output_jsonl_file = "neo_sft_phase2_conversation2.json"
process_conversations(input_json_file, output_jsonl_file)
```

---
许可证：Apache-2.0
任务类别：
- 文本生成（text-generation）
语言：
- 英语（en）
- 中文（zh）
样本规模：10000 < 样本量 < 100000
---

### 数据集
原始数据集可通过以下地址获取：https://huggingface.co/datasets/m-a-p/neo_sft_phase2</br>
可使用下述代码筛选出两轮对话数据，用于构建监督微调（Supervised Fine-tuning，SFT）数据集。

### 代码
python
import json
def process_conversations(input_file, output_file):
with open(input_file, 'r', encoding='utf-8') as f_in,
open(output_file, 'w', encoding='utf-8') as f_out:
data = json.load(f_in)

for item in data:
conversations = item.get("conversations", [])
if len(conversations) == 2:
human_value = conversations[0].get("value", "")
gpt_value = conversations[1].get("value", "")
output_data = {
"instruction": human_value,
"output": gpt_value
}
f_out.write(json.dumps(output_data, ensure_ascii=False) + "
")

if __name__ == "__main__":
input_json_file = "neo_sft_phase2.json"
output_jsonl_file = "neo_sft_phase2_conversation2.json"
process_conversations(input_json_file, output_jsonl_file)

原始信息汇总

数据集概述

• 许可证: Apache 2.0
• 任务类别: 文本生成
• 语言:
  • 英语
  • 中文
• 数据规模: 10K<n<100K

数据处理

• 原始数据集: https://huggingface.co/datasets/m-a-p/neo_sft_phase2
• 数据处理代码:
  • 用于从原始数据集中提取两轮对话，并将其转换为指令-输出格式的JSONL文件。
  • 代码功能:
    • 读取原始JSON文件。
    • 筛选出包含两轮对话的数据。
    • 将每轮对话的指令和输出分别提取并保存为新的JSONL文件。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量的有监督微调数据集对于提升大语言模型的对话能力至关重要。REILX/neo_sft_phase2_single数据集源自公开的neo_sft_phase2语料库，通过精心设计的筛选流程构建而成。具体而言，该数据集聚焦于提取原始多轮对话中的两轮交互样本，利用自动化脚本对原始JSON格式数据进行解析，仅保留包含恰好两轮对话的条目，并将首轮用户输入作为指令（instruction），次轮模型回复作为输出（output），最终以JSONL格式存储，从而形成结构清晰、易于使用的单轮指令-响应对数据集。

特点

该数据集独具匠心地专注于两轮对话场景，其规模介于一万至十万条之间，既保证了数据的丰富性，又避免了冗余噪声的干扰。数据涵盖英文与中文双语内容，适用于多语言环境下的模型微调。此外，采用Apache-2.0开源协议发布，为学术研究与商业应用提供了便利。通过精准筛选对话长度，数据集有效剔除了复杂多轮交互中的上下文依赖问题，使得每条样本均为独立的指令-响应单元，极大简化了训练过程中的数据处理复杂度，特别适合用于基础对话能力的强化训练。

使用方法

使用该数据集时，开发者可直接读取JSONL格式文件，其中每行包含'instruction'与'output'两个字段，分别代表用户指令和期望的模型输出。在微调大语言模型时，可将这些数据以标准的有监督学习方式进行加载，例如通过HuggingFace的datasets库或自定义数据加载器，将指令部分作为输入序列，输出部分作为目标序列进行训练。由于数据已预先清洗并格式化，无需额外预处理步骤，从而大幅降低了模型微调的上手门槛，尤其适合快速验证对话生成模型的性能提升效果。

背景与挑战

背景概述

REILX/neo_sft_phase2_single数据集源于大规模语言模型指令微调领域，由m-a-p团队于近期构建并发布，旨在为文本生成任务提供高质量的双轮对话数据。该数据集从原始neo_sft_phase2语料中筛选出恰好包含两轮交互的对话样本，聚焦于人类指令与模型生成回复的配对关系，其核心研究问题在于如何通过精简而有效的对话结构提升监督微调（SFT）的效率与泛化能力。作为开源社区的重要资源，该数据集以Apache-2.0许可发布，涵盖中英文双语内容，样本规模介于1万至10万之间，为轻量级模型调优和对话系统研究提供了标准化基准，对推动指令遵循与多轮交互建模的进步具有显著价值。

当前挑战

当前数据集面临的核心挑战包括：其一，在领域问题层面，双轮对话虽能捕捉基础指令遵循能力，但难以覆盖复杂多轮推理、上下文依赖及长程记忆等真实场景需求，限制了模型在动态交互任务中的表现。其二，在构建过程中，原始语料中仅约10K-100K样本满足严格的双轮条件，筛选策略可能导致数据多样性不足，且对话结构单一化（仅含一问一答）易引入偏见，削弱模型对开放域生成和歧义处理的鲁棒性。此外，中英文数据的不均衡分布及潜在的语言风格偏差，进一步加剧了跨语言泛化的难度，需要更精细的数据增强与平衡策略来应对这些挑战。

常用场景

经典使用场景

REILX/neo_sft_phase2_single 数据集专为单轮对话场景下的监督式微调（SFT）而设计，其核心用途在于构建指令跟随型语言模型。该数据集从原始多轮对话语料中精心筛选出仅包含一轮人机交互的样本，形成“指令-输出”对，从而为模型提供清晰、简洁的监督信号。在自然语言处理领域，这种结构化数据被广泛用于训练模型理解并回应用户的单一指令，是提升模型基础对话能力与指令遵循精度的基石。

实际应用

在实际应用中，该数据集可用于训练面向客服问答、智能助手、信息检索等场景的单轮对话系统。例如，企业可基于此数据集微调模型，使其能够精准回答用户关于产品功能、操作指南或常见问题的单一查询。此外，在教育辅导、健康咨询等垂直领域，该数据集有助于构建能够快速理解并回应用户即时需求的轻量化对话模型，显著提升用户交互体验与系统响应效率。

衍生相关工作

基于该数据集的筛选逻辑与处理流程，衍生出了一系列关于对话数据质量评估与结构化筛选的经典工作。研究者借鉴其“仅保留两轮对话”的筛选策略，进一步探索了对话轮次、角色一致性、语义完整性等维度对模型微调效果的影响。这些工作推动了数据清洗与预处理方法论的成熟，并催生了诸如对话复杂度分级、指令多样性增强等后续研究方向，为构建更高效、更鲁棒的指令微调数据集奠定了方法论基础。