perfectblend-regen-qwen3-8b-non-thinking

PerfectBlend Regen Qwen3-8B Non-Thinking 32768 Clean 是一个经过清理的对话数据集，源自 PerfectBlend 数据，并使用 Qwen3-8B 模型在非思考（non-thinking）模式下重新生成。本数据集旨在提供高质量、完整的对话样本，通过多阶段补生成和严格过滤，移除了因上下文长度限制、尾部退化或达到最大生成长度但未自然结束的缺陷样本。数据内容包含 1,420,046 条清理后的对话样本，以 Parquet 格式分片存储（共8个文件）。每条样本包含一个唯一的原始行索引（id）、严格交替的 user/assistant 角色对话内容（conversations），以及使用 Qwen3-8B tokenizer 统计的助理消息 token 信息（assistant_token_stats）。对话遵循以 user 开头、assistant 结尾的格式，且不包含推理内容（reasoning_content）。数据规模方面，助理消息部分总 token 数约为 12.96 亿，平均每个样本的助理 token 数约为 912.42，平均每轮对话的助理 token 数约为 687.96。最大单轮助理 token 数和单样本总助理 token 数均为 32,767。此外，还提供了一个包含 863 条被排除样本 ID 及原因（如上下文长度超限、尾部退化、无界生成等）的 JSONL 文件（dropped_ids.jsonl）。本数据集适用于文本生成、对话系统训练或大语言模型微调等任务。使用者需根据自身任务需求，进一步进行安全过滤、质量过滤、去重和许可证合规性检查。

PerfectBlend Regen Qwen3-8B Non-Thinking 32768 Clean is a cleaned dialogue dataset derived from PerfectBlend data and regenerated using the Qwen3-8B model in non-thinking mode. This dataset aims to provide high-quality, complete dialogue samples by performing multi-stage completion generation and strict filtering to remove defective samples caused by context length limitations, tail degradation, or reaching the maximum generation length without natural ending. The data content includes 1,420,046 cleaned dialogue samples, stored in sharded Parquet format (8 files in total). Each sample contains a unique original row index (id), strictly alternating user/assistant role dialogue content (conversations), and assistant message token information (assistant_token_stats) counted using the Qwen3-8B tokenizer. The dialogues follow a format starting with user and ending with assistant, and do not contain reasoning content. In terms of data scale, the total number of assistant message tokens is approximately 1.296 billion, with an average of about 912.42 assistant tokens per sample and about 687.96 assistant tokens per dialogue round. The maximum single-round assistant tokens and total assistant tokens per sample are both 32,767. Additionally, a JSONL file (dropped_ids.jsonl) containing 863 excluded sample IDs and reasons (such as context length exceeding limits, tail degradation, unbounded generation, etc.) is provided. This dataset is suitable for tasks such as text generation, dialogue system training, or large language model fine-tuning. Users need to perform further safety filtering, quality filtering, deduplication, and license compliance checks based on their specific task requirements.

原始信息汇总

数据集概述

PerfectBlend Regen Qwen3-8B Non-Thinking 32768 Clean 是一个经过清理的对话数据集，由 Qwen3-8B 模型在 non-thinking 模式下对 PerfectBlend 原始数据重新生成并筛选得到。

• 语言: 英语 (en)、中文 (zh)
• 任务类别: 文本生成 (text-generation)
• 许可协议: 其他 (other)
• 标签: perfectblend, qwen3, qwen3-8b, non-thinking, sglang, conversational
• 数据规模: 1M < n < 10M

数据构成

• 总样本数: 1,420,046 条
• 排除样本数: 863 条（记录在 dropped_ids.jsonl 中）
• 原始数据来源: PerfectBlend 数据集，原始 regen release 共 1,420,909 条

排除原因分布

排除原因	数量
context-length 超限	38
尾部退化	800
32768 max new tokens 打满的无界生成	25

排除说明:

• context-length 超限: 因 prompt_tokens + max_tokens >= context_length 在解码前被主动跳过（8192 retry 1条，16384 retry 14条，32768 retry 23条）。
• 尾部退化: 通过确定性后处理扫描检测到 exact periodic suffix、数字模板化 periodic suffix、尾部附近重复 block、长单字符/空白/结构符号重复、低信息尾部等。
• 无界生成: 未被尾部退化规则命中，但在 32768 token 上限处停止且未自然结束的样本（完整但截断的 assistant response）。

数据格式

数据以 Parquet 分片形式存储，共 8 个分片文件（data/train-00000-of-00008.parquet 至 data/train-00007-of-00008.parquet），同时提供 dropped_ids.jsonl 记录被排除的样本。

Parquet Schema

json { "id": 0, "conversations": [ {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."} ], "assistant_token_stats": { "assistant_turn_tokens": [1012], "assistant_turn_count": 1, "assistant_total_tokens": 1012, "assistant_max_tokens": 1012 } }

• id: 原始输入行索引（0..1420908），作为主键。
• conversations: 重新生成后的对话，严格 user/assistant 交替，以 user 开头、assistant 结尾；不包含 reasoning_content（non-thinking 模式）。
• assistant_token_stats: 使用 Qwen3-8B tokenizer 对 assistant message 内容统计的 token 数（仅统计 assistant 消息，不包含 user 消息，不渲染 chat template）。

dropped_ids.jsonl 格式

每行一个 JSON 对象：

json { "id": 0, "reason": "tail_degeneracy" }

• id: 被排除的原始输入行索引
• reason: 排除原因，包括 context_length_exceeded、tail_degeneracy、unbounded_generation_hit_max_new_tokens_32768

Token 统计

使用 Qwen3-8B tokenizer 统计 assistant message 内容（add_special_tokens=false）：

指标	数值
assistant_total_tokens	1,295,678,420
assistant_turns	1,883,354
avg_assistant_tokens_per_sample	912.42
avg_assistant_tokens_per_turn	687.96
max_assistant_turn_tokens	32,767
max_assistant_total_tokens_per_sample	32,767
max_assistant_turn_count_per_sample	36

生成配置

模型与模式

• 目标模型: Qwen3-8B
• 模式: non-thinking
• Chat template kwargs: {"enable_thinking": false}

SGLang Serving 参数

参数	值
dtype	bfloat16
tp	1
mem_fraction_static	0.90
reasoning_parser	qwen3
cuda_graph_backend_decode	disabled
cuda_graph_backend_prefill	disabled

原始 Regeneration 参数

参数	值
batch size / concurrency	128
temperature	0.6
top_p	0.95
max_tokens	4096
reasoning	disable

Context-length / Decode-cap 补生成参数

参数	值
retry max_tokens	8192
second retry max_tokens	16384
third retry max_tokens	32768
temperature	0.6
top_p	0.95
reasoning	disable
context_length check	40960

使用建议

数据集提供方建议在下游使用前，根据任务需求自行进行安全过滤、质量过滤、去重和 license 合规检查。

搜集汇总

数据集介绍

构建方式

该数据集基于PerfectBlend原始数据，利用Qwen3-8B模型在非思考模式（non-thinking）下对对话内容进行重新生成。首先以max_tokens=4096进行初始生成，随后对疑似截断的样本依次采用8192、16384和32768 token的补生成策略。最终通过严格的后处理流程，移除因上下文长度超限、尾部退化以及达到32768 token上限仍未自然结束的无界生成样本，形成包含约142万条高质量对话的清洁版本。

特点

数据集以Parquet格式分片存储，每条样本包含唯一标识符id、严格交替的user/assistant对话结构，以及基于Qwen3-8B分词器统计的助手回复token信息。数据不包含推理内容（reasoning_content），专注于直接回应。平均每条样本含912个助手token，最大单轮回复可达32767 token，最多支持36轮对话轮次，展现了丰富的对话长度与轮次多样性。

使用方法

用户可通过加载Parquet文件直接获取对话数据，适用于文本生成任务的微调与评估。数据集提供了详细的助手token统计字段，便于进行长度筛选和训练策略优化。此外，附带的dropped_ids.jsonl文件记录了被排除样本的原始ID与原因，用户可据此理解数据清洗逻辑，并根据自身任务需求进一步实施安全过滤、质量去重及许可合规检查。

背景与挑战

背景概述

在大型语言模型快速迭代的背景下，高质量、长上下文对话数据的构建成为提升模型生成能力的关键瓶颈。为应对这一需求，PerfectBlend Regen Qwen3-8B Non-Thinking 32768 Clean数据集于近期应运而生，由相关研究团队基于Qwen3-8B模型，在non-thinking模式下对原始PerfectBlend数据进行了重新生成与系统清理。该数据集的核心研究问题聚焦于如何获得高质量、长上下文且无退化的对话数据，以支持模型的文本生成训练。通过引入多级补生成策略及严格的样本过滤机制，该数据集在保证数据规模的同时显著提升了样本完整性，为长上下文对话生成领域的研究提供了可靠的数据基石，对提升语言模型在复杂对话场景下的表现具有重要推动意义。

当前挑战

该数据集主要挑战来自两个方面。其一，在领域问题层面，对话数据生成过程中存在上下文长度受限、生成尾部退化和无界生成等问题，导致样本质量参差不齐，严重影响模型训练的稳定性和生成的自然度。其二，在构建过程中，原始模型输出常因token上限截断而产生不完整回复，需要设计多级补生成策略（从4096到32768 token逐级递增）来修复；同时，需开发确定性后处理算法以精准识别并剔除尾部退化样本，包括周期性后缀、长字符重复及低信息尾部等复杂模式，这一过程对算法鲁棒性和效率提出了严苛要求。

常用场景

经典使用场景

在大型语言模型的后训练阶段，高质量对话数据的稀缺性与多样性问题始终是制约模型能力提升的核心瓶颈。PerfectBlend Regen Qwen3-8B Non-Thinking 32768 Clean 数据集专为指令微调与对话能力对齐而设计，其经典使用场景在于为语言模型提供经过精心清理与重构的大规模多轮对话样本。该数据集基于原始 PerfectBlend 数据，借助 Qwen3-8B 模型在非思维链模式下的重新生成能力，对每条对话进行了最大 32768 token 的补全与优化，并系统性地移除了因上下文长度超限、尾部退化或生成无界而导致的低质量样本，最终保留约 142 万条干净、结构严谨的对话实例。每一条数据均严格按照用户与助手角色交替、以用户提问开头并以助手回复结尾的格式组织，同时附带助手回复的细粒度 token 统计信息，为训练具备流畅、自然对话能力的语言模型提供了理想的数据基础。

解决学术问题

该数据集在学术研究层面精准回应了当代自然语言处理领域若干关键挑战。首先是对话数据截断与生成质量问题：原始大规模语料在自动生成过程中常因解码长度限制而产生不完整的回复，或出现尾部重复、无界生成等退化现象，严重影响模型训练效果。PerfectBlend Regen 版本通过多级 token 补生成机制与确定性后处理检测规则（包括精确周期后缀、数字模板模式、行级重复块、单一字符长重复等多维度指标），系统性地识别并剔除了 863 条低质量样本，为数据驱动的对话质量评估指标提供了可参照的清理方法论。其次是模型推理模式的选择问题：该数据集明确采用 non-thinking 非思维链模式，避免了推理链对对话流畅性的干扰，为研究纯生成式对话模型与思维链增强模型之间的表现差异提供了对照数据。此外，数据集提供的助手 token 分布统计（平均每轮 687.96 token、最大对话轮次 36 轮）为探讨长文本对话中信息密度与上下文利用效率的可扩展性研究提供了定量分析基础。

衍生相关工作

该数据集的构建与发布催生了多个方向的研究与工程工作。在数据生成层面，其多级最大 token 补生成策略（从 4096 递增至 32768）直接启发了部分后续工作探索动态解码长度分配方法，即根据 prompt 复杂度或模型预测的不确定性自适应调整生成边界，从而最小化截断与退化样本的比例。在质量过滤方面，该数据集明确定义的尾部退化和无界生成检测规则（如精准周期后缀、低信息尾部扫描）已在若干数据清洗管线中被采纳为基准方法，并衍生出基于语义相似度或困惑度的智能过滤改进版本。在模型微调领域，得益于其 clean release 的权威性，该数据集被用作非思维链模式下对话能力的标准评估集，与包含思维链推理风格的数据训练结果进行系统比较，推动了关于推理路径对下游任务泛化能力影响的深入理解。此外，其 assistant_token_stats 元数据设计启发了关于对话数据 token 分布统计学的后续研究，促使研究者更系统地探讨助语轮次长度、轮次计数与模型推理效率之间的内在关联。