sharegpt-regen-qwen3-8b-non-thinking

本数据集是ShareGPT数据的一个处理版本，通过Qwen3-8B模型在非思考模式下重新生成，并经过长输出重试和退化样本清理。原始数据中达到初始4K输出限制的样本，依次使用16K和40K的最大新令牌数进行重试。最终版本移除了上下文长度超限、尾部退化或重复输出以及人工确认的无界生成样本。数据集包含43,774条对话样本，以Parquet格式分片存储，每个样本包含对话记录（用户和助手角色）以及助手令牌的详细统计信息。助手内容的总令牌数约为1.15亿，平均每样本助手令牌数约为2,627。数据生成配置为：使用Qwen3-8B模型，非思考模式，温度0.6，top_p 0.95，禁用推理。该数据集适用于文本生成和对话任务，但使用者需根据自身任务需求进行额外的安全过滤、质量过滤、去重和许可证合规性检查。This dataset is a processed version of the ShareGPT dataset, regenerated using the Qwen3-8B model in non-thinking mode, and subjected to long-output retries and degenerate sample cleanup. For samples in the original dataset that reached the initial 4K output limit, retries were sequentially performed using maximum new token counts of 16K and 40K respectively. The final version removes samples that exceeded the context length limit, had degenerate or duplicated tail outputs, or were manually confirmed as unbounded generation cases. The dataset contains 43,774 conversation samples, stored in sharded Parquet format. Each sample includes conversation records (featuring user and assistant roles) as well as detailed token statistics for the assistant's responses. The total token count of the assistant's content is approximately 115 million, with an average of about 2,627 tokens per sample for the assistant's outputs. The data generation configuration is specified as follows: using the Qwen3-8B model, non-thinking mode, temperature 0.6, top_p 0.95, with inference disabled. This dataset is suitable for text generation and conversational tasks, but users must conduct additional safety filtering, quality filtering, deduplication, and license compliance checks according to their respective task needs.

原始信息汇总

数据集概述

数据集名称：ShareGPT Regen Qwen3-8B Non-Thinking 40K Clean

数据集地址：https://huggingface.co/datasets/heiheiha798/sharegpt-regen-qwen3-8b-non-thinking

许可协议：其他（other）

语言：英语（en）、中文（zh）

任务类别：文本生成（text-generation）

标签：sharegpt, qwen3, qwen3-8b, non-thinking, sglang, conversational

数据规模：10K < n < 100K

数据集大小：清理后的版本包含 43,774 条样本（原始成功 regen 发布版为 44,009 条）。

---

数据集内容与来源

• 本数据集是基于 ShareGPT 数据，使用 Qwen3-8B 模型在 non-thinking（非思考） 模式下重新生成的结果。
• 生成过程包括长输出重试和退化样本清理步骤：对初始 max_tokens 为 4096 的命中样本，依次使用 16K 和 40K 的 max_tokens 进行重试。
• 最终移除了三类问题样本：
  • context length 超限
  • 尾部退化/重复
  • 人工确认的无界生成样本

清理后收录条数：43,774 条
被排除样本条数：235 条（详细信息记录在 dropped_ids.jsonl 文件中）

---

数据格式

数据以 Hugging Face Parquet 格式分片存储，共 4 个分片文件：

文件	说明	行数
data/train-00000-of-00004.parquet	Hugging Face parquet 分片	10,944
data/train-00001-of-00004.parquet	Hugging Face parquet 分片	10,944
data/train-00002-of-00004.parquet	Hugging Face parquet 分片	10,943
data/train-00003-of-00004.parquet	Hugging Face parquet 分片	10,943

每条数据的 JSON 结构如下：

json { "id": "example_id", "conversations": [ {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."} ], "assistant_token_stats": { "assistant_turn_tokens": [955, 985], "assistant_turn_count": 2, "assistant_total_tokens": 1940, "assistant_max_tokens": 985 } }

补充文件：

• dropped_ids.jsonl：包含被排除的 235 条样本 ID 及排除原因。

---

Token 统计

使用 Qwen3-8B tokenizer（add_special_tokens=false）对 assistant 消息内容进行统计，不包含 user 消息，未渲染 chat template。

统计项	数值
assistant 总 token 数	114,995,139
assistant 对话轮次	134,564
平均每样本 assistant token 数	2,627.02
平均每轮 assistant token 数	854.58
单轮最大 assistant token 数	14,760
单样本最大 assistant 总 token 数	31,717

---

排除样本原因分布

排除原因	条数
context_length_exceeded	83
tail_degeneracy	147
unbounded_generation_hit_max_new_tokens_16384	2
unbounded_generation_hit_max_new_tokens_40000	3

---

生成配置摘要

配置项	值
target model	Qwen3-8B
mode	non-thinking
temperature	0.6
top_p	0.95
reasoning	disable
initial max_tokens	4096
retry max_tokens	16384
final retry max_tokens	40000

---

使用建议

建议用户根据自身任务需求，自行进行安全过滤、质量过滤、去重和 license 合规检查。

搜集汇总

数据集介绍

构建方式

该数据集以ShareGPT原始对话为基底，利用Qwen3-8B在非推理模式下重新生成响应。针对首次生成时触及4K token上限的样本，依次采用16K与40K的max_tokens进行重试，以获取更完整的输出。随后，通过系统化清理流程剔除三类劣质样本：因上下文长度超限而截断的、尾部出现退化或重复模式的、以及经人工确认陷入无界生成循环的。最终，从原始44,009条成功重生成样本中保留43,774条，并将235条被排除样本的标识与原因记录于dropped_ids.jsonl文件中。数据以Parquet格式分片存储，便于高效加载。

特点

本数据集的核心亮点在于其经过多轮精细化清洗的高质量对话语料。所有样本均由Qwen3-8B在temperature 0.6、top_p 0.95的参数下生成，确保了输出的一致性与可控性。助理回复的token统计显示，总token数达1.15亿，平均每样本包含约2,627个助理token，单轮最大token数达14,760，体现了生成内容的丰富性与深度。每条数据不仅包含完整的多轮对话结构，还附带了助理回复的详细token统计信息，如每轮token数、总token数及最大token数，为后续训练时的长度控制与分布分析提供了元数据支撑。

使用方法

用户可直接通过Hugging Face Datasets库加载数据，利用load_dataset函数读取Parquet文件，获取包含id、conversations及assistant_token_stats等字段的样本。conversations字段以标准的role-content键值对形式组织多轮对话，适用于指令微调与对话模型的训练。数据集附带assistant_token_stats统计信息，便于在微调过程中根据样本的token长度进行采样或截断处理。此外，dropped_ids.jsonl文件提供了被排除样本的详细原因，用户可据此自行评估数据过滤的严苛程度，并根据下游任务需求补充安全过滤、质量筛选与去重等步骤，同时需自行确认所用数据的License合规性。

背景与挑战

背景概述

随着大型语言模型在对话生成领域的广泛应用，高质量、多样化的指令微调数据集成为推动模型性能提升的关键资源。ShareGPT数据作为真实用户与先进模型的交互记录，为对话系统提供了丰富的场景与表达模式。然而，原始ShareGPT数据在输出长度、生成质量及一致性方面存在显著短板。为此，研究人员基于Qwen3-8B于non-thinking模式下对ShareGPT样本进行重新生成，并实施多轮长输出重试与退化样本清理，最终构建了包含43,774条高质量对话记录的sharegpt-regen-qwen3-8b-non-thinking数据集。该工作由相关团队完成，旨在解决指令微调数据中普遍存在的输出截断、尾部退化及无界生成等问题，为对话模型的对齐与微调提供了更纯净、更可控的训练资源，对推动开源对话系统的研究具有重要实用价值。

当前挑战

该数据集构建的核心挑战之一在于应对大规模对话生成中的输出质量退化现象，包括因上下文窗口限制导致的回复截断、生成序列尾部的语义重复与退化，以及部分样本在长文本生成中出现的无界发散问题。研究人员通过多级最大令牌数重试策略（从4096逐步提升至40000）来缓解截断问题，但仍面临如何精确识别并剔除尾部退化和无界生成样本的难题。此外，数据清洗过程需要人工确认异常样本，增加了维护成本与主观偏差风险。在最终版本中，仍有235条样本因上下文长度超限或生成退化等问题被剔除，反映出在自动化质量保障与数据规模之间实现平衡的持续挑战。

常用场景

经典使用场景

在自然语言处理与对话系统研究领域，ShareGPT-Regen-Qwen3-8B-Non-Thinking数据集是训练和微调大型语言模型进行多轮对话生成的理想资源。该数据集基于ShareGPT的真实用户—助手交互语料，利用Qwen3-8B的非思考模式重新生成回复，并通过多轮长输出重试策略（从4K到40K token）确保回答的完整性与深度。其经典用途在于为对话模型提供高质量的监督微调数据，助力模型学习如何生成流畅、信息丰富且符合上下文逻辑的助手回复，尤其在需要详尽解释或逐步推理的开放式问答场景中表现卓越。

解决学术问题

该数据集有效应对了对话型大语言模型研究中长文本生成退化与回复质量不稳定的核心难题。通过系统性地移除因上下文长度超限、尾部重复或退化以及无界生成导致的低质量样本，数据集为学术社区提供了一个经过精心清洗的对齐基准。这解决了以往使用原始众包对话数据时常见的噪声污染问题，使得研究者能够更纯粹地评估模型在长距离依赖下的生成能力，并深入剖析非思考模式下语言模型的回复规律性、多样性与忠实度，从而推动对话生成质量评估体系的发展。

衍生相关工作

该数据集的发布催生了一系列围绕对话数据清洗与模型对齐的前沿探索。基于其提供的退化样本分类（如尾部重复、无界生成），研究者得以构建自动化的回复质量检测器，实现对生成内容中病态模式的快速识别与过滤。此外，该数据的生成策略——即利用强大模型以非思考模式重写原始对话——启发了跨模型知识蒸馏与回复风格迁移的工作，例如将Qwen3-8B的回复风格迁移至小参数模型。围绕此数据集，还涌现了关于长文本生成中token效率与语义完整性的权衡分析，以及不同温度系数下回复多样性研究的经典实验设计。