cc-2020-stat
收藏资源简介：
这是一个名为 Fastdetector 的数据集，目前处于开发阶段。数据集包含三个子集（shard_2、shard_3、shard_8），每个子集的结构相同，均包含训练集（train）拆分。每个样本包含以下字段：原始文本（original）、提示（prompt，其中包含多轮对话历史 chat_turns、是否使用多轮 use_multiturn、示例 examples 以及元数据 metadata，元数据中记录提示类型 PROMPT_TYPE）、两个候选响应（response_0 和 response_1）、生成这些响应的模型名称（generator_model）、生成参数（generation_params）以及最终选定的响应（final_response）。三个子集的样本数量分别为 27114、27040 和 26895，总计约 8.1 万条。数据以文本形式存储，可用于训练或评估生成模型的多轮对话能力、响应比较或偏好学习等任务。
This is a dataset named Fastdetector, currently under development. The dataset contains three subsets (shard_2, shard_3, shard_8), each with the same structure and including a train split. Each sample contains the following fields: original text (original), prompt (which includes multi-turn conversation history chat_turns, whether to use multi-turn use_multiturn, examples, and metadata that records the prompt type PROMPT_TYPE), two candidate responses (response_0 and response_1), the model name that generated these responses (generator_model), generation parameters (generation_params), and the final selected response (final_response). The sample sizes of the three subsets are 27114, 27040, and 26895 respectively, totaling approximately 81,000 entries. The data is stored in text format and can be used for tasks such as training or evaluating generative models multi-turn dialogue capabilities, response comparison, or preference learning.
数据集概述：G-reen/cc-2020-stat
该数据集是一个正在构建中的（WIP，Work In Progress）数据处理与统计项目，名为 Fastdetector dataset，当前正处于统计结果生成阶段，README 中标注 “Waiting for statistics to finish generating...”，尚未完成最终统计信息的发布。
数据集配置与规模
数据集采用分片（shard）形式组织，共包含 5 个配置（config），每个配置对应一个独立的训练集（train）分片，具体规模如下：
| 配置名称 | 样本数量（examples） | 数据集大小（bytes） | 下载大小（bytes） |
|---|---|---|---|
| shard_1 | 26,766 | 260,941,040 | 163,095,148 |
| shard_2 | 27,114 | 286,510,816 | 172,377,213 |
| shard_3 | 27,040 | 290,357,026 | 181,611,789 |
| shard_5 | 26,471 | 310,314,712 | 194,398,847 |
| shard_8 | 26,895 | 272,383,600 | 172,019,654 |
数据字段结构
每个分片的特征（features）结构保持一致，具体字段如下：
- original：字符串类型，可能为原始数据文本。
- prompt：复合结构，包含：
- chat_turns：字符串列表，对话轮次内容。
- use_multiturn：布尔值，标记是否为多轮对话。
- examples：空列表，暂无示例数据。
- metadata：结构体，其中包含
PROMPT_TYPE（字符串），用于标识提示类型。
- response_0：字符串类型，第一个生成的响应。
- response_1：字符串类型，第二个生成的响应。
- generator_model：字符串类型，生成响应的模型名称。
- generation_params：字符串类型，生成参数。
- final_response：字符串类型，最终选择的响应。
数据文件路径
各配置的训练数据文件均采用通配符形式存储，路径格式为 shard_<编号>/train-*。
当前状态
该项目处于未完成状态，统计信息仍在生成中，尚未提供关于数据来源、构建方法、用途及质量评估等进一步说明。
