DCAgent2/dclm-baseline-terminal-candidates-100k

---
dataset_info:
features:
- name: text
dtype: string
- name: score
struct:
- name: bash_block
dtype: bool
- name: pipe_pattern
dtype: int64
- name: prompt_pattern
dtype: int64
- name: redirect_pattern
dtype: int64
- name: shebang
dtype: bool
- name: total_score
dtype: float64
- name: source_file
dtype: string
- name: sequence_index
dtype: int64
- name: url
dtype: string
- name: metadata
struct:
- name: Content-Length
dtype: string
- name: Content-Type
dtype: string
- name: WARC-Block-Digest
dtype: string
- name: WARC-Concurrent-To
dtype: string
- name: WARC-Date
dtype: string
- name: WARC-IP-Address
dtype: string
- name: WARC-Identified-Payload-Type
dtype: string
- name: WARC-Payload-Digest
dtype: string
- name: WARC-Record-ID
dtype: string
- name: WARC-Target-URI
dtype: string
- name: WARC-Truncated
dtype: string
- name: WARC-Type
dtype: string
- name: WARC-Warcinfo-ID
dtype: string
splits:
- name: train
num_bytes: 1754547730
num_examples: 107494
download_size: 975150998
dataset_size: 1754547730
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征项：
- 名称：text，数据类型：字符串
- 名称：score，数据类型：结构体，包含以下字段：
- 名称：bash_block（bash块），数据类型：布尔值
- 名称：pipe_pattern（管道模式），数据类型：64位整型
- 名称：prompt_pattern（提示模式），数据类型：64位整型
- 名称：redirect_pattern（重定向模式），数据类型：64位整型
- 名称：shebang（shebang），数据类型：布尔值
- 名称：total_score（总得分），数据类型：64位浮点型
- 名称：source_file（源文件），数据类型：字符串
- 名称：sequence_index（序列索引），数据类型：64位整型
- 名称：url（统一资源定位符），数据类型：字符串
- 名称：metadata（元数据），数据类型：结构体，包含以下字段：
- 名称：Content-Length（内容长度），数据类型：字符串
- 名称：Content-Type（内容类型），数据类型：字符串
- 名称：WARC-Block-Digest（WARC块摘要），数据类型：字符串
- 名称：WARC-Concurrent-To（WARC并发关联记录），数据类型：字符串
- 名称：WARC-Date（WARC日期），数据类型：字符串
- 名称：WARC-IP-Address（WARC IP地址），数据类型：字符串
- 名称：WARC-Identified-Payload-Type（WARC识别有效载荷类型），数据类型：字符串
- 名称：WARC-Payload-Digest（WARC有效载荷摘要），数据类型：字符串
- 名称：WARC-Record-ID（WARC记录ID），数据类型：字符串
- 名称：WARC-Target-URI（WARC目标URI），数据类型：字符串
- 名称：WARC-Truncated（WARC截断状态），数据类型：字符串
- 名称：WARC-Type（WARC记录类型），数据类型：字符串
- 名称：WARC-Warcinfo-ID（WARC归档信息ID），数据类型：字符串
数据集划分：
- 名称：train（训练集），字节数：1754547730，样本数量：107494
下载大小：975150998，数据集存储总大小：1754547730
数据集配置：
- 配置名称：default（默认配置），数据文件：
- 划分：train（训练集），路径：data/train-*