eshachar/cutlass_repo_data

该数据集包含文本数据，每条数据包括文本内容（text）、唯一标识符（id）、元数据（metadata）以及一个索引字段（__index_level_0__）。元数据进一步包含文件路径（file_path）、仓库ID（repo_id）和令牌计数（token_count）。数据集分为训练集（train），包含1093个样本，总大小为19968030字节。

The dataset includes text content, unique identifiers, metadata (containing file path, repository ID, and token count), and index level. It is divided into a training set with 1093 samples, totaling 19968030 bytes in size.

原始信息汇总

数据集概述

数据集信息

特征

• text: 类型为字符串。
• id: 类型为字符串。
• metadata: 结构化数据，包含以下字段：
  • file_path: 类型为字符串。
  • repo_id: 类型为字符串。
  • token_count: 类型为int64。
• index_level_0: 类型为int64。

数据分割

• train: 包含1093个样本，占用19968030字节。

数据集大小

• 下载大小: 5140879字节。
• 数据集大小: 19968030字节。

配置

• default: 包含训练数据文件，路径为data/train-*。