metamath/codeparrot-ds-tokenized-128
收藏Hugging Face2024-01-09 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/metamath/codeparrot-ds-tokenized-128
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是一个Python代码数据集，从`transformersbook/codeparrot-train`数据集中提取了与数据科学相关的代码，并使用`huggingface-course/code-search-net-tokenizer`进行了分词处理。
该数据集是一个Python代码数据集，从`transformersbook/codeparrot-train`数据集中提取了与数据科学相关的代码，并使用`huggingface-course/code-search-net-tokenizer`进行了分词处理。
提供机构：
metamath
原始信息汇总
数据集概述
数据集信息
- 特征:
input_ids: 序列类型为int32
- 分割:
train: 字节数为 8618263476，样本数为 16702061valid: 字节数为 48072624，样本数为 93164
- 下载大小: 3804670335 字节
- 数据集大小: 8666336100 字节
配置
- 配置名称:
default - 数据文件:
train: 路径为data/train-*valid: 路径为data/valid-*
