junlinw/opc-sft-s2-annealing-python_AST_0.0_200.0_var3

该数据集包含四个特征：input_ids，labels，num_mask_tokens和original。input_ids和original是整数列表，labels是长整数列表，num_mask_tokens是长整型数据。数据集分为训练集和测试集，训练集包含2871202个样本，测试集包含29003个样本。

The dataset consists of four features: input_ids, labels, num_mask_tokens, and original. input_ids and original are lists of integers, labels are lists of long integers, and num_mask_tokens is a long integer. The dataset is split into a training set and a test set, with the training set containing 2,871,202 samples and the test set containing 29,003 samples.

搜集汇总

背景与挑战

背景概述

该数据集是一个用于自然语言处理或代码生成任务的大型数据集，包含约290万行数据，分为训练集和测试集。数据集以parquet格式存储，总大小为1.47GB，包含input_ids、labels等关键字段。