ggg-llms-team/aroeira-bertimbau-filter

--- dataset_info: config_name: sampled_2m features: - name: text dtype: string - name: url dtype: string - name: access_date dtype: timestamp[ms] - name: id dtype: string - name: label dtype: int64 - name: probs dtype: float64 splits: - name: train2M num_bytes: 5306739226 num_examples: 2003548 - name: validation num_bytes: 265335901 num_examples: 100177 download_size: 3354185752 dataset_size: 5572075127 configs: - config_name: sampled_2m data_files: - split: train2M path: sampled_2m/train2M-* - split: validation path: sampled_2m/validation-* ---数据集信息： 配置名称：sampled_2m 特征字段： - 字段名：text，数据类型：字符串 - 字段名：url，数据类型：字符串 - 字段名：access_date，数据类型：毫秒级时间戳（timestamp[ms]） - 字段名：id，数据类型：字符串 - 字段名：label，数据类型：64位整数（int64） - 字段名：probs，数据类型：64位浮点数（float64） 数据集划分： - 划分名称：train2M，数据字节数：5306739226，样本总量：2003548 - 划分名称：validation（验证集），数据字节数：265335901，样本总量：100177 下载大小：3354185752字节 数据集总大小：5572075127字节 配置项： - 配置名称：sampled_2m 数据文件： - 数据集划分：train2M，文件路径：sampled_2m/train2M-* - 数据集划分：validation（验证集），文件路径：sampled_2m/validation-*