Finnish-NLP/Culturax_Finnish_fineweb_edu_predicted

--- dataset_info: features: - name: text dtype: string - name: timestamp dtype: string - name: url dtype: string - name: source dtype: string - name: label_identity_attack dtype: float64 - name: label_insult dtype: float64 - name: label_obscene dtype: float64 - name: label_severe_toxicity dtype: float64 - name: label_threat dtype: float64 - name: label_toxicity dtype: float64 - name: perplexity_kenlm dtype: int64 - name: embeddings sequence: sequence: sequence: float16 - name: preds_from_pd dtype: float64 splits: - name: train num_bytes: 176162973961 num_examples: 28815813 download_size: 130196657169 dataset_size: 176162973961 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征项： - 名称：文本（text），数据类型：字符串 - 名称：时间戳（timestamp），数据类型：字符串 - 名称：统一资源定位符（Uniform Resource Locator，URL），数据类型：字符串 - 名称：数据源（source），数据类型：字符串 - 名称：身份攻击标签（label_identity_attack），数据类型：双精度浮点数（float64） - 名称：侮辱性标签（label_insult），数据类型：双精度浮点数（float64） - 名称：淫秽内容标签（label_obscene），数据类型：双精度浮点数（float64） - 名称：严重毒性标签（label_severe_toxicity），数据类型：双精度浮点数（float64） - 名称：威胁性标签（label_threat），数据类型：双精度浮点数（float64） - 名称：毒性标签（label_toxicity），数据类型：双精度浮点数（float64） - 名称：KENLM语言模型困惑度（perplexity_kenlm），数据类型：64位整型（int64） - 名称：嵌入特征（embeddings）：三层嵌套序列的半精度浮点数（float16）类型数据 - 名称：PD模型预测结果（preds_from_pd），数据类型：双精度浮点数（float64） 数据集划分： - 划分名称：训练集（train），占用字节数：176162973961，样本总数：28815813 下载大小：130196657169 数据集存储总大小：176162973961 数据集配置： - 配置名称：默认配置（default），数据文件： - 划分：训练集（train），文件路径：data/train-*