Finnish-NLP/distilabel-intel-orca-dpo-pairs-fi-deepl-translated-sft-dpo-filtered

--- dataset_info: features: - name: instruction dtype: string - name: response_accepted dtype: string - name: response_rejected dtype: string - name: instruction_perplexity_kenlm dtype: int64 - name: chosen_response_perplexity_kenlm dtype: int64 - name: rejected_response_perplexity_kenlm dtype: int64 - name: combined_perplexity_dpo dtype: int64 - name: combined_perplexity_sft dtype: int64 - name: instruction_lang dtype: string - name: instruction_lang_proba dtype: float64 - name: chosen_response_lang dtype: string - name: chosen_response_lang_proba dtype: float64 - name: rejected_response_lang dtype: string - name: rejected_response_lang_proba dtype: float64 - name: perplexity_instruction_len_ratio dtype: float64 - name: perplexity_response_len_ratio dtype: float64 - name: dataset_source dtype: string - name: __index_level_0__ dtype: int64 splits: - name: train num_bytes: 11944407 num_examples: 4402 download_size: 7055078 dataset_size: 11944407 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征字段： - 名称：指令（instruction），数据类型：字符串（string） - 名称：优选回复（response_accepted），数据类型：字符串（string） - 名称：拒选回复（response_rejected），数据类型：字符串（string） - 名称：指令的kenlm困惑度（instruction_perplexity_kenlm），数据类型：64位整数（int64） - 名称：优选回复的kenlm困惑度（chosen_response_perplexity_kenlm），数据类型：64位整数（int64） - 名称：拒选回复的kenlm困惑度（rejected_response_perplexity_kenlm），数据类型：64位整数（int64） - 名称：DPO联合困惑度（combined_perplexity_dpo），数据类型：64位整数（int64） - 名称：SFT联合困惑度（combined_perplexity_sft），数据类型：64位整数（int64） - 名称：指令语言（instruction_lang），数据类型：字符串（string） - 名称：指令语言置信度（instruction_lang_proba），数据类型：64位浮点数（float64） - 名称：优选回复语言（chosen_response_lang），数据类型：字符串（string） - 名称：优选回复语言置信度（chosen_response_lang_proba），数据类型：64位浮点数（float64） - 名称：拒选回复语言（rejected_response_lang），数据类型：字符串（string） - 名称：拒选回复语言置信度（rejected_response_lang_proba），数据类型：64位浮点数（float64） - 名称：指令困惑度与长度比值（perplexity_instruction_len_ratio），数据类型：64位浮点数（float64） - 名称：回复困惑度与长度比值（perplexity_response_len_ratio），数据类型：64位浮点数（float64） - 名称：数据集来源（dataset_source），数据类型：字符串（string） - 名称：内置索引列（__index_level_0__），数据类型：64位整数（int64） 数据划分： - 划分名称：训练集（train），字节占用量：11944407，样本数量：4402 下载大小：7055078 数据集总大小：11944407 配置项： - 配置名称：默认配置（default），数据文件： - 对应划分：训练集，存储路径：data/train-*

原始信息汇总

数据集信息

特征

• instruction: 类型为字符串
• response_accepted: 类型为字符串
• response_rejected: 类型为字符串
• instruction_perplexity_kenlm: 类型为整数64位
• chosen_response_perplexity_kenlm: 类型为整数64位
• rejected_response_perplexity_kenlm: 类型为整数64位
• combined_perplexity_dpo: 类型为整数64位
• combined_perplexity_sft: 类型为整数64位
• instruction_lang: 类型为字符串
• instruction_lang_proba: 类型为浮点数64位
• chosen_response_lang: 类型为字符串
• chosen_response_lang_proba: 类型为浮点数64位
• rejected_response_lang: 类型为字符串
• rejected_response_lang_proba: 类型为浮点数64位
• perplexity_instruction_len_ratio: 类型为浮点数64位
• perplexity_response_len_ratio: 类型为浮点数64位
• dataset_source: 类型为字符串
• index_level_0: 类型为整数64位

分割

• train: 包含4402个样本，占用11944407字节

大小

• 下载大小: 7055078字节
• 数据集大小: 11944407字节

配置

• default: 包含训练数据文件路径为data/train-*