RLHFlow/HH-RLHF-Harmless-and-RedTeam-standard

该数据集处理了Anthropic-HH数据集中的`Harmlnessess`和`Red-Teaming`子集，并将其转换为标准格式。数据集包含两个主要特征：chosen和rejected，每个特征都是一个列表，包含content和role两个字段。数据集分为一个训练集，包含42254个样本，总大小为82519365.15421642字节。过滤脚本用于筛选符合特定条件的样本，例如确保chosen和rejected的长度一致，且内容符合特定格式。

原始信息汇总

数据集概述

数据集特征

• chosen
  • content: 数据类型为字符串
  • role: 数据类型为字符串
• rejected
  • content: 数据类型为字符串
  • role: 数据类型为字符串

数据集分割

• train
  • num_bytes: 82519365.15421642 字节
  • num_examples: 42254 个样本

数据集大小

• download_size: 31324337 字节
• dataset_size: 82519365.15421642 字节

配置

• config_name: default
  • data_files
    • split: train
      • path: data/train-*