allenai/coconot

CoCoNot数据集旨在扩展聊天语言模型的不合规行为范围，提供了一个全面的上下文不合规分类法。数据集包含两个子集：不合规查询（original）和对比查询集（contrast），以及一个偏好数据子集（pref）。每个子集都包含训练集和测试集，用于基准测试和增强语言模型的不合规行为。

原始信息汇总

🥥 CoCoNot: Contextually, Comply Not! Dataset Card

数据集详情

数据集描述

CoCoNot 是一个用于基准测试和增强聊天式语言模型非遵从行为的新资源。该数据集基于一个全面的上下文非遵从分类法，描述了模型在何时以及如何不应遵从用户请求。

数据集结构

配置

• contrast:

  • 特征:
    • id: string
    • category: string
    • subcategory: string
    • prompt: string
    • response: string
  • 分割:
    • test: 379个样本, 48008字节
  • 下载大小: 20462字节
  • 数据集大小: 48008字节

• original:

  • 特征:
    • id: string
    • category: string
    • subcategory: string
    • prompt: string
    • response: string
  • 分割:
    • train: 11477个样本, 6179958字节
    • test: 1001个样本, 152148字节
  • 下载大小: 5525800字节
  • 数据集大小: 6332106字节

• pref:

  • 特征:
    • id: string
    • category: string
    • subcategory: string
    • prompt: string
    • chosen: string
    • chosen_model: string
    • rejected: string
    • rejected_model: string
  • 分割:
    • train: 927个样本, 2454512字节
  • 下载大小: 1287834字节
  • 数据集大小: 2454512字节

数据集加载

python from datasets import load_dataset

加载original测试集

coconot_eval = load_dataset("allenai/coconot", "original", split="test")

加载contrast测试集

coconot_contrast_eval = load_dataset("allenai/coconot", "contrast", split="test")

加载preference训练集

coconot_train_pref = load_dataset("allenai/coconot", "pref", split="train")

数据创建

数据集的详细创建过程请参考论文的第3节。