Possibility Exploration (PE) dataset

Possibility Exploration (PE) 数据集是由爱尔兰都柏林大学学院计算机科学学院的研究团队创建的，旨在通过可能性探索微调（PEFT）方法增强大型语言模型（LLMs）的文本多样性。该数据集包含4000个对话上下文和相应的多个独特响应，每个响应都附有一个可能性编号，以帮助模型理解不同响应的原因并提供控制生成过程的能力。数据集的创建过程涉及使用GPT-4o和列表提示技术生成多样化的响应。PE数据集主要应用于开放域对话生成任务，旨在解决LLMs输出中语言多样性不足的问题，特别是在需要低延迟和高多样性的应用场景中。

The Possibility Exploration (PE) dataset was created by a research team from the School of Computer Science, University College Dublin, Ireland, aiming to enhance the textual diversity of Large Language Models (LLMs) using the Possibility Exploration Fine-Tuning (PEFT) method. This dataset contains 4,000 dialogue contexts along with multiple distinct corresponding responses, each annotated with a possibility number to help models understand the rationale behind different responses and enable control over the generation process. The dataset construction process involved using GPT-4o and list prompting techniques to generate diverse responses. The PE dataset is primarily applied to open-domain dialogue generation tasks, aiming to address the issue of insufficient linguistic diversity in LLMs' outputs, particularly in application scenarios requiring low latency and high diversity.

原始信息汇总

数据集概述

数据集名称

Possibility Exploration Fine-Tuning (PEFT) 数据集

数据集描述

该数据集用于训练和评估大型语言模型（LLMs）在生成多样化响应方面的能力。数据集旨在通过引入可能性探索微调（PEFT）方法，增强模型生成不同语义响应的能力。

数据集用途

• 训练：用于微调模型以生成多样化响应。
• 评估：用于评估模型在生成多样化响应方面的性能。

数据集内容

• 训练数据：包含对话生成任务的训练数据，格式为JSONL文件。
  • train_dialogs_1k.jsonl：包含1000个对话样本。
  • train_dialogs_4k.jsonl：包含4000个对话样本。
• 测试数据：包含对话生成任务的测试数据，格式为JSONL文件。
  • test_dialogs.jsonl：用于测试模型生成多样化响应的能力。

数据集示例

对话生成任务示例

Prompt:

Given the following dialogue context: Person B: "I have been working in retail while I finish up school, same as you, I suppose." Person A: "What are you studying?"

Imagine you are Person B, and act as if you were a real individual. Consider all the different ways Person B might respond, and then provide the response that matches possibility number #k.

Expected Results:

Response for possibility number 1: Im wrapping up my psychology and human resources studies.
Response for possibility number 2: Im into data and technology, so I’m majoring in computer science.
...

数据集特点

• 多样化响应生成：通过PEFT方法，模型能够生成语义上不同的响应。
• 适用于创意写作和头脑风暴工具：适用于需要多个不同响应的应用场景。

数据集相关模型

• Mistral 7B
• LLAMA 2

数据集使用方法

训练

bash python train.py --train_file data/train_dialogs_1k.jsonl --loss_steps 100 --save_steps 500 --learning_rate 5e-5 --output_dir checkpoints --exp_name mistral_peft --per_device_train_batch_size 1 --gradient_accumulation_steps 2 --num_response_per_input 4 --max_num_negatives_per_sample 30 --ul_weight 0.5 --max_steps 1000 --max_length 500 --max_input_length 300 --model_name mistralai/Mistral-7B-Instruct-v0.2 --warmup_steps -1;

推理

bash python infer.py --model_name_or_path checkpoints/mistral_peft/check_1000/ --num_response_per_input 5 --method peft --temperature 0.75 --decoding sampling --test_file data/test_dialogs.jsonl --save_file outs/out.jsonl

评估

bash python eval.py --eval_file outs/out.jsonl --save_file eval_logs/out.pkl

搜集汇总

数据集介绍

构建方式

Possibility Exploration (PE) 数据集的构建基于一种名为 Possibility Exploration Fine-Tuning (PEFT) 的框架。该数据集通过将每个输入提示与多个独特的响应配对来增强大型语言模型（LLMs）的文本多样性。具体而言，PE 数据集中的每个提示都伴随着多个可能的响应，每个响应都附有一个可能性编号，指示其在所有可能响应中的位置。这种构建方式不仅帮助模型理解不同响应之间的差异，还提供了对推理过程的控制，允许通过改变可能性编号来生成不同的响应。此外，PEFT 还引入了负训练框架，进一步增强了响应之间的差异性。

特点

PE 数据集的主要特点在于其能够显著提升 LLMs 生成文本的多样性，同时保持低延迟和计算成本。通过引入可能性编号，该数据集使模型能够在同一提示下生成多个多样化的响应，每个响应都对应一个可控的可能性编号。此外，PEFT 的负训练框架进一步增强了响应之间的差异性，有助于减少对话系统中的群体偏见。实验结果表明，PEFT 在对话和故事生成任务中显著提高了 LLMs 输出文本的多样性，同时保持了较高的连贯性。

使用方法

使用 PE 数据集进行模型微调时，首先需要将模型在 PE 数据集上进行训练，使其能够根据输入提示生成多个多样化的响应。在推理阶段，模型可以根据输入提示生成多个响应，每个响应对应一个可能性编号。用户可以通过调整可能性编号来控制生成的响应类型，从而在多样性和连贯性之间取得平衡。此外，PEFT 的负训练框架可以在微调过程中进一步增强响应的多样性，减少群体偏见。通过这种方式，PE 数据集可以广泛应用于需要低延迟和高多样性输出的应用场景，如聊天机器人和虚拟助手。

背景与挑战

背景概述

Possibility Exploration (PE) dataset 由 Long Mai 和 Julie Carson-Berndsen 在 University College Dublin 的 ML-Labs 创建，旨在解决大型语言模型（LLMs）输出语言多样性减少的问题。该数据集的核心研究问题是如何在不增加计算成本和延迟的情况下，通过微调增强LLMs的文本多样性。PE数据集的提出对自然语言处理领域具有重要影响，特别是在对话生成和故事创作等任务中，显著提升了模型的多样性和语义丰富性。

当前挑战

PE数据集面临的挑战包括：1) 解决LLMs输出同质化的问题，确保生成文本的多样性和代表性；2) 在构建过程中，如何在不增加模型复杂性和计算成本的前提下，实现有效的微调。此外，数据集还需应对生成文本的语义一致性和低延迟要求，特别是在实时应用如聊天机器人和虚拟助手中。

常用场景

经典使用场景

Possibility Exploration (PE) 数据集在增强大型语言模型（LLMs）的文本多样性方面展现了其经典应用。通过PEFT（Possibility Exploration Fine-Tuning）框架，该数据集使得LLMs能够在不增加延迟或计算成本的情况下，生成多个多样化的响应。这一特性在开放域对话生成和故事生成任务中尤为突出，显著提升了模型输出的多样性和语义丰富性。

解决学术问题

PE 数据集解决了大型语言模型在输出文本多样性方面的常见学术问题。传统LLMs在生成文本时往往趋向于保守，导致观点和视角的同质化，以及特定群体代表性的不足。PEFT通过引入可能性探索数据集，强调语义多样性而非词汇多样性，有效减少了对话系统中的群体偏见，为提升模型的公平性和多样性提供了新的研究方向。

衍生相关工作

PE 数据集的引入催生了一系列相关研究工作，特别是在增强文本生成多样性和减少偏见方面。例如，基于条件变分框架（CVF）的改进方法和对比搜索解码（Contrastive Search Decoding）等技术，都借鉴了PEFT的核心思想。这些工作不仅在学术界引起了广泛关注，也为工业界提供了实用的解决方案，推动了自然语言处理领域的技术进步。