minfeng-ai/leetcode_preference
收藏资源简介：
该数据集用于支持基于Direct Preference Optimization（DPO）的实验，该优化方法在论文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》中有详细介绍。数据集包含由CodeLLaMA-7b生成的每道LeetCode问题的两个独特解决方案，这些解决方案由人类专家根据其准确性、效率和可读性进行评估和排名。数据集中的每一行包含以下字段：id（唯一标识符）、title（问题官方标题）、description（详细提示）、difficulty（难度分为简单、中等和困难三个等级）、version1（与问题相关的初始AI生成的代码片段）、version2（与同一问题相关的第二AI生成的代码片段）和preference（人类评估的标签，指示Version1和Version2之间的首选代码片段）。
该数据集用于支持基于Direct Preference Optimization（DPO）的实验，该优化方法在论文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》中有详细介绍。数据集包含由CodeLLaMA-7b生成的每道LeetCode问题的两个独特解决方案，这些解决方案由人类专家根据其准确性、效率和可读性进行评估和排名。数据集中的每一行包含以下字段：id（唯一标识符）、title（问题官方标题）、description（详细提示）、difficulty（难度分为简单、中等和困难三个等级）、version1（与问题相关的初始AI生成的代码片段）、version2（与同一问题相关的第二AI生成的代码片段）和preference（人类评估的标签，指示Version1和Version2之间的首选代码片段）。
Dataset Card for LeetCode Preference
Dataset Description
Dataset Summary
- Purpose: Facilitates experiments utilizing Direct Preference Optimization (DPO).
- Source Paper: Direct Preference Optimization: Your Language Model is Secretly a Reward Model
- Code Generation: Code pairings crafted by CodeLLaMA-7b for every LeetCode question.
- Evaluation: Human experts evaluate and rank two unique solutions per question based on accuracy, efficiency, and readability.
Usage
python from datasets import load_dataset
dataset = load_dataset("minfeng-ai/leetcode_preference")
Data Fields
- id: Distinct identifier for each LeetCode question.
- title: Official title of the LeetCode question.
- description: Detailed prompt for the question.
- difficulty: Question complexity categorized as Easy, Medium, or Hard.
- version1: Initial AI-generated code snippet.
- version2: Secondary AI-generated code snippet.
- preference: Human-assessed label indicating the preferred code snippet between Version1 and Version2.
