gpt-oss20b-samples-dedup

A simple deduplicated variant of https://huggingface.co/datasets/jxm/gpt-oss20b-samples

Given the predictability of synthetic data we opted for a simple strategy: keeping the unique combinations of first and last ten words. Total count of unique occurrences is available in the column occurrence_count.

本数据集为https://huggingface.co/datasets/jxm/gpt-oss20b-samples的简易去重版本。
鉴于合成数据具备可预测性，我们采用了一种简洁的去重策略：仅保留首尾各十个词的唯一组合。该数据集的`occurrence_count`列记录了唯一出现的总次数。

搜集汇总

背景与挑战

背景概述

该数据集是'jxm/gpt-oss20b-samples'的去重变体，通过保留前十个和后十个单词的唯一组合来简化合成数据的可预测性处理。其包含'occurrence_count'列，用于统计唯一出现的总次数。