lthn/livebench-data_analysis

--- dataset_info: features: - name: question_id dtype: string - name: category dtype: string - name: turns sequence: string - name: ground_truth dtype: string - name: task dtype: string - name: livebench_release_date dtype: timestamp[s] - name: livebench_removal_date dtype: string splits: - name: test num_bytes: 305848 num_examples: 150 download_size: 144796 dataset_size: 305848 configs: - config_name: default data_files: - split: test path: data/test-* arxiv: 2406.19314 --- # Dataset Card for "livebench/data_analysis" LiveBench is a benchmark for LLMs designed with test set contamination and objective evaluation in mind. It has the following properties: - LiveBench is designed to limit potential contamination by releasing new questions monthly, as well as having questions based on recently-released datasets, arXiv papers, news articles, and IMDb movie synopses. - Each question has verifiable, objective ground-truth answers, allowing hard questions to be scored accurately and automatically, without the use of an LLM judge. - LiveBench currently contains a set of 18 diverse tasks across 6 categories, and we will release new, harder tasks over time. This is the instruction_following category of livebench. See more in our [paper](https://arxiv.org/abs/2406.19314), [leaderboard](https://livebench.ai/), and [datasheet](https://github.com/LiveBench/LiveBench/blob/main/docs/DATASHEET.md).--- 数据集信息： 特征： - 名称：问题ID（question_id），数据类型：字符串 - 名称：分类（category），数据类型：字符串 - 名称：轮次（turns），数据类型：字符串序列 - 名称：标准答案（ground_truth），数据类型：字符串 - 名称：任务（task），数据类型：字符串 - 名称：LiveBench发布日期（livebench_release_date），数据类型：秒级时间戳 - 名称：LiveBench移除日期（livebench_removal_date），数据类型：字符串 划分： - 名称：测试集（test），字节数：305848，样本数：150 下载大小：144796 字节 数据集总大小：305848 字节 配置项： - 配置名称：default，数据文件： - 划分：test，路径：data/test-* arXiv编号：2406.19314 --- # "livebench/data_analysis"数据集卡片 LiveBench是一款专为大语言模型（Large Language Model）设计的基准测试集，其研发初衷为规避测试集污染并实现客观评估。该基准具备以下特性： - 本基准通过每月更新全新测试题目、并基于最新发布的数据集、arXiv论文、新闻文章以及IMDb电影剧情简介生成试题，以最大程度降低测试集污染风险。 - 每道题目均配备可验证的客观标准答案，无需借助大语言模型作为评判器，即可实现复杂题目的精准自动评分。 - 当前LiveBench包含覆盖6个分类的18项多样化任务，后续还将陆续发布难度更高的全新任务。 本数据集为LiveBench的指令遵循（instruction_following）分类子集。 更多详情可参阅我们的[研究论文](https://arxiv.org/abs/2406.19314)、[排行榜页面](https://livebench.ai/)以及[数据集说明文档](https://github.com/LiveBench/LiveBench/blob/main/docs/DATASHEET.md)。