livebench/reasoning

LiveBench是一个为大型语言模型（LLMs）设计的基准测试，旨在限制测试集污染并进行客观评估。它具有以下特点：每月发布新问题，问题基于最新发布的数据集、arXiv论文、新闻文章和IMDb电影摘要；每个问题都有可验证的客观真实答案，允许准确自动评分，无需使用LLM评判；目前包含18个不同任务，分布在6个类别中，并计划发布更难的挑战。这是LiveBench的instruction_following类别。

LiveBench is a benchmark for LLMs designed with test set contamination and objective evaluation in mind. It has the following properties: it releases new questions monthly, with questions based on recently-released datasets, arXiv papers, news articles, and IMDb movie synopses; each question has verifiable, objective ground-truth answers, allowing for accurate and automatic scoring without the use of an LLM judge; it currently contains a set of 18 diverse tasks across 6 categories, with plans to release new, harder tasks over time. This is the instruction_following category of LiveBench.

原始信息汇总

数据集概述

数据集特征

• question_id: 数据类型为字符串。
• category: 数据类型为字符串。
• ground_truth: 数据类型为字符串。
• turns: 数据类型为字符串序列。
• grouping: 数据类型为字符串。

数据集分割

• test:
  • 数据量: 195226 字节
  • 示例数量: 150

数据集大小

• 下载大小: 61439 字节
• 数据集总大小: 195226 字节

搜集汇总

背景与挑战

背景概述

livebench/reasoning数据集是LiveBench基准测试的一部分，专注于评估大型语言模型的推理能力，包含200个多样化的推理任务，如空间推理和斑马谜题，每个任务都有明确的真实答案和难度级别。