ai4bharat/human-eval

该基准测试包含一组由真实用户编写的提示，用于评估LLM在现实世界任务中的表现，并测试其在不同能力上的表现。我们收集了以下5种能力的提示：长文本生成能力（如写作文章、演讲、报告等）、事实意见和解释能力（如寻求推荐、建议、意见、解释等）、内容可访问性能力（如摘要、通俗解释等）、语言创造力能力（如寻找字谜、押韵词、词汇增强等）以及印度文化相关问题的回答能力。对于每种能力，我们定义了一系列意图和领域，并提供给用户详细的提示说明。

This benchmark includes a set of prompts written by real users, used to evaluate the performance of large language models (LLMs) in real-world tasks and test their performance across different capabilities. We have collected prompts covering the following five capabilities: long-text generation capability (e.g., writing articles, speeches, reports, etc.), factual opinion and explanation capability (e.g., seeking recommendations, advice, opinions, explanations, etc.), content accessibility capability (e.g., summarization, plain-language explanations, etc.), linguistic creativity capability (e.g., finding anagrams, rhyming words, vocabulary enhancement, etc.), and the capability to answer questions related to Indian culture. For each capability, we have defined a series of intents and domains, and provided users with detailed prompt instructions.

原始信息汇总

Airavata HumanEval 数据集概述

基本信息

• 数据集名称: Airavata HumanEval
• 语言: 印地语 (hi)
• 许可证: CC BY 4.0
• 多语言性: 单语种
• 数据集大小分类: 1<n<100
• 源数据集: 原始数据
• 任务类别: 文本生成
• 语言标识: hi-IN

数据集配置

• 配置名称: human-eval
• 特征:
  • id: 字符串类型
  • intent: 字符串类型
  • domain: 字符串类型
  • language: 字符串类型
  • prompt: 字符串类型
• 分割:
  • test: 包含 50 个样本，34114 字节
• 下载大小: 21873 字节
• 数据集大小: 34114 字节

数据文件

• 配置名称: human-eval
• 数据文件:
  • 分割: test
  • 路径: data/test-*

数据集描述

• 能力评估:
  • Long: 生成长篇文本的能力，如撰写论文、演讲、报告等。
  • Fact-Ops: 提供事实性意见和解释的能力，如寻求推荐、建议、意见、解释等。
  • Content: 使内容易于理解的能力，如总结、通俗解释等。
  • Lang-Creativity: 语言创造力，如寻找变位词、押韵词、词汇增强等。
  • Culture: 回答与印度文化相关问题的能力。