YAV-AI/llm-domain-specific-tough-questions

LLM-Tough-Questions数据集是一个合成数据集，旨在严格挑战和评估大型语言模型的能力。该数据集包含100个不同领域的10个精心设计的问题，涵盖了数学、流体动力学、神经科学等多个专业领域。每个问题都深入探讨了各自领域的细节，提供了一个全面的基准，测试AI系统的事实回忆以及分析和综合能力。该数据集是研究人员和开发人员推动AI边界并增强其处理复杂、领域特定查询能力的重要工具。

原始信息汇总

LLM-Tough-Questions Dataset 概述

数据集基本信息

• 数据集名称: LLM-Tough-Questions
• 数据集大小: 286966字节
• 下载大小: 111554字节
• 训练集大小: 1000个示例
• 语言: 英语
• 任务类别: 问答、文本生成
• 数据集类别大小: 1K<n<10K
• 许可证: MIT

数据集结构

• 数据字段:
  • domain: 问题所属的研究领域或类别
  • question: 在特定领域内提出的复杂问题

数据集创建

• 创建理由: 为评估语言模型在广泛复杂和专业主题上的分析和整合能力提供基准。
• 源数据: 使用模型Mistral-7B-Instruct-v0.2合成问题，确保问题具有挑战性并反映深入的学科见解。

使用考虑

• 社会影响: 旨在推动语言模型理解和处理能力的边界，可能带来更强大和智能的系统。
• 局限性: 问题高度专业化，可能未全面覆盖特定领域的所有方面。作为合成数据，问题可能不完全准确反映真实世界场景。

附加信息

• 引用格式: plaintext @misc{llm_tough_questions_2024, author = {YAV-AI}, title = {LLM-Tough-Questions Dataset: A Collection of Complex Questions Across 100 Domains}, year = {2024}, howpublished = {url{https://huggingface.co/datasets/YAV-AI/llm-domain-specific-tough-questions}}, note = {Accessed: date-of-access} }