Salesforce/summary-of-a-haystack

SummHay数据集是一个用于摘要生成任务的数据集，包含10个Haystacks（5个在对话领域，5个在新闻领域）。每个示例包含主题、子主题、见解、查询、检索器、摘要和评估摘要等信息。数据格式为JSON，详细描述了每个字段的含义。该数据集旨在挑战长上下文LLMs和RAG系统的摘要生成能力。

The SummHay dataset is designed for summarization tasks and contains 10 Haystacks (5 in the conversational domain, 5 in the news domain). Each example includes information such as topic, subtopics, insights, queries, retrievers, summaries, and evaluation summaries. The data is formatted in JSON, with detailed descriptions of each field. The dataset aims to challenge the summarization capabilities of long-context LLMs and RAG systems.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache 2.0
• 任务类别: 摘要生成
• 语言: 英语
• 数据集名称: SummHay

数据结构

• 数据格式: JSON
• 数据字段:
  • topic_id: 主题ID
  • topic: 主题内容
  • topic_metadata: 主题元数据，包含参与者信息
  • subtopics: 子主题列表
    • subtopic_id: 子主题ID
    • subtopic_name: 子主题名称
    • subtopic: 子主题内容
    • insights: 洞察列表
      • insight_id: 洞察ID
      • insight_name: 洞察名称
      • insight: 洞察内容
    • query: 子主题的问题重构
    • retriever: 检索器信息
      • retriever_method: 检索方法
        • document_id: 文档ID
    • summaries: 摘要列表
      • summarization_method_xyz: 摘要方法XYZ的摘要内容
      • {retriever}-{llm_summarizer}: 检索器和LLM摘要器的摘要内容
      • summarization_method_abc: 摘要方法ABC的摘要内容
    • eval_summaries: 评估摘要列表
      • summarization_method_xyz: 摘要方法XYZ的评估摘要内容
        • insight_id: 洞察ID
        • coverage: 覆盖情况（无覆盖、部分覆盖、完全覆盖）
        • bullet_id: 行号
  • documents: 文档列表
    • document_id: 文档ID
    • document_text: 文档内容
    • document_metadata: 文档元数据
    • insights_included: 包含的洞察ID列表

数据访问

• 数据集数量: 10个Haystacks（5个在对话领域，5个在新闻领域）

引用

@article{laban2024SummHay, title={Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems}, author={Laban, Philippe and Fabbri, Alexander R and Xiong, Caiming and Wu, Chien-Sheng}, journal={arXiv preprint arXiv:https://arxiv.org/pdf/2407.01370}, year={2024} }