nor_agriculture_bench

该数据集名为'Nor Agriculture Bench'，与使用大型语言模型（LLM）回答挪威农业相关问题的工作相关。数据集使用YourBench（一个开源框架）从文档集合中生成领域特定的基准测试。它包括多个配置，如'chunked'、'ingested'、'multi_hop_questions'、'prepared_lighteval'、'single_hop_questions'和'summarized'，每个配置都有特定的特征和分割。数据集需要进一步的清理和验证，并作为生成挪威语领域特定数据集的证明。README还概述了数据集生成的流水线步骤，并提供了用于复现的配置。

原始信息汇总

Nor Agriculture Bench 数据集概述

数据集基本信息

• 数据集名称: Nor Agriculture Bench
• 数据集地址: https://huggingface.co/datasets/norjordAI/nor_agriculture_bench
• 项目背景: 该数据集与“适应LLM回答挪威农业相关问题”项目相关，专注于挪威语领域。
• 生成工具: 使用开源框架 YourBench (v0.9.0) 从文档集合生成领域特定基准。
• 当前状态: 数据集需要进一步清洗、验证引用以及检查主题覆盖的多样性。可作为使用yourbench生成挪威语领域特定数据集的验证概念，并可通过提示工程和微调进行改进。
• 项目性质: 个人项目。
• 版本说明: 此版本专注于特定于单一主题的单跳问题。多跳问题请查看 Nor Agriculture Multi Hop Questions Bench。

数据集配置与结构

数据集包含6个配置，均仅包含训练集。

1. 配置: chunked

• 描述: 分块文档数据。
• 特征:
  • document_id: 字符串
  • document_text: 字符串
  • document_filename: 字符串
  • document_metadata: 结构体（包含file_size）
  • document_summary: 字符串
  • summarization_model: 字符串
  • chunks: 列表（包含chunk_id, chunk_text）
  • multihop_chunks: 列表（包含chunk_ids, chunks_text）
• 数据统计:
  • 训练集样本数: 3
  • 训练集大小: 42,203,043 字节
  • 下载大小: 18,775,806 字节
  • 数据集大小: 42,203,043 字节

2. 配置: ingested

• 描述: 已处理的原始文档数据。
• 特征:
  • document_id: 字符串
  • document_text: 字符串
  • document_filename: 字符串
  • document_metadata: 结构体（包含file_size）
• 数据统计:
  • 训练集样本数: 3
  • 训练集大小: 7,586,679 字节
  • 下载大小: 3,984,763 字节
  • 数据集大小: 7,586,679 字节

3. 配置: multi_hop_questions

• 描述: 多跳问题数据。
• 特征:
  • document_id: 字符串
  • question: 字符串
  • self_answer: 字符串
  • generating_model: 字符串
  • raw_response: 字符串
  • citations: 字符串列表
  • source_chunk_ids: 字符串列表
• 数据统计:
  • 训练集样本数: 1136
  • 训练集大小: 6,932,621 字节
  • 下载大小: 1,313,007 字节
  • 数据集大小: 6,932,621 字节

4. 配置: prepared_lighteval

• 描述: 为LightEval评估准备的数据。
• 特征:
  • question: 字符串
  • additional_instructions: 字符串
  • ground_truth_answer: 字符串
  • gold: 字符串列表
  • choices: 空值列表
  • question_category: 字符串
  • kind: 字符串
  • estimated_difficulty: 整数
  • citations: 字符串列表
  • document_id: 字符串
  • chunk_ids: 字符串列表
  • question_generating_model: 字符串
  • chunks: 字符串列表
  • document: 字符串
  • document_summary: 字符串
  • answer_citation_score: 浮点数
  • chunk_citation_score: 浮点数
  • citation_score: 浮点数
• 数据统计:
  • 训练集样本数: 3233
  • 训练集大小: 9,918,103,429 字节
  • 下载大小: 5,058,147,895 字节
  • 数据集大小: 9,918,103,429 字节

5. 配置: single_hop_questions

• 描述: 单跳问题数据。
• 特征:
  • document_id: 字符串
  • question: 字符串
  • self_answer: 字符串
  • generating_model: 字符串
  • raw_response: 字符串
  • citations: 字符串列表
  • chunk_id: 字符串
• 数据统计:
  • 训练集样本数: 2097
  • 训练集大小: 9,525,762 字节
  • 下载大小: 2,095,959 字节
  • 数据集大小: 9,525,762 字节

6. 配置: summarized

• 描述: 带摘要的文档数据。
• 特征:
  • document_id: 字符串
  • document_text: 字符串
  • document_filename: 字符串
  • document_metadata: 结构体（包含file_size）
  • document_summary: 字符串
  • summarization_model: 字符串
• 数据统计:
  • 训练集样本数: 3
  • 训练集大小: 7,589,196 字节
  • 下载大小: 3,992,243 字节
  • 数据集大小: 7,589,196 字节

数据处理流程

1. ingestion: 读取原始源文档，将其转换为标准化markdown并保存以供后续步骤使用。
2. summarization: 执行分层摘要：先进行分块级别的LLM摘要，然后进行合并阶段的归纳。
3. chunking: 将文本分割成基于令牌的单跳和多跳块。
4. single_hop_question_generation: 使用LLM为每个分块生成独立的问答对。
5. multi_hop_question_generation: 生成需要跨多个分块进行推理的多跳问答对。
6. citation_score_filtering: 计算基于重叠的引用分数并相应地过滤问答对。

可复现性

使用 YourBench v0.9.0 及提供的配置可复现此数据集。

搜集汇总

数据集介绍

构建方式

在农业知识数字化进程中，Nor Agriculture Bench数据集采用系统化流程构建。原始挪威语农业文档经过规范化处理，转化为标准Markdown格式，随后通过层次化摘要技术生成文档概要。文本分割模块依据语义单元将内容划分为单跳与多跳片段，为后续问题生成奠定基础。基于大型语言模型，系统自动从文本片段中抽取单跳问题，并构建需要跨片段推理的多跳问题对。最后通过引用评分机制对生成内容进行质量过滤，形成结构化的评估基准。

特点

该数据集聚焦挪威农业领域，呈现鲜明的专业语料特征。其核心价值在于包含单跳与多跳两类问题体系，单跳问题对应特定文本片段的理解，多跳问题则要求模型进行跨段落推理。每个数据样本均配备完整的引用链条与评分指标，支持对模型回答的可追溯性评估。数据集采用模块化设计，提供原始文档、分块文本、摘要版本及多种问题格式，为不同评估场景提供灵活适配。多维度元数据记录确保了实验的可复现性。

使用方法

研究人员可通过HuggingFace平台直接加载数据集的不同配置模块进行评估实验。针对模型能力测评，prepared_lighteval配置提供了符合LightEval框架标准的格式化数据，包含问题、参考答案及引用信息。若需分析问题生成质量，可调用single_hop_questions与multi_hop_questions配置进行细粒度考察。对于文档理解任务，chunked与summarized配置分别提供分块文本与摘要内容。使用前建议进行数据清洗与验证，以确保评估结果的可靠性。

背景与挑战

背景概述

挪威农业基准数据集（Nor Agriculture Bench）是面向挪威农业领域的大语言模型适应性评估资源，由个人研究者依托YourBench开源框架构建。该数据集旨在解决农业知识问答中的语言与领域适配问题，通过文档收集、文本分块、摘要生成及问题构建等流程，生成了涵盖单跳与多跳问题的结构化语料。其核心研究聚焦于提升大语言模型在挪威语农业专业文本上的理解与推理能力，为领域特定模型的微调与评估提供了实证基础，推动了低资源语言在垂直领域的应用探索。

当前挑战

该数据集致力于应对挪威农业领域知识问答的挑战，包括专业术语的准确理解、多文档信息的综合推理以及低资源语言的数据稀缺性问题。在构建过程中，面临文档格式异构性处理、分块策略的语义完整性保持、自动生成问题的质量验证以及引用标注的可靠性保障等具体困难。此外，数据集的多样性与主题覆盖度仍需进一步人工核查与优化，以增强其作为基准评估工具的稳健性与代表性。

常用场景

经典使用场景

在农业信息处理领域，Nor Agriculture Bench数据集为挪威语农业文档的智能问答研究提供了基准测试平台。该数据集通过文档分块、摘要生成及问题构建等流程，构建了单跳与多跳问答对，典型应用场景包括评估大型语言模型在挪威农业专业知识上的理解与推理能力。研究人员可利用其结构化的问题-答案对，系统性地测试模型在特定领域文档中的信息提取与多步推理性能，从而推动领域自适应语言模型的发展。

实际应用

在实际应用层面，Nor Agriculture Bench数据集可服务于挪威农业部门的智能咨询系统开发。基于其构建的问答模型能够帮助农民、政策制定者及农业企业快速获取精准的法规、技术或市场信息，提升决策效率。同时，该数据集也为挪威语农业教育平台提供了自动化问答素材，支持个性化学习与知识普及，体现了人工智能技术在传统产业数字化转型中的实用价值。

衍生相关工作

围绕该数据集衍生的经典工作主要集中于挪威语领域自适应模型的微调与评估框架构建。例如，基于YourBench工具链的领域基准生成方法被广泛应用于其他北欧语言的专业数据集创建。同时，其多跳问答设计启发了后续研究对农业政策跨文档推理任务的深入探索，促进了类似领域如渔业、林业的基准数据集发展，形成了低资源语言专业问答研究的技术生态。