Real-Time Dataset Generator

实时数据集生成器是一个高级代理，旨在自动化创建用于评估基于Web的AI代理的数据集。通过生成特定领域的查询、收集实时Web数据并过滤结果，它简化了基于LLM的代理的评估过程。

The Real-time Dataset Generator is an advanced agent designed to automate the creation of datasets for evaluating Web-based AI agents. By generating domain-specific queries, collecting real-time Web data and filtering the results, it simplifies the evaluation process for LLM-based agents.

原始信息汇总

Tavily Real-Time Dataset Generator for RAG Evals 数据集概述

数据集简介

Tavily Real-Time Dataset Generator 是一个用于自动化生成数据集的工具，专门用于评估基于网络的AI代理。该工具通过生成特定领域的查询、收集实时网络数据并过滤结果，简化了基于LLM（大型语言模型）代理的评估过程。

主要功能

1. generate_qa_search_queries：根据主题和输入上下文生成目标搜索查询，确保后续检索过程专注于最相关的信息。
2. search：利用Tavily Search API检索与生成查询相关的网页或文档，为生成有意义的问题-答案对提供必要的上下文。
3. generate_qa：处理每个检索到的网页，生成问题-答案对。使用map-reduce范式从内容中提取关键见解，并为每个文档合成全面的QA项。
4. save：确保生成的问题-答案对保存在Langsmith或本地（根据用户输入）。

输入参数

• num_qa：指定要生成的问题-答案对数量。例如，设置为100将生成100个QA项。
• qa_subject：定义QA生成的主题焦点，如“体育”、“股票”或“新闻”，确保输出符合特定用户需求。
• save_to_langsmith：布尔参数，指示是否将数据集保存到Langsmith。

使用前提

• Tavily API Key：需要注册获取API密钥。
• OpenAI API Key：需要注册获取API密钥。
• Langsmith API Key：需要注册获取API密钥。

安装步骤

1. 克隆仓库： bash git clone https://github.com/Eyalbenba/tavily-web-eval-generator.git cd tavily-web-eval-generator

2. 创建虚拟环境： bash python -m venv venv
   source venv/bin/activate # macOS/Linux
   venvScriptsactivate # Windows

3. 设置API密钥： bash export TAVILY_API_KEY={Your Tavily API Key here}
   export OPENAI_API_KEY={Your OpenAI API Key here}
   export LANGSMITH_API_KEY={Your Langsmith API Key here}

4. 安装依赖： bash pip install -r requirements.txt

5. 示例运行： bash import dotenv dotenv.load_dotenv() import asyncio from src.web_eval_generator.graph import graph from src.web_eval_generator.state import GeneratorState

   async def main(): state = GeneratorState(num_qa=100,qa_subject="NBA Basketball") print("Starting the QA Generation workflow...") try: result = await graph.ainvoke(state) print(" Workflow completed successfully.") print("Final state:", result) except Exception as e: print(f"An error occurred during the workflow execution: {e}")

   if name == "main": asyncio.run(main())

示例输出

搜集汇总

数据集介绍

构建方式

Real-Time Dataset Generator通过自动化流程构建数据集，专为评估基于网络的AI代理而设计。该工具首先生成特定领域的查询，随后利用Tavily Search API从网络中实时收集相关数据，并通过过滤和提取关键信息，最终生成高质量的问题-答案对。整个过程采用模块化设计，确保数据集的构建高效且精准。

特点

该数据集的特点在于其动态生成能力，能够根据用户指定的主题和数量实时生成问题-答案对。其核心功能包括生成针对性搜索查询、检索相关网页、提取并生成问答对，以及将结果保存至Langsmith或本地。这种设计不仅提高了数据集的时效性，还确保了内容的多样性和相关性，适用于多种领域的研究和评估。

使用方法

用户可通过配置参数（如问题-答案对数量、主题等）启动数据集生成流程。首先需克隆项目并设置API密钥，随后安装依赖并运行示例代码。生成的数据集可直接用于评估基于大语言模型的AI代理，或进一步用于其他研究任务。整个过程支持异步执行，确保高效性和灵活性。

背景与挑战

背景概述

Real-Time Dataset Generator 是由 Tavily 开发的一款先进工具，旨在自动化生成用于评估基于网络增强的AI代理的数据集。该数据集生成器通过生成特定领域的查询、收集实时网络数据并过滤结果，极大地简化了基于大语言模型（LLM）代理的评估流程。其核心功能包括生成高质量搜索查询、利用 Tavily Search API 检索相关网页、从网页内容中提取并生成问答对，并将结果保存至 Langsmith 或本地。该工具的推出标志着在AI代理评估领域的一次重要突破，尤其是在实时数据获取与处理方面，为研究人员提供了更为高效和精准的评估手段。

当前挑战

Real-Time Dataset Generator 在解决基于网络增强的AI代理评估问题时，面临多重挑战。首先，生成高质量且领域相关的搜索查询需要深入理解用户需求，并确保查询的多样性与覆盖性。其次，实时数据检索过程中，如何从海量网络信息中筛选出最具价值的内容，并避免噪声干扰，是一个技术难点。此外，问答对的生成不仅要求对网页内容进行精准解析，还需确保生成的问答对具有逻辑一致性与信息完整性。在构建过程中，如何高效整合多个API（如 Tavily、OpenAI 和 Langsmith）并确保数据流的无缝衔接，也是开发者需要克服的关键技术挑战。

常用场景

经典使用场景

Real-Time Dataset Generator 在评估基于大语言模型（LLM）的增强型AI代理时，展现了其独特的价值。通过自动化生成领域特定的查询、实时收集网络数据并过滤结果，该工具极大地简化了评估流程。特别是在需要快速构建高质量问答对以测试AI代理的检索与生成能力时，该数据集生成器成为了不可或缺的工具。

实际应用

在实际应用中，Real-Time Dataset Generator 被广泛用于构建实时问答系统、智能客服以及信息检索工具。例如，在新闻领域，它可以快速生成与最新事件相关的问答对，帮助AI系统实时更新知识库。在金融领域，该工具能够生成与股票市场相关的问答数据，支持智能投资顾问的开发与测试。

衍生相关工作

基于 Real-Time Dataset Generator 的自动化数据生成能力，许多经典研究工作得以展开。例如，研究者利用其生成的问答对优化了基于LLM的检索增强生成（RAG）模型，显著提升了模型在开放域问答任务中的表现。此外，该工具还催生了一系列关于实时数据采集与过滤算法的研究，进一步推动了AI代理在动态环境中的应用。