Financial COPA dataset

金融COPA数据集旨在比较不同大型语言模型在金融COPA任务中的表现和评分，目的是评估这些模型在支持金融场景中推理支持AI代理的能力。

The Financial COPA Dataset is designed to compare the performance and scores of various large language models (LLMs) on the Financial COPA task, with the objective of evaluating the capability of these models to support AI Agents in conducting reasoning within financial scenarios.

原始信息汇总

Financial LLM/ COPA Evaluator 数据集概述

项目概述

本项目实现了一个COPA（Choice of Plausible Alternatives）评估器，旨在评估和比较不同大型语言模型（LLM）在金融COPA任务中的表现。COPA任务涉及从两个备选方案中选择最合理的因果关系或结果。

数据集特点

• 支持评估来自不同提供商的多个模型
  • 当前支持：
    • Ollama, OpenAI 和 Google Gemini
• 计算每个模型的准确性和时间指标
• 生成性能比较图
• 将详细结果保存到CSV文件中以供进一步分析
• 当前FCOPA验证集为4.0（val4.jsonl）

要求

• Python 3.6+
• 所需的Python包（通过pip install -r requirements.txt安装）：
  • requests
  • tqdm
  • openai
  • python-dotenv
  • matplotlib

设置

1. 克隆此仓库

2. 安装所需的包：pip install -r requirements.txt

3. 如果需要使用公共LLM而不是仅本地Ollama，请在项目根目录中创建一个.env文件并添加您的OpenAI API密钥： text OPENAI_API_KEY=your_api_key_here GOOGLE_API_KEY=your_api_key_here

4. 确保您计划使用Ollama模型时，Ollama在本地运行

使用

1. 在main.py中选择您希望基准测试的模型。
2. 运行脚本：python main.py

输出

• 控制台输出每个模型的准确性和时间指标
• 每个问题的详细结果的CSV文件
• 显示所有评估模型性能比较图的PNG图像

自定义

• 调整COPAEvaluator初始化中的debug参数以启用/禁用详细输出
• 修改format_prompt方法以更改模型提示的构建方式

路线图

• 进一步开发验证数据集
• 用户界面
• 获取第三方确认
• 添加本地化
• 常规维护

贡献

欢迎贡献！请随时提交Pull Request。

许可证

MIT License

搜集汇总

数据集介绍

构建方式

Financial COPA数据集的构建旨在评估和比较不同大型语言模型（LLM）在金融情境下的COPA任务表现。该数据集通过精心设计的选择性替代方案（COPA）任务，要求模型从两个备选方案中选择最合理的因果关系或结果。数据集的构建过程包括从金融领域中提取具有代表性的前提，并为其设计合理的替代选项，以确保任务的复杂性和实际应用的相关性。

特点

Financial COPA数据集的显著特点在于其专注于金融领域的复杂推理任务，确保了数据集的高相关性和实用性。此外，该数据集支持多种模型的评估，包括Ollama、OpenAI和Google Gemini等，提供了广泛的模型性能比较。数据集还计算了模型的准确性和时间指标，并生成性能比较图，便于用户直观了解各模型的表现。

使用方法

使用Financial COPA数据集时，用户首先需克隆项目仓库并安装所需的Python包。随后，用户可在main.py文件中选择要评估的模型，并通过运行脚本进行基准测试。程序将输出各模型的准确性和时间指标，生成详细的CSV文件和性能比较图。用户还可根据需求调整调试参数和提示构造方法，以实现更个性化的评估。

背景与挑战

背景概述

金融领域的大型语言模型（LLM）在处理复杂金融场景中的推理支持方面展现出巨大潜力。Financial COPA数据集由Stefan Månsby开发，旨在评估和比较不同LLM在金融COPA任务中的表现。COPA任务要求从两个备选方案中选择最合理的因果关系或结果。该数据集的创建旨在通过对比不同模型的性能，评估其在支持金融场景中AI代理推理能力方面的潜力。该数据集的开发不仅有助于提升金融领域的自动化决策支持系统，还为学术界和业界提供了宝贵的研究资源。

当前挑战

尽管Financial COPA数据集在评估LLM在金融推理任务中的表现方面具有重要意义，但其构建和应用仍面临若干挑战。首先，数据集的验证集需要进一步开发，特别是在金融复杂性推理方面，可能需要剔除与直接COPA任务无关的问题。其次，数据集目前仅基于英语，引入多语言本地化可能会因语言训练偏差而影响评分。此外，数据集的学术验证尚需第三方确认，以确保其可靠性和有效性。最后，用户界面的改进和多语言支持的实现也是未来发展的重要方向。

常用场景

经典使用场景

在金融领域，Financial COPA数据集的经典使用场景主要集中在评估和比较不同大型语言模型（LLM）在处理金融相关选择题（COPA）任务中的表现。该数据集通过提供一系列金融场景下的前提和两个可能的替代选项，要求模型选择最合理的因果关系或结果，从而测试模型在复杂金融推理中的能力。这种评估方法不仅有助于量化模型的性能，还能为金融领域的AI应用提供有力的支持。

实际应用

在实际应用中，Financial COPA数据集被广泛用于金融顾问服务、银行和投资公司、FinTech企业等多个领域。例如，自动化的金融顾问服务可以利用表现优异的LLM提供更精准的投资建议；银行和投资公司则可以通过这些模型进行风险评估和投资分析；FinTech公司则可以开发更智能的金融产品和服务。这些应用不仅提升了金融服务的效率和准确性，还为企业和个人提供了更为个性化的金融解决方案。

衍生相关工作

基于Financial COPA数据集，许多相关研究和工作得以展开。例如，一些研究通过分析该数据集的结果，提出了改进语言模型在金融推理中表现的新方法；另一些工作则利用该数据集开发了新的金融推理工具和平台。此外，该数据集还激发了在多语言环境下的金融推理研究，推动了跨语言金融AI的发展。这些衍生工作不仅丰富了金融AI的研究领域，还为实际应用提供了更多可能性。