MTBench
收藏资源简介：
MTBench是一个大规模的多模态时间序列基准测试，旨在评估大型语言模型在金融和天气领域的时间序列和文本理解能力。它包括配对的时间序列和文本数据，如金融新闻与相应的股票价格变动、天气报告与历史温度记录。MTBench提供了一个全面的测试平台，用于模型在结构化数值趋势和非结构化文本叙述上的联合推理。
MTBench is a large-scale multimodal time series benchmark designed to evaluate the time series and text comprehension capabilities of large language models in the financial and weather domains. It includes paired time series and text data, such as financial news paired with corresponding stock price movements, and weather reports paired with historical temperature records. MTBench provides a comprehensive testbed for models to conduct joint reasoning on structured numerical trends and unstructured text narratives.
MTBench: 多模态时间序列基准数据集概述
1. 数据集简介
- 名称：MTBench (Multimodal Time Series Benchmark)
- 类型：多模态时间序列基准数据集
- 领域：金融和天气
- 数据组成：
- 配对的时间序列和文本数据
- 金融新闻与对应股票价格变动
- 天气报告与历史温度记录
2. 数据集特点
- 多模态：结合结构化数值趋势和非结构化文本叙述
- 任务多样性：
- 时间序列预测
- 语义和技术趋势分析
- 新闻驱动的问答(QA)
- 评估重点：
- 捕捉时间依赖性
- 从文本上下文中提取关键见解
- 整合跨模态信息
3. 数据集结构
MTBench/ │── data/ # 下载的数据集 ├── raw/ # 纯文本或时间序列数据集 ├── processed/ # 任务特定数据集 │── data_preparation/ # 数据集准备脚本 ├── weather/ # 天气数据处理脚本 ├── finance/ # 金融数据处理脚本 │── evaluation/ # 基准评估脚本 ├── weather/ # 天气数据评估脚本 ├── finance/ # 金融数据评估脚本 |── api_call.py # 调用LLM API的函数
4. 数据集使用
-
依赖安装： bash git clone https://github.com/asfeng/MTBench.git cd MTBench conda create -n MTBench python=3.10.14 source activate MTBench pip install -r requirements.txt
-
数据下载：
- 原始数据：
python download_raw_dataset.py - 处理后的数据：
python download_processed_dataset.py
- 原始数据：
5. 评估方法
- 步骤：
- 在
evaluation/api_call.py中设置LLM的API密钥 - 选择领域、评估任务和设置
- 运行相应的评估脚本
- 在
6. 基准结果
金融数据结果
| 模型 | 趋势预测(ACC) | 技术指标(MSE) | 相关性(ACC) | MCQA(ACC) |
|---|---|---|---|---|
| GPT-4o | 40.93 ➡️ 42.81 | 0.430 ➡️ 0.365 | 53.6 | 65.1 |
天气数据结果
| 模型 | 温度预测(MSE) | 趋势预测(ACC) | 温度差异(MSE) | MCQA(ACC) |
|---|---|---|---|---|
| GPT-4o | 21.67 ➡️ 17.55 | 23.07 ➡️ 43.54 | 27.06 ➡️ 18.84 | 41.7 |
7. 引用与许可
- 许可证：MIT License
- 引用格式： bibtex @article{MTBench2025, author = {Your Name and Others}, title = {MTBench: A Multimodal Time Series Benchmark for Temporal Reasoning and Question Answering}, journal = {TBD}, year = {2025}, url = {https://arxiv.org/abs/placeholder} }
