dtgsl/CandleBench

---
license: apache-2.0
task_categories:
- visual-document-retrieval
- visual-question-answering
tags:
- finance
- image-text
- cross-modal-retrieval
- candlestick-chart
- stock
- technical-analysis
pretty_name: CandleBench - Financial Chart Cross-Modal Retrieval Benchmark
size_categories:
- 100K<n<1M
---

# 📁 Dataset Structure
- Total images: **103,301**
- Annotations: **5 captions per image**
- Markets: CN (A-share), US (Stock)
- Timeframes: Daily, Weekly, Monthly
- Resolution: PC + Mobile

---

# 📈 Expert Human Evaluation (1–5, higher=better)

| Metric | PGCC | MLLM | PGCC | MLLM | PGCC | MLLM | PGCC | MLLM | PGCC | MLLM | PGCC | MLLM |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| | CN-D | CN-D | CN-W | CN-W | CN-M | CN-M | US-D | US-D | US-W | US-W | US-M | US-M |
| Pattern Accuracy | **4.6** | 2.8 | **4.4** | 3.4 | **4.2** | 3.2 | **4.8** | 3.2 | **4.8** | 3.6 | **4.8** | 3.4 |
| Numerical Precision | **4.6** | 3.2 | **4.6** | 3.2 | **4.6** | 3.2 | **4.6** | 3.2 | **4.8** | 3.2 | **4.6** | 3.2 |
| Dimension Richness | **4.2** | 2.6 | **4.2** | 2.6 | **4.2** | 2.6 | **4.6** | 2.8 | **4.6** | 2.8 | **4.6** | 2.6 |

*D=Daily, W=Weekly, M=Monthly*

---

# 🧪 Model Performance Comparison

| Retriever | I2T R@1 | I2T R@5 | I2T R@10 | DCG | T2I R@1 | T2I R@5 | T2I R@10 | DCG |
|---|---:|---:|---:|---:|---:|---:|---:|---:|
| tomoro-colqwen3-embed-4b | **2.75** | **11.34** | **18.92** | – | 7.52 | 23.71 | 35.27 | – |
| llama-nemoretriever-colembed-3b | 1.20 | 5.73 | 10.68 | – | **15.36** | **42.12** | **57.96** | – |
| ColQwen2.5-v0.2 3B | 1.24 | 5.74 | 10.68 | – | 11.47 | 33.46 | 46.48 | – |
| Qwen3-VL-Embedding 8B | 1.70 | 6.80 | 12.30 | 1.84 | 2.37 | 9.44 | 16.48 | 1.76 |
| RZEN-Embed 8B | 1.59 | 6.78 | 12.24 | **2.09** | 2.24 | 8.47 | 14.68 | 2.05 |
| OPS-MM-Embedding-v1 7B | 0.78 | 3.86 | 7.77 | 1.56 | 0.76 | 3.88 | 7.82 | **2.06** |
| CLIP | 0.82 | 3.87 | 7.78 | 1.24 | 0.83 | 3.91 | 7.77 | 1.24 |
| VSE++ | 0.76 | 3.84 | 7.81 | 1.56 | 0.75 | 3.79 | 7.63 | 1.35 |
| BLIP | 0.78 | 3.88 | 7.78 | 1.77 | 0.77 | 3.87 | 7.74 | 1.85 |
| BLIP2 | 0.75 | 3.86 | 7.73 | 1.50 | 0.77 | 3.87 | 7.74 | 1.67 |

---

# 🚀 How to Use

```python
from datasets import load_dataset
dataset = load_dataset("dtgsl/CandleBench")

许可证：Apache-2.0
任务类别：
- 视觉文档检索（visual-document-retrieval）
- 视觉问答（visual-question-answering）
标签：
- 金融
- 图文
- 跨模态检索（cross-modal-retrieval）
- K线图（candlestick-chart）
- 股票
- 技术分析（technical-analysis）
可视化名称：CandleBench——金融图表跨模态检索基准数据集
样本规模类别：10万<样本量<100万

# 📁 数据集结构
- 总图像量：**103,301**
- 标注配置：每张图像对应5条描述文本
- 覆盖市场：中国A股（CN）、美国股市（US）
- 时间周期：日线、周线、月线
- 分辨率适配：支持PC端与移动端

# 📈 专家人工评估（1–5分，分值越高表现越好）

| 评估指标 | 中国A股日线 | | 中国A股周线 | | 中国A股月线 | | 美国股市日线 | | 美国股市周线 | | 美国股市月线 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| | PGCC | MLLM | PGCC | MLLM | PGCC | MLLM | PGCC | MLLM | PGCC | MLLM | PGCC | MLLM |
| 形态准确率 | **4.6** | 2.8 | **4.4** | 3.4 | **4.2** | 3.2 | **4.8** | 3.2 | **4.8** | 3.6 | **4.8** | 3.4 |
| 数值精度 | **4.6** | 3.2 | **4.6** | 3.2 | **4.6** | 3.2 | **4.6** | 3.2 | **4.8** | 3.2 | **4.6** | 3.2 |
| 维度丰富度 | **4.2** | 2.6 | **4.2** | 2.6 | **4.2** | 2.6 | **4.6** | 2.8 | **4.6** | 2.8 | **4.6** | 2.6 |

*注：D代表日线（Daily），W代表周线（Weekly），M代表月线（Monthly）*

# 🧪 模型性能对比

| 检索模型 | 图像到文本召回率@1 | 图像到文本召回率@5 | 图像到文本召回率@10 | 折损累计增益（DCG） | 文本到图像召回率@1 | 文本到图像召回率@5 | 文本到图像召回率@10 | 折损累计增益（DCG） |
|---|---:|---:|---:|---:|---:|---:|---:|---:|
| tomoro-colqwen3-embed-4b | **2.75** | **11.34** | **18.92** | – | 7.52 | 23.71 | 35.27 | – |
| llama-nemoretriever-colembed-3b | 1.20 | 5.73 | 10.68 | – | **15.36** | **42.12** | **57.96** | – |
| ColQwen2.5-v0.2 3B | 1.24 | 5.74 | 10.68 | – | 11.47 | 33.46 | 46.48 | – |
| Qwen3-VL-Embedding 8B | 1.70 | 6.80 | 12.30 | 1.84 | 2.37 | 9.44 | 16.48 | 1.76 |
| RZEN-Embed 8B | 1.59 | 6.78 | 12.24 | **2.09** | 2.24 | 8.47 | 14.68 | 2.05 |
| OPS-MM-Embedding-v1 7B | 0.78 | 3.86 | 7.77 | 1.56 | 0.76 | 3.88 | 7.82 | **2.06** |
| CLIP | 0.82 | 3.87 | 7.78 | 1.24 | 0.83 | 3.91 | 7.77 | 1.24 |
| VSE++ | 0.76 | 3.84 | 7.81 | 1.56 | 0.75 | 3.79 | 7.63 | 1.35 |
| BLIP | 0.78 | 3.88 | 7.78 | 1.77 | 0.77 | 3.87 | 7.74 | 1.85 |
| BLIP2 | 0.75 | 3.86 | 7.73 | 1.50 | 0.77 | 3.87 | 7.74 | 1.67 |

# 🚀 使用方式
python
from datasets import load_dataset
dataset = load_dataset("dtgsl/CandleBench")