Nikutskiy/XAUUSD-gpt-Datasets

# ONNX_bot / XAUUSD AI-Pipeline — Dataset Repository

Этот репозиторий содержит все данные, необходимые для анализа Клода и Грока:
чистовики, эталонные выборки, сэмплы сырых данных и датасеты, созданные
в ходе работы пайплайна.

Структура подобрана так, чтобы ИИ могли быстро понять, как устроен проект.

---

# 📁 1. Clean_data — очищенные и унифицированные датасеты

Здесь находятся все основные датасеты, которые используются во всех этапах пайплайна.

## Основные файлы

- **Dataset_Macro_latest.parquet**
Мастер-датасет с OHLC/индикаторами/агрегациями.

- **Dataset_Micro_latest.parquet**
Микроструктура (тик, bid/ask данные, экстремумы).

- **Dataset_Renko1pip_latest.parquet**
Renko-структура 1 pip, преобразованная к табличному виду.

- **Features_latest.parquet**
Все вычисленные фичи (технические, BFP, микроструктуры).

- **Predictions_LSTM_latest.parquet**
Предсказания модели LSTM (y_true_ret, y_pred_ret, индекс времени, метки версий).

## BFP и Liquidity

- **BFP_Clusters_latest.csv**
Уровни крупных игроков.

- **BFP_ClustersEvents_latest.csv**
События крупных игроков.

- **LiquidityHeatmap_latest.png**
Теплокарта ликвидности (price × time).

## Оценочные отчёты

- **LSTM_Errors_Stability_Report_latest.csv**
σ_модели, σ_рынка, коэффициент стабильности K.

- **LSTM_Eval_Prices_Report_latest.csv**
RMSE/MAE/sMAPE в ценах, восстановленные цены.

## Fine-tuning

- **Finetune_Window_Report_latest.csv**
Отчёт о выборе окна fine-tune (июль–ноябрь 2025).

---

# 📁 2. canonical — эталонные выборки для моделей

Используются для проверок Клода и Грока, а также для тестов ONNX-инференса.

Внутри:

- **train**
- **val**
- **test**
- **stress** — рыночные режимы повышенной турбулентности
- **random** — случайные подвыборки для быстрой проверки гипотез

Эти папки должны содержать версии датасетов, используемых в обучении и тестировании.

---

# 📁 3. raw_samples — 10k-срезы исходных данных

Для понимания структуры оригинальных данных ИИ:

### macro/
- *XAUUSD_1 Min_Ask_2018.11.04_2025.11.04_sample10k.csv*

### kagi/
- *XAUUSD_Kagi_ONE_PIP_Ticks_Ask_2018.11.04_2025.11.04_sample10k.csv*

### orderbook/
- *OrderBookData_2025.08.04_2025.11.04_final_sample10k.csv*

Эти файлы показывают, как выглядят исходные данные до очистки и трансформации.

---

# 🎯 Основная цель репозитория

Дать Клоду и Гроку возможность:

- изучить структуру данных проекта,
- понять корректность пайплайна,
- проверить риск ошибок (time alignment, leakage),
- предложить улучшения по фичам, подготовке данных и архитектуре модели.