Meehai/neo_data_1month

<b><h1>NEO dataset</h1></b>

Preprocessing and loading scripts for NEO datasets: 1 week and 1 month variants. Go in either [1 week](neo_1week) or
[1 month](neo_1month) directories.

Steps:
1. **Download raw data**

Use the `./download_raw_data.py -o raw_data` script.

1.1 **For weekly data only**. Use the `preprocess_raw_1week_data.py raw_data -o raw_data_fixed` script.

- NDVI is only sampled at 16 days, we make an average of two consecutive samples to create an 8 day average.

- We rename the data from YYYY-MM-DD to YYYY-MM-E (E=1,2,3,4 depending on which week bucket). This is needed because
different sensors sample data at different weeks

2. **Convert from PNG to NPY files**
- Converts from raw PNG to [0:1] normalied, 540x1080 npy files, and adds NaNs to invalid regions in the NEO data.

`./convert_png_to_npy.py raw_data -o npy_data [--resolution 540 1080]`

- If `--resolution` is not set, it will default to `540 x 1080`.

3. Run the [neo_viewer](neo_viewer.ipynb) and [data analysis](neo_data_analysis.ipynb) notebook
- Set the path to `neo_1week/npy_data` or `neo_1month/npy_data`.

4. Use in ML python scripts via the [neo reader](neo_reader/neo_reader.py). You can also run it with the `npy_data`.

原始信息汇总

NEO数据集概述

数据集结构

• NEO数据集包含两种时间尺度的变体：1周和1个月。
• 数据集分为两个子目录：neo_1week和neo_1month。

数据处理步骤

1. 下载原始数据

• 使用脚本./download_raw_data.py -o raw_data下载原始数据。
• 仅针对周数据：使用脚本preprocess_raw_1week_data.py raw_data -o raw_data_fixed进行预处理。
  • NDVI数据每16天采样一次，通过平均连续两次采样创建8天平均数据。
  • 数据日期从YYYY-MM-DD重命名为YYYY-MM-E（E=1,2,3,4，根据周次）。

2. 从PNG转换为NPY文件

• 使用脚本./convert_png_to_npy.py raw_data -o npy_data [--resolution 540 1080]将PNG文件转换为NPY格式。
  • 默认分辨率为540x1080，可通过--resolution参数调整。
  • 在无效区域添加NaN值。

3. 数据查看与分析

• 使用neo_viewer.ipynb和neo_data_analysis.ipynb笔记本进行数据查看和分析。
  • 设置路径为neo_1week/npy_data或neo_1month/npy_data。

4. 用于机器学习

• 通过neo_reader/neo_reader.py脚本读取NPY数据，支持机器学习应用。