Nonastreda: Multimodal Dataset for Identifying Tool Wear Condition

# Nonastreda: 9 Multimodal Dataset Featuring Time Series and Image Data for Flank Tool Wear Classification and Regression

* Detailed description: 'Data in Brief' Journal (available soon)
* Repository: https://github.com/hubtru/Impala
* Repository: https://github.com/hubtru/Girape
* Notebooks for converting forces_xyz_raw.mat into spectrograms, scalograms or wavelets: https://github.com/hubtru/Girape/tree/main/scripts

# Overview: Nonastreda (Nona)
* 'Nona' from Latin "ninth"
* Dataset Size: 512 samples (instances, observations)
* Modalities: 9 modalities
* Tasks:
* Classification: 3 classes (sharp, used, dulled)
* Regression: 3 targets (flank wear [µm], gaps [µm], overhang [µm])
* Additional subtasks:
* Uni/Multi-Modal Classification
* Multilabel Regression
* Anomaly Detection
* Remaining Useful Life (RUL) Estimation
* Signal Drift Measurement
* Zero-Shot Flank Tool Wear Classification
* Diagnostic Feature Engineering
* Domain: industrial flank tool wear of the milling machine
* Input (per sample):
* Images: 1 tool image, 1 chip image, 1 workpiece image
* Mel-Spectrograms: x, y, z axes (3 images)
* Complex Morlet Scalograms: x, y, z axes (3 images)
* Extra Modalities: raw (time-series) force signals in x, y, z axes
* Output:
* Machine state classes: sharp, used, dulled
* Regression targets: flank wear [µm], gaps [µm], overhang [µm]
* Evaluation metrics:
* Classification: accuracies, precision, recall, F1-Score, ROC curve
* Regression: MAE, MSE, RMSE
* Data splitting:
* Protocol: 10-Fold Cross Validation
* Training and Validation: data from 9 tools
* Testing: data from the 10th tool
* Results: accuracy averaged over ten splits
* The dataset includes measurements from ten tools

Extra Time-Series Modality
* Raw forces signal in x, y, z axes is provided in `forces_xyz_raw.mat` file.
* The `*.mat` file can be used with scripts from the Girape repository to generate spectrograms, scalograms, and wavelets.
* Source force signals (Fx, Fy, Fz) allow experimentation with new types of feature engineering and embeddings, such as Shannon, Daubechies, or Morlet wavelets.
* Sampling rate for force signals: 1 kHz.
* forces_xyz.mat + Girape/scripts -> spectrograms or scalograms or wavelets

Future Work
* Improvements of (zero-shot flank) tool wear classification and regression.
* Incorporating raw force signals (Fx, Fy, Fz) into multimodal studies.
* Calculating new modalities using the raw force signals (Fx, Fy, Fz).
* Conducting experiments on:
* Anomaly Detection
* Remaining Useful Life (RUL) estimation
* Signal Drift measurement
* Designing Diagnostic Feature Engineering.
* Modalities Correlation Analysis.

# Data Structure

Nonastreda/
│
├── chip/
├── scal/
│ ├── x/
│ ├── y/
│ └── z/
├── spec/
│ ├── x/
│ ├── y/
│ └── z/
├── tool/
│
├── work/
│
├── labels.csv
├── labels_reg.csv
└── forces_xyz_raw.mat

# Nonastreda：面向侧面刀具磨损分类与回归的9模态多模态数据集，融合时序与图像数据
* 详细说明：《Data in Brief》期刊（即将上线）
* 数据集仓库：https://github.com/hubtru/Impala
* 数据集仓库：https://github.com/hubtru/Girape
* 用于将forces_xyz_raw.mat转换为频谱图、尺度图或小波图的Notebook脚本：https://github.com/hubtru/Girape/tree/main/scripts

# 数据集概览：Nonastreda（简称Nona）
* 名称由来：Nona源自拉丁语“第九”
* 数据集规模：共512条样本（实例/观测值）
* 模态类型：共9种模态
* 任务类型：
* 分类任务：涵盖3个类别（锋利（sharp）、使用中（used）、钝化（dulled））
* 回归任务：包含3个回归目标（侧面刀具磨损量（flank wear）[µm]、间隙量（gaps）[µm]、悬臂量（overhang）[µm]）
* 额外子任务：
* 单模态/多模态分类
* 多标签回归
* 异常检测（Anomaly Detection）
* 剩余使用寿命（Remaining Useful Life, RUL）预估
* 信号漂移度量
* 零样本侧面刀具磨损分类（Zero-Shot Flank Tool Wear Classification）
* 诊断特征工程（Diagnostic Feature Engineering）
* 应用领域：铣床工业侧面刀具磨损场景
* 单样本输入：
* 图像类：刀具图像、切屑图像、工件图像各1张
* 梅尔频谱图（Mel-Spectrograms）：x、y、z三个轴方向各1张，共3张
* 复Morlet尺度图（Complex Morlet Scalograms）：x、y、z三个轴方向各1张，共3张
* 额外模态：x、y、z三个轴方向的原始（时序）力信号
* 输出内容：
* 机器状态类别：锋利、使用中、钝化
* 回归目标：侧面刀具磨损量[µm]、间隙量[µm]、悬臂量[µm]
* 评估指标：
* 分类任务：准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数（F1-Score）、受试者工作特征曲线（ROC Curve）
* 回归任务：平均绝对误差（Mean Absolute Error, MAE）、均方误差（Mean Squared Error, MSE）、均方根误差（Root Mean Squared Error, RMSE）
* 数据划分方案：
* 划分协议：10折交叉验证
* 训练集与验证集：取自9把刀具的数据
* 测试集：取自第10把刀具的数据
* 结果评估：对10次划分的结果取平均准确率
* 本数据集共包含10把刀具的测量数据

## 额外时序模态
* x、y、z轴的原始力信号存储于`forces_xyz_raw.mat`文件中
* 可结合Girape仓库中的脚本，对该`.mat`文件进行处理，生成频谱图、尺度图与小波图
* 原始力信号（Fx、Fy、Fz）可用于开展新型特征工程与嵌入方法的实验，例如香农（Shannon）小波、Daubechies小波或Morlet小波
* 力信号采样率：1 kHz
* 通过`forces_xyz_raw.mat`与Girape/scripts脚本，可生成频谱图、尺度图或小波图

## 未来研究方向
* 优化（零样本）侧面刀具磨损分类与回归任务性能
* 将原始力信号（Fx、Fy、Fz）融入多模态研究
* 基于原始力信号（Fx、Fy、Fz）构建新型模态
* 开展以下实验：
* 异常检测
* 剩余使用寿命（RUL）预估
* 信号漂移度量
* 开展诊断特征工程相关研究
* 开展模态相关性分析

# 数据集目录结构
Nonastreda/
│
├── chip/ # 切屑图像文件夹
├── scal/ # 复Morlet尺度图文件夹
│ ├── x/ # x轴尺度图子文件夹
│ ├── y/ # y轴尺度图子文件夹
│ └── z/ # z轴尺度图子文件夹
├── spec/ # 梅尔频谱图文件夹
│ ├── x/ # x轴频谱图子文件夹
│ ├── y/ # y轴频谱图子文件夹
│ └── z/ # z轴频谱图子文件夹
├── tool/ # 刀具图像文件夹
│
├── work/ # 工件图像文件夹
│
├── labels.csv # 分类标签文件
├── labels_reg.csv # 回归标签文件
└── forces_xyz_raw.mat # 原始力信号文件

搜集汇总

背景与挑战

背景概述

Nonastreda是一个多模态数据集，包含512个样本和9种模态数据，用于工业铣床刀具磨损状态的分类和回归任务。数据集支持多种任务，包括分类（锐利、使用、钝化）、回归（磨损、间隙、悬垂）以及异常检测等，并提供了详细的数据结构和评估指标。