ReXGroundingCT-clean-full

# ReXGroundingCT Clean Full 数据集 本数据集是整理后的 ReXGroundingCT finding-level 数据集，用于 Stage 1 粗定位训练、验证和两阶段系统联调。 每一条记录对应一个影像 finding：一份完整 CT、一个 finding 级二值 mask、以及对应的文本描述 prompt。 ## 数据内容 - `images/` - 完整 CT 体数据，文件名与 `case_name` 一致。 - `labels/` - finding-level 二值 mask。 - 每个 mask 对应 `manifest` 中的一条 finding 记录。 - `manifest_all.jsonl` - 全量 finding-level manifest。 - 保留 ReXGroundingCT 原始 `train/val` 划分。 - `manifest_all_train.jsonl` - 原始 ReXGroundingCT `train` split。 - `manifest_all_val.jsonl` - 原始 ReXGroundingCT `val` split。 - `manifests/finding_manifest.jsonl` - 从原始 `dataset.json` 提取出的 finding 元数据。 - `manifests/finding_mask_manifest.jsonl` - 导出 finding-level mask 后的中间 manifest。 - `team_manifests/` - 给 Stage 1 队友使用的相对路径 manifest。 - `checks/` - 数据完整性检查结果。 ## 规模 - CT 病例数：`3042` - finding 记录数：`7802` - 原始划分： - `train`: `7687` findings, `2992` cases - `val`: `115` findings, `50` cases ## Manifest 字段说明 常用字段如下： - `id`: finding 级唯一 ID，例如 `finding_000000`。 - `case_name`: 原始 CT 文件名。 - `image`: CT 路径。 - `label`: finding-level mask 路径。 - `prompt`: finding 文本描述，可作为 Stage 1 文本输入。 - `category`: ReXGroundingCT 类别标签。 - `split`: 数据划分。 - `source_finding_key`: 原始 segmentation 内 finding key。 - `entity_count`: 文本中实体数量。 - `mask_voxels`: mask 前景 voxel 数。 - `mask_shape_hwd`: mask shape，顺序为 `height, width, depth`。 - `axis_order`: 当前为 `hwd_original`。 ## 两套划分方式 本仓库现在保留两套 manifest 划分，使用时要按任务选择。 ### 1. 原始 ReXGroundingCT 划分 适合复现原始数据集划分、Stage 1 单独训练或与公开原始 split 对齐。 使用这些文件： - `manifest_all.jsonl` - `manifest_all_train.jsonl` - `manifest_all_val.jsonl` - `team_manifests/stage1_data_manifest_all.jsonl` - `team_manifests/stage1_data_manifest_train.jsonl` - `team_manifests/stage1_data_manifest_val.jsonl` 这里的 `split` 只有： - `train` - `val` ### 2. Stage 2 对齐划分 适合和 Stage 2 ROI 训练集使用完全一致的 case-level split。 Stage 2 训练使用的 manifest 是： - `ReXGroundingCT-stage2-roi/stage2_train_manifest.jsonl` 其中划分逻辑为： - 原始 ReXGroundingCT `val` 的 50 个 case 改为 `holdout` - 原始 ReXGroundingCT `train` 的 2992 个 case 再按 case-level stratified 80/20 划分为新的 `train/val` - 随机种子：`42` 为了让 Stage 1 和 Stage 2 使用同一套 case split，clean-full 中额外提供以下文件： - `manifest_all_stage2split_all.jsonl` - `manifest_all_stage2split_train.jsonl` - `manifest_all_stage2split_val.jsonl` - `manifest_all_stage2split_holdout.jsonl` - `team_manifests/stage1_data_manifest_stage2split_all.jsonl` - `team_manifests/stage1_data_manifest_stage2split_train.jsonl` - `team_manifests/stage1_data_manifest_stage2split_val.jsonl` - `team_manifests/stage1_data_manifest_stage2split_holdout.jsonl` - `team_manifests/stage1_stage2split_split_summary.json` Stage 2 对齐划分规模： - `train`: `6131` findings, `2393` cases - `val`: `1556` findings, `599` cases - `holdout`: `115` findings, `50` cases 这些文件中的字段： - `split`: Stage 2 对齐后的 `train/val/holdout` - `original_split`: 原始 ReXGroundingCT 的 `train/val` - `split_source`: `stage2_train_manifest_case_split` ## 推荐使用方式 如果只做 Stage 1 原始划分实验： ```text team_manifests/stage1_data_manifest_train.jsonl team_manifests/stage1_data_manifest_val.jsonl ``` 如果要让 Stage 1 和 Stage 2 训练、验证、holdout 完全对齐： ```text team_manifests/stage1_data_manifest_stage2split_train.jsonl team_manifests/stage1_data_manifest_stage2split_val.jsonl team_manifests/stage1_data_manifest_stage2split_holdout.jsonl ``` 如果做最终两阶段系统评估，建议把 `holdout` 作为最终保留测试集，不参与训练和调参。 ## 路径说明 根目录 manifest 中的 `image` 和 `label` 指向 clean-full 数据集内部文件。 `team_manifests/` 下的 Stage 1 manifest 使用相对路径，方便队友下载后直接拼接数据集根目录读取： ```text <dataset_root>/<image> <dataset_root>/<label> ``` 例如： ```text images/train_1741_b_2.nii.gz labels/finding_000000.nii.gz ``` ## 与其他仓库的关系 - `clover259/ReXGroundingCT-clean-full` - 当前仓库。 - 提供完整 CT、finding-level mask、Stage 1 manifest。 - `clover259/ReXGroundingCT-stage2-roi` - Stage 2 ROI patch 数据集。 - 提供裁剪后的 ROI image/mask patch。 - `stage2_train_manifest.jsonl` 是 Stage 2 训练使用的 `train/val/holdout` 划分来源。 - `clover259/ReXGroundingCT-debug-subsets` - 小规模 debug 数据和两阶段示例输出。 ## 注意事项 - 不要把 `proposal hit` 理解为 ROI 完整覆盖病灶；它只表示 proposal 与 GT 有交集。 - Stage 1 的主要瓶颈是 recall；如果 Stage 1 proposal 没覆盖病灶，Stage 2 无法恢复目标。 - 如果需要和 Stage 2 结果做严格对齐，请优先使用 `stage2split` 系列 manifest。