RS_MultiTask_Qwen4B_Finetune

数据集文件元信息以及数据文件，请浏览“数据集文件”页面获取。 当前数据集卡片使用的是默认模版，数据集的贡献者未提供更加详细的数据集介绍，但是您可以通过如下GIT Clone命令，或者ModelScope SDK来下载数据集 #### 下载方法 :modelscope-code[]{type="sdk"} :modelscope-code[]{type="git"} # RS-MultiTask-Qwen4B-Finetune 这是面向约 4B 参数 Qwen 视觉语言模型的独立微调与评测数据包。 ## 使用方式 将本目录作为 DATASET_ROOT： from pathlib import Path import json DATASET_ROOT = Path("/path/to/RS-MultiTask-Qwen4B-Finetune") row = json.loads((DATASET_ROOT / "train.jsonl").read_text(encoding="utf-8").splitlines()[0]) image_path = DATASET_ROOT / row["images"][0] 三个 JSONL 中所有图片和掩膜路径均相对于本目录，例如 data/DIOR/...。不需要再拼接原始数据根目录。 ## 内容 - train.jsonl：48,250 个训练对话，82,556 个监督 turn。 - validation.jsonl：7,021 个验证对话，7,021 个监督 turn。 - evaluation.jsonl：119,601 条独立评测记录；消息只含 user，参考答案保存在 targets 中。 - data/：微调和评测实际引用的 117,759 个媒体文件，共 65.87 GiB。 - training_plan.json：任务配额、训练阶段和采样权重建议。 - statistics.json：本独立包统计。 - SCHEMA.md：JSONL 字段说明。 - SHA256SUMS：关键文件校验和。 ## 包含来源 微调来源：DIOR、LEVIR-CC、LEVIR-CD、LoveDA、NWPU-RESISC45、VRSBench。 评测来源：CHOICE、DIOR-test、FIT-RSFG-Bench、LEVIR-CC test、LEVIR-CD test、VLRS-Bench、VRSBench EVAL、XLRS-Bench-lite。 ## 微调任务与数据集使用分布 以下统计口径是 `train.jsonl` + `validation.jsonl` 中的监督 turn，共 89,577 个。任务列中的百分比是该任务占全部微调监督量的比例；各数据集单元格格式为“数量（该任务内占比）”。 | 任务 | 训练 | 验证 | 合计 | 占全部 | DIOR | LEVIR-CC | LEVIR-CD | LoveDA | NWPU-RESISC45 | VRSBench | |---|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:| | object_detection | 5,848 | 999 | 6,847 | 7.64% | 6,847（100%） | — | — | — | — | — | | object_counting | 8,071 | 999 | 9,070 | 10.13% | 9,070（100%） | — | — | — | — | — | | visual_question_answering | 19,995 | 1,384 | 21,379 | 23.87% | — | — | — | — | — | 21,379（100%） | | visual_grounding | 14,996 | 678 | 15,674 | 17.50% | — | — | — | — | — | 15,674（100%） | | image_captioning | 10,997 | 397 | 11,394 | 12.72% | — | — | — | — | — | 11,394（100%） | | scene_classification | 13,000 | 1,000 | 14,000 | 15.63% | — | — | — | — | 14,000（100%） | — | | change_captioning | 6,810 | 1,000 | 7,810 | 8.72% | — | 7,810（100%） | — | — | — | — | | semantic_segmentation | 2,394 | 500 | 2,894 | 3.23% | — | — | — | 2,894（100%） | — | — | | change_segmentation | 445 | 64 | 509 | 0.57% | — | — | 509（100%） | — | — | — | | **合计** | **82,556** | **7,021** | **89,577** | **100%** | **15,917（17.77%）** | **7,810（8.72%）** | **509（0.57%）** | **2,894（3.23%）** | **14,000（15.63%）** | **48,447（54.08%）** | 当前构建版本中，每个任务只使用一个主要数据集：DIOR 负责检测/计数，VRSBench 负责 VQA/定位/描述，NWPU-RESISC45 负责场景分类，LoveDA 负责语义分割，LEVIR-CC 负责变化描述，LEVIR-CD 负责变化分割。因此表中非空任务-数据集单元格均为 100%，这反映的是当前数据构建策略，而不是遗漏统计。 ### 按数据集汇总 | 数据集 | 训练监督 turn | 验证监督 turn | 合计 | 占全部微调监督量 | |---|---:|---:|---:|---:| | VRSBench | 45,988 | 2,459 | 48,447 | 54.08% | | DIOR | 13,919 | 1,998 | 15,917 | 17.77% | | NWPU-RESISC45 | 13,000 | 1,000 | 14,000 | 15.63% | | LEVIR-CC | 6,810 | 1,000 | 7,810 | 8.72% | | LoveDA | 2,394 | 500 | 2,894 | 3.23% | | LEVIR-CD | 445 | 64 | 509 | 0.57% | | **合计** | **82,556** | **7,021** | **89,577** | **100%** | # JSONL 格式说明 ## 训练和验证记录 ```json { "id": "rs_...", "split": "train", "group_id": "DIOR:sha256:...", "messages": [ {"role": "user", "content": [{"type": "image", "image": "DIOR/...jpg"}, {"type": "text", "text": "Detect ..."}]}, {"role": "assistant", "content": [{"type": "text", "text": "airplane [10,20,30,40]"}]} ], "images": ["DIOR/...jpg"], "tasks": ["object_detection"], "sources": ["DIOR"], "targets": [{"type": "boxes", "instances": [], "task": "object_detection", "turn_index": 0}], "supervised_turns": 1, "sampling_weight": 1.3 } ``` `messages` 使用 Qwen 多模态 content-list 风格。所有媒体路径都相对于数据根目录。`targets` 与 assistant turn 一一对应，包含用于自定义 loss、指标或 mask decoder 的结构化信息。 ## 评估记录 ```json { "id": "rs_...", "split": "evaluation", "suite": "VRSBench", "group_id": "VRSBench-EVAL:...", "messages": [{"role": "user", "content": [{"type": "image", "image": "VRSBench/images/val/...png"}, {"type": "text", "text": "What ...?"}]}], "images": ["VRSBench/images/val/...png"], "tasks": ["visual_question_answering"], "targets": [{"type": "text", "text": "...", "metric": "vqa_accuracy"}], "evaluation_items": 1 } ``` 评估 `messages` 只有 user，不含 assistant。推理程序生成模型回答后，再读取 `targets` 计算指标。 ## target 类型 | 类型 | 关键字段 | 用途 | |---|---|---| | `text` | `text` 或 `references` | VQA、描述、变化描述、推理 | | `class` | `label` | 单标签分类 | | `count` | `label`, `value` | 目标计数 | | `boxes` | `instances`, `coordinate_scale` | 检测和定位 | | `semantic_mask` | `path`, `label_map` | 语义分割 | | `binary_change_mask` | `path` | 变化分割 | | `multiple_choice` | `answer` | 选择题 benchmark | | `mask` | `path` | 指代表达分割评测 | ## 坐标 - DIOR 检测框同时保留原始像素框和 `0-1000` 归一化框。 - VRSBench 视觉定位遵循其官方 `0-100` 表达。 - 下游适配器必须读取 `coordinate_scale`，不能假设所有框使用同一尺度。 ## 使用注意 - evaluation.jsonl 不含 assistant 答案；测试程序生成模型输出后，再读取 targets 计算指标。 - 分割任务的 <mask> 文本不是像素级监督；训练代码需要读取 targets[*].path 接入 mask collator 或 mask decoder。 - 检测/定位目标必须读取 coordinate_scale，不要假设所有框使用相同坐标尺度。 - 后续重新切分或分布式采样时必须保持 group_id 原子性。 - 各来源的许可证和上游使用条款仍需单独遵守。