vlm_light_dataset

# ApexVLM Light Dataset (1/10 Scale) 轻量级 ApexVLM 三阶段训练数据，原始数据的 1/10 采样。 ## 数据集结构 | 子集 | 用途 | 样本数 | 图片数 | |------|------|--------|--------| | stage1_pt | Projector Pretraining (视觉-语言对齐) | 321,435 | 180,934 | | stage2_midtrain | Mid-training (多模态能力注入) | 495,296 | 303,321 | | stage3_sft | SFT (精调+评测对齐) | 255,600 | 196,463 | ## 数据格式 每个子集包含 `data.jsonl` 和 `images/` 目录。JSONL 每行格式： ```json {"messages": [{"role": "user", "content": "<image>prompt"}, {"role": "assistant", "content": "response"}], "images": ["images/xxx.png"]} ``` ## 模型架构 - Vision Encoder: Qwen3.5-2B ViT (~2B) - Merger: PixelShuffle + Projection (25.2M) - Connector: 3层 MLP 2048→2048→1024→1024 (~6.3M) - LLM: Qwen3-0.6B-Instruct (0.6B) - Template: apex_vlm (tool_call format, coordinate 0-1000) ## 使用方式 (ms-swift) ```python # 直接作为 ms-swift dataset 使用 dataset = ["stage1_pt/data.jsonl"] # 或其他子集 ```