Doc-CoB

数据集文件元信息以及数据文件，请浏览“数据集文件”页面获取。 当前数据集卡片使用的是默认模版，数据集的贡献者未提供更加详细的数据集介绍，但是您可以通过如下GIT Clone命令，或者ModelScope SDK来下载数据集 # 数据集说明 本数据集上传至ModelScope平台，包含多源文档解析配套数据，用于模型训练与离线评估，各文件夹、文件用途说明如下： ## 整体介绍 因数据集做了分割处理，原图拆分为多个压缩包，文件名以 `_0`、`_1` 区分。 使用操作：将所有图像压缩包分别解压，再把解压得到的全部图片合并至同一个图片文件夹； 配套提示：jsonl/json文件记录的原始文件路径已失效，需根据你本地解压合并后的图片存放目录，重新修改文件内的图像、文档文件路径。 **注：下文所有路径均默认按照上述要求处理，多份压缩包解压后合并至同一目录，并统一重命名、去除原文件名中 `_0`、`_1` 这类分片标识。** ## 目录与文件介绍 ### 1. eval/ 文件夹 存放与评测指标配套的标注jsonl文件，用于模型推理完成后的量化效果评估。 jsonl文件下载后的存放规范，请查阅项目GitHub仓库操作文档。 ### 2. ocr_file/ 文件夹 包含7个子数据集对应的原始OCR解析文件，存储文本内容、文字坐标、文本框、版面布局等识别信息，作为模型训练的辅助输入特征。 ### 3. mineru_file.zip 7套数据集对应的MinerU结构化解析结果压缩包。 ### 4. train_file/ 文件夹 存放全部训练数据集，数据已处理为ms-swift训练验证格式： - `train_swift.json`：预训练专用数据集 - `s1s2.json`：两阶段SFT微调数据集 文件内所有图像路径均需手动替换为本地真实目录，可参考下方路径示例： - `eval_data/images/DUDE`：直推任务图像，对应direct_image目录下同名文件夹，详见第7节； - `draw_image/layoutCot/DUDE/250108_DUDE_train_id_background_drawed_10_newid`：S1阶段标注图像，对应s1_image目录下同名文件夹，详见第8节； - `all_datasets/250108_train_newid_ocr_merge/s2/train/images`：S2阶段标注图像，统一存放于s2目录，详见第9节。 ### 5. test_file/ 文件夹 存放全部测试数据集，文件内图像、OCR、MinerU 路径均需按对应数据集名称修改： - 图像路径修改规则参考第6、7节； - OCR、MinerU 路径修改规则参考第2、3节，解压后匹配对应数据集文件夹即可。 子文件说明： - `direct_qa`：直推任务数据，包含训练集、测试集、验证集； - `CoB-Stage1-pre`：完整Stage1测试集原始文件； - `CoB-Stage1-swift`：适配ms-swift验证集格式的Stage1测试集文件。 ### 6. s1_test/ 文件夹 Stage1**测试集**图像目录。需修改第5节 `CoB-Stage1-pre`、`CoB-Stage1-swift` 文件内的图像路径，指向本目录解压后的文件夹； 解压文件夹命名示例：`241230_DeepForm_multipage_test_id_background_drawed_10_newid`。 ### 7. direct_image/ 文件夹 直推任务图像目录。需修改第4节训练数据、第5节 `direct_qa` 文件内的图像路径，指向本目录对应文件夹； 解压文件夹名称与数据集名称一一对应 ### 8. s1_image/ 文件夹 Stage1**训练集**图像目录。需修改第4节训练数据文件内的图像路径，指向本目录解压后的文件夹； 解压文件夹命名示例：`250108_DUDE_train_id_background_drawed_10_newid`。 ### 9. s2 Stage2**训练集**图像目录。需修改第4节训练数据文件内的图像路径，指向本目录；解压且合并后仅存在单一s2文件夹。 #### 下载方法 :modelscope-code[]{type="sdk"} :modelscope-code[]{type="git"}