data_factory_hard_v2

# tmp4_6 hard_v2 `tmp4_6/` 是 `hard_v2` 的本地旁路工作区，只用于扩展 `tmp4_4` 里的 `*_hard` 基类，不接入主 `major_324_config` 产线。 ## 目标 - 输出新的 `*_hard_L*` 派生版本，不包含原来的 27 个 `*_hard` 基类 - 固定 `110` 个派生 major - 每个派生 major 固定 `50` 条 - 最终总量 `5500` 条 - 正式发布仓库：`Mrakas/data_factory_hard_v2` ## 主要文件 - `hard_v2_registry.py` - 锁定 `with_thinking_score` - 锁定 long / short bucket - 生成 110 个派生 major spec - `hard_v2_common.py` - jobs / manifest / 相对路径 / dataset 公共逻辑 - `hard_v2_script_family.py` - script-family hard_v2 builder - `hard_v2_rich_family.py` - rich-family hard_v2 builder - `build_data_factory_hard_v2.py` - 单机 builder，支持 `--major/--majors` - `build_data_factory_hard_v2_remote.py` - 4090 远端 bounded-queue orchestrator - `publish_data_factory_hard_v2.py` - 上传到 ModelScope - `sanitize_data_factory_hard_v2_questions.py` - 发布前清理 question 里的 `<think>` 包装提示 ## 产物 - `data_factory_hard_v2_test.json` - `data_factory_hard_v2_build_manifest.json` - `data_factory_hard_v2_testset.zip` - `videos/<derived_major>/...` - `cases/<derived_major>/...` ## 远端命令 环境检查： ```bash /root/miniconda3/bin/python3 /data-tmp/ghx/tmp2/data_factory_v2/tools/check_generation_env.py --format text ``` 逻辑测试： ```bash /root/miniconda3/bin/python3 -m pytest -q \ /data-tmp/ghx/tmp2/data_factory_v2/tmp4_6/test_hard_v2_registry.py \ /data-tmp/ghx/tmp2/data_factory_v2/tmp4_6/test_hard_v2_scaling.py \ /data-tmp/ghx/tmp2/data_factory_v2/tmp4_6/test_hard_v2_smoke_metadata.py \ /data-tmp/ghx/tmp2/data_factory_v2/tmp4_6/test_hard_v2_common.py \ /data-tmp/ghx/tmp2/data_factory_v2/tmp4_6/test_hard_v2_remote_plan.py ``` smoke build： ```bash /root/miniconda3/bin/python3 /data-tmp/ghx/tmp2/data_factory_v2/tmp4_6/build_data_factory_hard_v2_remote.py --count-per-major 2 ``` 全量 build： ```bash /root/miniconda3/bin/python3 /data-tmp/ghx/tmp2/data_factory_v2/tmp4_6/build_data_factory_hard_v2_remote.py --count-per-major 50 ``` 上传： ```bash MODELSCOPE_API_TOKEN=... /root/miniconda3/bin/python3 /data-tmp/ghx/tmp2/data_factory_v2/tmp4_6/publish_data_factory_hard_v2.py \ --repo-id Mrakas/data_factory_hard_v2 \ --artifacts data_factory_hard_v2_testset.zip \ --artifacts data_factory_hard_v2_test.json \ --artifacts data_factory_hard_v2_build_manifest.json \ --artifacts README.md ``` ## 路径合同 - 视频字段使用相对路径：`videos/<derived_major>/<file>.mp4` - image-assisted major 继续使用相对路径：`images/<derived_major>/<file>.png` - `path == video_path` ## 发布约束 - question 文本里不要要求模型把推理写进 `<think>...</think>` - reasoning / struct_answer 可以保留现有字段 - 正式 build / test / upload 只在 4090 上执行