Skill Scaling Lab LIIR语料5K

# skill-scaling-lab-liir-corpus-5k **建议名称 / Suggested name:** `skill-scaling-lab-liir-corpus-5k` 文档型 Agent Skills 语料包（仅 `SKILL.md`），从 LIIR（[jinlinll/lost-in-implicit-routing](https://github.com/jinlinll/lost-in-implicit-routing)）的 `skill_sources.jsonl` 物化而来。 Document-only Agent Skills corpus (`SKILL.md` only), materialized from LIIR `skill_sources.jsonl` (jinlinll/lost-in-implicit-routing). | 指标 Metric | 值 Value | |-------------|---------:| | 尝试 Attempted | ~5000 | | 找到 Found (`SKILL.md`) | ~2781 | | 未找到 Not found | ~2219 | | seed / limit | 42 / 5000 | 详见 `manifest.json` 精确计数。 See `manifest.json` for exact counts. ## 内容 Contents | 文件 File | 说明 Description | |-----------|------------------| | `corpus-index.jsonl` | 每行一个 skill；全量 5000 条索引 / one JSON object per skill_id (5000 lines) | | `corpus-found.tar.gz` | 仅含有 `SKILL.md` 的技能：`corpus/<id>/SKILL.md` + `meta.json` | | `meta-all.tar.gz` | 全部 5000 条 `corpus/<id>/meta.json`（含 not_found，便于审计） | | `manifest.json` | 汇总统计与打包元数据 | | `NOTICE.md` | 署名与许可声明 | **不要**将完整 5000 目录以散文件提交到 ModelScope（单次提交文件数限制）。仅使用上述 tarball + 索引。 Do **not** upload the full 5000-dir tree as loose files (ModelScope commit file limits). Ship tarballs + index only. ## `corpus-index.jsonl` 字段 Fields 每行一个 JSON 对象，主要字段： - `skill_id`, `stable_id`, `pool_index` - `recorded_repository`, `repository_url`, `source_status` - `expected_skill_md_sha256`, `actual_sha256`, `source_content_hash` - `has_skill_md` (bool) - `materialize_status`, `hash_status`, `error`, `url`, `path`, `ref`, `bytes` ## 许可 NOTICE / License **第三方技能保留其上游仓库许可证。** LIIR 本身不重新分发技能正文；本包仅用于**团队内部研究**，建议在 ModelScope 上设为 **Private**。请引用 LIIR 与各上游仓库；**勿声称拥有技能文本所有权**。 Third-party skills retain their upstream licenses. LIIR does not redistribute skill bodies; we redistribute this package for **private team research only** — recommend **Private** visibility on ModelScope. Cite LIIR and upstream repos; **do not claim ownership** of skill text. See `NOTICE.md`. ## 队友如何拉取 / How teammates pull ```bash # 将 <ns>/<name> 换成实际上传后的命名空间与数据集名 modelscope download --dataset <ns>/skill-scaling-lab-liir-corpus-5k --local_dir ./liir-corpus-5k cd ./liir-corpus-5k tar -xzf corpus-found.tar.gz # → corpus/<id>/{SKILL.md,meta.json} tar -xzf meta-all.tar.gz # → corpus/<id>/meta.json (all 5000) ``` ## 复现 / Reproduce 1. 准备 LIIR 索引 `skill_sources.jsonl`（来自 jinlinll/lost-in-implicit-routing）。 2. 运行仓库脚本： ```bash python /workspace/skill-scaling-lab/scripts/materialize_skills.py \ --limit 5000 --seed 42 \ # 以及项目约定的 LIIR 索引路径 / 输出 corpus 路径参数 ``` 3. 物化结果目录：`skills/corpus/<skill_id>/{SKILL.md?,meta.json}` 4. 本包由该 corpus 再打包生成（见 `manifest.json` 的 `source`）。 上游物化报告：`artifacts/materialize-5000/summary.json`、`NOTES.md`。