Ishigaki-IDS-Bench
收藏资源简介：
Ishigaki-IDS-Bench是一个用于从BIM信息需求生成buildingSMART IDS XML的基准数据集，旨在评估模型在生成信息交付规范方面的性能。
Ishigaki-IDS-Bench is a benchmark dataset for generating buildingSMART IDS XML from BIM information requirements, aiming to evaluate the performance of models in generating information delivery specifications.
数据集名称
Ishigaki-IDS-Bench
数据集简介
Ishigaki-IDS-Bench 是一个用于评估从 BIM 信息需求生成信息交付规范（IDS）的基准数据集。该数据集托管于 Hugging Face，地址为：https://huggingface.co/datasets/ONESTRUCTION/Ishigaki-IDS-Bench。
数据集用途
- 评估模型生成 IDS 的能力。
- 支持基于 buildingSMART IDS-Audit-Tool 的阶段 1 审计指标计算。
- 提供灵活性评分（facet scores），即使缺少 IDS 审计工具，评估器仍可输出分面分数。
数据来源与相关论文
- 论文标题：Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements
- 论文链接：https://arxiv.org/abs/2605.22079
- DOI：10.48550/arXiv.2605.22079
评估与使用说明
- 运行环境需 Python 3.12.7，依赖项已固定于
requirements.txt。 - 可通过 OpenRouter API 使用模型，需设置
OPENROUTER_API_KEY。 - 运行命令：
- 使用默认 Hugging Face 数据集：
python scripts/run_eval.py --config config/eval-template.yaml - 本地预上传检查：
python scripts/run_eval.py --config config/eval-template.yaml --dataset-path /path/to/test.jsonl --limit 2
- 使用默认 Hugging Face 数据集：
- 输出结果包含：预测结果（predictions.jsonl）、摘要（summary.json）、元数据（openrouter_metadata.json）、生成的 IDS 文件等。
评估注意事项
- 若未指定属性集，模型需使用正则表达式
^(?!(Pset_|Qto_)).+表示自定义属性集。 - 分面评分器仅对部分 IDS 属性进行评分，不覆盖所有属性（如
minOccurs和maxOccurs由ids-tool audit检查）。 - 评估器会移除
<think>...</think>标签，若输出包含围栏代码块，则对第一个围栏块内容进行评分。 - 默认不进行修复、重排序或重新生成，
retries: 0，api_workers: 1。
引用格式
bibtex @misc{kanazawa2026ishigakiidsbench, title = {Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements}, author = {Ryo Kanazawa and Koyo Hidaka and Teppei Miyamoto and Takayuki Kato and Tomoki Ando and Chenguang Wang and Dayuan Jiang and Naofumi Fujita and Shuhei Saitoh and Atomu Kondo and Koki Arakawa and Daiho Nishioka}, year = {2026}, eprint = {2605.22079}, archivePrefix = {arXiv}, primaryClass = {cs.CL}, doi = {10.48550/arXiv.2605.22079}, url = {https://arxiv.org/abs/2605.22079} }
