laion-highres-aesthetic-recap-qwen3p5-35b-a3b
收藏资源简介：
该数据集为 LAION Highres Aesthetic 图像集的重新标注版本，使用 Qwen3.5-35B-A3B 模型为每个图像实例生成高质量英文描述。数据集包含 96,071,504 条生成标题，对应 82,690,560 个图像实例，并额外提供 13,380,944 个不同的标题变体。数据通过 image_shard 和 image_member 字段与原始图像仓库（BootsofLagrangian/laion-highres-aesthetic-webp90-noresize）进行关联。标题生成采用单阶段长描述策略，输出限制为 512 个 token，未进行任何语义后处理。该数据集仅供研究及审计可复现性使用，不适用于直接训练模型；使用前必须进行语义后处理、安全与政策过滤、URL/内容身份验证以及图像版权审查。许可证 CC BY 4.0 仅覆盖生成的标题文本，原始图像及第三方元数据不受此许可保护。
This dataset is a re-annotated version of the LAION Highres Aesthetic image set, using the Qwen3.5-35B-A3B model to generate high-quality English descriptions for each image instance. The dataset contains 96,071,504 generated captions, corresponding to 82,690,560 image instances, with an additional 13,380,944 distinct caption variants. Data is linked to the original image repository (BootsofLagrangian/laion-highres-aesthetic-webp90-noresize) via the image_shard and image_member fields. Caption generation adopts a single-stage long description strategy with an output limit of 512 tokens, without any semantic post-processing. This dataset is intended solely for research and reproducibility auditing, not for direct model training; users must perform semantic post-processing, safety and policy filtering, URL/content verification, and image copyright review before use. The CC BY 4.0 license only covers the generated caption text; original images and third-party metadata are not protected by this license.
数据集概述：LAION Highres Aesthetic recaptions with Qwen3.5-35B-A3B
- 数据集名称：LAION Highres Aesthetic recaptions with Qwen3.5-35B-A3B
- 许可证：CC BY 4.0（仅适用于生成的描述文本，不涉及源图像或第三方元数据）
- 数据格式：Parquet 文件，官方仅提供
train分割 - 数据规模：包含 96,071,504 行，由 82,690,560 个图像实例 生成，另外还有 13,380,944 个额外的不同描述变体
- 数据内容：仅包含生成的标题（
caption_text），不包含图像载荷；同时保留源提供的元数据作为source_caption字段 - 关联方式：通过
image_shard和image_member字段与laion-highres-aesthetic-webp90-noresize数据集关联；同时提供 URL 和内容哈希用于独立校验
数据组成与特性
- 图像实例与 URL 身份：
- 图像发布部分包含 124,416,249 个不同的物化图像实例，对应于 121,348,952 个稳定的 URL 身份
- 其中有 3,067,297 个额外实例 共享一个 URL 身份
- 标题绑定规则：
- 如果标题的记录定位器（WebDataset locator）与图像发布匹配，则绑定到精确的图像实例
- 否则，URL 键控的标题会确定性地回退到字典序最小的源键
- 已发布的标题行中：96,071,504 行 为精确定位绑定，0 行 为确定性 URL 回退
- 应用该规则后，有 41,725,689 个图像实例 没有直接对应的标题行（可能包含共享 URL 的额外实例或未发布标题的稳定 URL）
- 重要提醒：图像到标题的内连接不能视为完整的图像覆盖
生成方法与使用说明
-
生成模型：Qwen/Qwen3.5-35B-A3B-FP8
-
生成参数：采用单阶段长标题提示，输出限制为 512 token，使用 Qwen3.5 发布默认采样设置，自由格式输出，基于 vLLM 0.17.1 服务；禁用思考模式；输出仅进行空白字符清理，无语义后处理
-
复现配置：提供
generation_config.yaml文件包含系统提示、用户提示、图像预处理和超参数详情 -
加载示例（仅加载标题）： python from datasets import load_dataset
captions = load_dataset( "BootsofLagrangian/laion-highres-aesthetic-recap-qwen3p5-35b-a3b", split="train", streaming=True, ) row = next(iter(captions)) print(row["image_shard"], row["image_member"], row["caption_text"])
适用领域与限制
- 适用场景：研究和审计的可复现性（如用于匹配预算的重新标注图像-文本监督分布审计）
- 使用限制：
- 该数据集不完全适用于训练，用户必须进行语义后处理、安全与政策过滤、URL/内容身份验证，以及图像权限审查
- 一个图像实例可能对应多条标题行
引用信息
bibtex @misc{oh2026matchedbudget, title={A Matched-Budget Audit Framework for Recaptioned Image-Text Supervision Distributions}, author={Giyeong Oh and Junghun Park and Yuhan Bae and Youngjae Yu}, year={2026} }
