ULVR_v2_clean
收藏资源简介：
ULVR_v2_lean 是一个经过清理的通用潜在视觉推理训练数据集，专为多模态视觉问答和视觉推理任务设计。该数据集旨在训练或评估模型执行需要潜在推理的视觉理解任务，即模型不仅需要给出答案，还需要展示其推理过程中的中间视觉步骤。数据集包含八个不同的子集（配置），每个子集都围绕特定的视觉处理或表示技术构建，例如文本思维链（text_cot）、边界框高亮（bbox_highlight）、边界框裁剪（bbox_crop）、视觉表示（visual_representation）、助手交错（helper_interleaved）、图表聚焦（chart_focus）、场景图（scene_graph）和文档裁剪（doc_crop）。每个数据样本均包含一个输入图像、一个自然语言问题以及对应的答案。此外，样本还提供了模型推理过程中生成的一系列中间视觉步骤图像（最多三个）以及记录对话过程的消息JSON，完整呈现了从问题到答案的多步视觉推理链条。数据集总计提供约1,435,539个训练样本和18,860个验证样本，规模庞大且覆盖多样化的视觉推理场景。相较于原始版本，本数据集进行了系统的清理工作，包括合并数据分割、移除对模型训练有害的样本、修复答案、统一数据格式并执行去重，确保了数据质量与一致性。
ULVR_v2_lean is a cleaned general-purpose latent visual reasoning training dataset, purpose-built for multimodal visual question answering (VQA) and visual reasoning tasks. This dataset is designed to train or evaluate models for visual understanding tasks that require latent reasoning, wherein models must not only output the final answer but also exhibit the intermediate visual steps throughout their reasoning process. The dataset comprises eight distinct subsets (configurations), each constructed around a specific visual processing or representation technique, including text chain-of-thought (text_cot), bounding box highlight (bbox_highlight), bounding box cropping (bbox_crop), visual representation (visual_representation), helper interleaved (helper_interleaved), chart focus (chart_focus), scene graph (scene_graph), and document cropping (doc_crop). Each data sample includes an input image, a natural language question, and its corresponding answer. Furthermore, each sample provides up to three intermediate visual step images generated during the model's reasoning procedure, alongside a message JSON file that records the dialogue process, fully encapsulating the multi-step visual reasoning chain from the initial question to the final answer. In total, the dataset contains approximately 1,435,539 training samples and 18,860 validation samples, featuring a substantial scale and covering a wide range of diverse visual reasoning scenarios. Compared with the original version, this dataset has undergone systematic data cleaning, including merging data splits, removing samples that are detrimental to model training, correcting erroneous answers, unifying data formats, and conducting deduplication, thus ensuring data quality and consistency.
数据集概述：ULVR_v2_clean
数据集地址：https://huggingface.co/datasets/RuoliuYang/ULVR_v2_clean
许可证：Apache-2.0
任务类别：视觉问答（Visual Question Answering）
标签：视觉推理、多模态、潜在推理
数据集描述：
ULVR_v2_clean 是通用潜在视觉推理（Universal Latent Visual Reasoning）训练数据的清理版本，包含 8 个子集（类别），每个子集均划分为训练集和验证集。每个样本包括一张输入图像、一个相关问题，助手输出包含 <abs_vis_token>、中间视觉推理步骤和 oxed{answer} 格式的答案。
数据集构成
| 子集 | 训练集样本数 | 验证集样本数 |
|---|---|---|
| text_cot | 340,473 | 4,115 |
| bbox_highlight | 311,016 | 5,167 |
| bbox_crop | 333,662 | 3,283 |
| visual_representation | 57,123 | 1,427 |
| helper_interleaved | 350,653 | 4,484 |
| chart_focus | 15,056 | 161 |
| scene_graph | 17,945 | 138 |
| doc_crop | 9,611 | 85 |
| 总计 | 1,435,539 | 18,860 |
各子集特征
每个子集均包含以下字段：
- sample_id（字符串）
- category（字符串）
- source_dataset（字符串）
- question（字符串）
- answer（字符串）
- input_image（图像）
- intermediate_image_1（图像）
- intermediate_image_2（图像）
- intermediate_image_3（图像）
- num_intermediate_steps（整数）
- messages_json（字符串）
数据文件
每个子集的数据文件存储在对应的 Parquet 文件中，训练集和验证集分开存放：
- text_cot：
data/text_cot/*.parquet（训练集），data/text_cot_val/*.parquet（验证集） - bbox_highlight：
data/bbox_highlight/*.parquet（训练集），data/bbox_highlight_val/*.parquet（验证集） - bbox_crop：
data/bbox_crop/*.parquet（训练集），data/bbox_crop_val/*.parquet（验证集） - visual_representation：
data/visual_representation/*.parquet（训练集），data/visual_representation_val/*.parquet（验证集） - helper_interleaved：
data/helper_interleaved/*.parquet（训练集），data/helper_interleaved_val/*.parquet（验证集） - chart_focus：
data/chart_focus/*.parquet（训练集），data/chart_focus_val/*.parquet（验证集） - scene_graph：
data/scene_graph/*.parquet（训练集），data/scene_graph_val/*.parquet（验证集） - doc_crop：
data/doc_crop/*.parquet（训练集），data/doc_crop_val/*.parquet（验证集）
数据清理说明
与原始 ULVR_v2 相比，清理工作包括：
- 将每个类别的测试集合并到训练集中。
- 移除了每个类别中的 AVOID/genuine_dirty（helper-hurts）样本。
- 应用了 VR repr-hurts 过滤器。
- 从 ArxivQA 恢复了 doc_crop 的答案。
- 清理了 VR 答案标记并统一了中间图像。
- 统一了 messages_json 包装格式。
- 对 helper_interleaved 进行了去重，移除了 64,071 个字节相同的行。
数据加载示例
python from datasets import load_dataset ds = load_dataset("RuoliuYang/ULVR_v2_clean", "text_cot", split="train")
