ro_sft_pixmo_cap

PixmoCap-RO是PixmoCap数据集的罗马尼亚语翻译版本。PixmoCap原始数据集包含非常长（平均约200词）且详细的图像描述。本数据集使用Seed-X-PPO模型进行翻译，旨在为罗马尼亚语视觉语言模型提供高质量的指令微调数据。它是论文《Înțelegi românește? A Recipe for Romanian Vision-Language Models》中提出的罗马尼亚语VLM指令微调方案的关键组成部分。数据集包含约60.8万个训练样本，总大小约193.6 GB。每个样本包含图像序列、指令、描述文本以及多轮对话格式的消息记录。数据集适用于罗马尼亚语视觉语言理解、图像描述生成、多模态对话等任务的模型训练与评估。PixmoCap-RO is the Romanian translation version of the PixmoCap dataset. The original PixmoCap dataset contains very long (average about 200 words) and detailed image descriptions. This dataset is translated using the Seed-X-PPO model and aims to provide high-quality instruction fine-tuning data for Romanian vision-language models. It is a key component of the Romanian VLM instruction fine-tuning scheme proposed in the paper Înțelegi românește? A Recipe for Romanian Vision-Language Models. The dataset contains approximately 608,000 training samples, with a total size of about 193.6 GB. Each sample includes image sequences, instructions, description texts, and message records in a multi-turn dialogue format. The dataset is suitable for model training and evaluation in tasks such as Romanian vision-language understanding, image description generation, and multimodal dialogue.

原始信息汇总

数据集概述：ro_sft_pixmo_cap

该数据集是罗马尼亚语版本的 PixmoCap 数据集，专为罗马尼亚视觉语言模型（VLM）的指令微调而设计。

• 许可证: cc-by-nc-4.0
• 语言: 罗马尼亚语（ro）
• 起源: 基于 PixmoCap 数据集（包含平均约200词的长篇详细描述），通过 Seed-X-PPO 模型翻译为罗马尼亚语。
• 用途: 作为 "Înțelegi românește?" A Recipe for Romanian Vision-Language Models（Masala 等人，2026年，arXiv:2605.31401）中提出的罗马尼亚VLM指令微调协议的一部分。
• 数据集大小: 总大小约 193.6 GB，下载大小约 189.3 GB。
• 划分: 仅包含训练集（train），共 608,026 个样本。

数据特征

每条数据包含以下字段：

• id (字符串): 样本的唯一标识符。
• images (图像序列): 与样本关联的图像。
• instruction (字符串): 指令文本。
• caption (字符串): 图像的描述文本。
• messages (列表): 对话消息序列，每条消息包含：
  • role (字符串): 消息角色。
  • content (字符串): 消息内容。

引用

bibtex @inproceedings{deitke2025molmo, title={Molmo and pixmo: Open weights and open data for state-of-the-art vision-language models}, author={Deitke, Matt and Clark, Christopher and Lee, Sangho and Tripathi, Rohun and Yang, Yue and Park, Jae Sung and Salehi, Mohammadreza and Muennighoff, Niklas and Lo, Kyle and Soldaini, Luca and others}, booktitle={Proceedings of the Computer Vision and Pattern Recognition Conference}, pages={91--104}, year={2025} }

bibtext @misc{masala2026intelegi, title={``^{I}nc{t}elegi Rom^{a}nec{s}te? A Recipe for Romanian Vision-Language Models}, author={Mihai Masala and Marius Leordeanu and Mihai Dascalu and Traian Rebedea}, year={2026}, eprint={2605.31401}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2605.31401}, }

搜集汇总

数据集介绍

构建方式

本数据集基于PixmoCap原始数据集，通过Seed-X-PPO-7B翻译模型，将原英文长描述内容精准转换为罗马尼亚语，构建得到罗马尼亚语版本的图像描述数据集。数据集包含约60.8万条训练样本，每条样本由图像、原始指令、罗马尼亚语描述及结构化对话消息组成，形成完整的监督微调数据格式，服务于罗马尼亚语视觉语言模型的指令调优。

特点

数据集的核心特点在于其图像描述的高质量与长篇幅性，平均描述长度接近200词，远超市面上多数短描述数据集。同时，引入多轮对话结构，使得数据不仅适用于图像描述任务，还可用于视觉问答与多模态指令跟随场景。罗马尼亚语版本的推出填补了该语种在视觉语言领域的数据空白，为低资源语言的模型训练提供了宝贵支持。

使用方法

数据集以HuggingFace数据集格式发布，用户可通过加载'allenai/ro_sft_pixmo_cap'直接获取，默认配置为训练集拆分。数据包含图像字段、罗马尼亚语描述及对话消息，适用于多模态模型的指令微调任务。推荐结合Transformer框架及视觉编码器使用，通过标准的监督学习范式优化模型对于罗马尼亚语图像理解的生成能力与语义对齐效果。

背景与挑战

背景概述

多模态视觉语言模型（VLM）的快速发展依赖于大规模、高质量且多语言对齐的图文数据。然而，现有公开数据集如PixMoCap主要面向英语，导致非英语语言，特别是罗马尼亚语的视觉-语言理解研究严重滞后。为此，Masala等人于2026年提出“Înțelegi românește?”研究框架并发布ro_sft_pixmo_cap数据集。该数据集基于Allen AI的PixMoCap英文版，利用ByteDance Seed-X-PPO-7B模型翻译为罗马尼亚语，包含约60.8万条平均200词以上的详细图像描述样本。作为罗马尼亚语VLM指令微调的关键组成部分，该数据集旨在突破语言壁垒，推动非英语多模态基础模型的发展。

当前挑战

ro_sft_pixmo_cap数据集面临多重挑战。在领域问题层面，核心难题在于如何弥合高资源语言与低资源语言间的视觉语义鸿沟——罗马尼亚语缺乏大规模图文对数据，且现有VLM通常仅为英语优化，难以直接迁移。在构建过程中，机器翻译的准确性成为首要障碍：PixMoCap原始描述具有高度细节化和语境依赖性，自动翻译易产生语义失真或文化特定概念错译。此外，长描述（平均200词）的翻译质量评估缺乏客观标准，且需确保翻译后描述在视觉推理任务中的一致性与实用性，这对后续模型微调效果至关重要。

常用场景

经典使用场景

在跨语言视觉语言模型的研究中，ro_sft_pixmo_cap数据集扮演着不可或缺的角色。该数据集源自PixmoCap，后者以其平均约200词的长篇、详尽图像描述著称。通过Seed-X-PPO大语言模型将原始英文描述精确翻译为罗马尼亚语，此数据集为训练和评估罗马尼亚语视觉语言模型提供了高质量的指令微调语料。研究者可借此构建能够理解罗马尼亚语文本与图像语义对齐关系的模型，从而推动多语言视觉理解技术的发展。

实际应用

在实际应用中，基于ro_sft_pixmo_cap训练的视觉语言模型可赋能一系列罗马尼亚语服务场景，包括自动生成图像描述以辅助视障人士、支撑社交媒体内容审核、优化电商平台中商品图像的罗马尼亚语交互体验。此外，该数据集还可用于开发跨语言的教育工具，如通过图像与罗马尼亚语文本的关联学习辅助语言教学，或构建能够回答罗马尼亚语用户关于图像内容查询的智能助理。

衍生相关工作

该数据集是《'Înțelegi românește?' A Recipe for Romanian Vision-Language Models》工作的核心组成部分，该论文提出了针对罗马尼亚语视觉语言模型的系统训练方案。作为PixmoCap的多语言延伸，它激发了后续关于小语种视觉语言数据构建、翻译质量对模型性能影响以及多模态指令微调策略的研究。此外，基于Seed-X-PPO的翻译方法也为跨语言数据集生成提供了可复现的技术范式，推动了其他低资源语言（如匈牙利语、捷克语）类似数据集的开发。