PAD3-Dataset-Revisi-Fixed-TRL

PAD3数据集（修订版，TRL格式）是一个用于图像年龄评级分类的对话式数据集，采用TRL（Transformer Reinforcement Learning）或SFT（Supervised Fine-Tuning）聊天格式。数据集基于Apache-2.0许可证发布，主要语言为印尼语。数据内容包括metadata.jsonl文件（每行存储一个TRL聊天记录）和images文件夹（按年龄评级子文件夹组织图像，如“Semua_Umur”、“7_”、“13_”、“15_”、“18_”和“Konten_Terlarang”，以遵守每文件夹文件数限制）。每条聊天记录遵循多轮对话结构：系统角色提供上下文指令，用户角色输入文本和图像路径（图像为相对路径），助手角色输出JSON格式的评级结果（如“15+”）和描述。该数据集适用于图像-文本到文本任务，旨在训练视觉语言模型（VLM）进行内容年龄评级分类，支持强化学习和监督微调场景。

The PAD3 dataset (revised version, TRL format) is a conversational dataset for image age rating classification, using TRL (Transformer Reinforcement Learning) or SFT (Supervised Fine-Tuning) chat formats. It is released under the Apache-2.0 license, with Indonesian as the primary language. The data includes a metadata.jsonl file (each line storing a TRL chat record) and an images folder (organizing images into subfolders by age rating, such as Semua_Umur, 7_, 13_, 15_, 18_, and Konten_Terlarang, to comply with file-per-folder limits). Each chat record follows a multi-turn dialogue structure: the system role provides contextual instructions, the user role inputs text and image paths (images as relative paths), and the assistant role outputs JSON-formatted rating results (e.g., 15+) and descriptions. This dataset is suitable for image-text-to-text tasks, aiming to train visual language models (VLM) for content age rating classification, supporting reinforcement learning and supervised fine-tuning scenarios.

原始信息汇总

数据集概述：PAD3 Dataset Revisi Fixed (TRL)

• 数据集名称：PAD3 Dataset Revisi Fixed (TRL)
• 许可证：Apache-2.0
• 语言：印尼语（id）
• 任务类别：图像到文本（image-text-to-text）
• 标签：trl、sft、vlm、content-rating
• 配置：默认配置（default），包含一个训练集（train），数据文件为 metadata.jsonl

数据集用途

该数据集用于对图像进行年龄分级分类，采用对话式（TRL / SFT）格式。

数据结构

数据集目录结构如下：

• metadata.jsonl：每行包含一条 TRL 对话记录。
• images/：图像文件夹，按分级标签分为子文件夹：
  • Semua_Umur/（所有年龄）
  • 7_/（7岁以上）
  • 13_/（13岁以上）
  • 15_/（15岁以上）
  • 18_/（18岁以上）
  • Konten_Terlarang/（禁止内容） 每个子文件夹中的图像文件以数字编号命名（如 000000.jpg），以避免超过每文件夹10,000文件限制。

记录格式（JSONL）

metadata.jsonl 每条记录的 JSON 结构如下：

• messages（列表）：包含三个消息对象：
  • role: "system"：系统提示信息。
  • role: "user"：用户输入，包含文本（type: "text"）和图像（type: "image"），图像路径相对于仓库根目录。
  • role: "assistant"：助手回复，内容为 JSON 字符串，包含 rating（年龄分级）和 description（描述）字段。

搜集汇总

数据集介绍

构建方式

该数据集专为视觉语言模型（VLM）的监督微调（SFT）任务而设计，聚焦于图像年龄分级分类。其构建遵循TRL（Transformer Reinforcement Learning）对话格式，核心数据存储于`metadata.jsonl`文件中，每条记录包含完整的`messages`结构，依次为系统指令、用户输入（内含文本与图像路径）及助手的JSON格式回复。图像资源按评级类别（如Semua_Umur、7+、13+等）分置于独立子文件夹中，以规避单文件夹文件数量上限为10,000的限制，确保数据管理的可扩展性与稳定性。

特点

该数据集最显著的特点在于其结构化的对话式标注范式，每条样本通过`role`字段清晰区分系统、用户与助手的交互逻辑，并利用JSON编码的`assistant`内容实现多标签输出（包含评分与文字描述）。图像路径与文本描述紧密关联，支持多模态训练场景。此外，评级类别覆盖全面，从全年龄到禁止内容均有对应子集，为模型学习细粒度年龄分级提供了均衡的数据分布。

使用方法

使用方法上，该数据集可直接被TRL库中`SFTTrainer`或类似支持对话格式的训练器加载。用户需首先克隆完整仓库结构，确保`metadata.jsonl`与`images/`目录处于同一根目录下。加载时，可通过解析`messages`字段中的`image`路径读取对应图像，并提取`assistant`内容中的`rating`与`description`作为监督标签。建议在预处理阶段将图像统一缩放至模型输入尺寸，并将文本与图像特征对齐，以适配多模态编码器的输入需求。

背景与挑战

背景概述

PAD3-Dataset-Revisi-Fixed-TRL是由印度尼西亚研究团队构建的一个面向图像年龄分级分类的多模态对话数据集。该数据集创建于2024年，旨在通过视觉语言模型（VLM）联合监督微调（SFT）范式，解决数字内容监管中图像适龄性自动判定的核心研究问题。数据集将图像划分为六个年龄等级（全年龄段、7+、13+、15+、18+及违禁内容），并采用TRL格式的对话结构，将图像特征与结构化评级描述相结合，为模型同时学习视觉语义理解与分类规则提供了高质量训练样本。作为印尼语领域针对性强的开源资源，该数据集填补了东南亚语言环境中内容安全标注数据的空白，对推动低资源语言的负责任AI发展具有重要价值。

当前挑战

该数据集面临多重挑战。在领域问题层面，图像年龄分级属于细粒度多类别分类任务，其挑战在于不同评级间的边界模糊性（如13+与15+的内容差异往往仅体现在暴力或暗示性元素的轻微程度上），且同一图像可能因文化语境差异被赋予不同评级，要求模型具备跨文化敏感度。在构建过程中，数据集的创建需克服标注一致性难题，需组织专家团队依据多维度准则（如裸露程度、恐怖血腥、歧视内容等）对海量图像进行逐级标注，并确保图像存储时单文件夹不超过一万文件的硬件限制，同时设计合理的对话模板使监督信号能同时传递视觉特征与分类规则，这对数据架构和标注流程提出了系统性要求。

常用场景

经典使用场景

在视觉语言模型与内容审核技术交汇的前沿领域，PAD3-Dataset-Revisi-Fixed-TRL作为一款精心设计的图像年龄分级对话数据集，其最经典的用途在于为多模态大模型提供基于TRL（Transformer Reinforcement Learning）或SFT（Supervised Fine-Tuning）范式的微调训练样本。研究人员可将此数据集嵌入到从图像到文本的生成框架中，通过构建包含系统指令、用户图像查询及助理分级应答的完整对话链，使模型习得将视觉内容映射至特定年龄类别（如7+、13+、15+、18+及违禁内容）的决策能力，从而高效赋能视觉内容的自动化合规审查。

解决学术问题

该数据集精准回应了多模态安全领域长期存在的核心挑战：如何让视觉语言模型具备可靠且精细的年龄分级判断能力，以替代低效且主观的人工审核流程。通过提供覆盖从全年龄到违禁内容的多层级标签体系，它解决了传统图像分类数据集缺乏对话式上下文语义理解、无法适应交互式AI场景的瓶颈。其学术意义在于构建了第一个严格遵循TRL聊天格式的视觉分级基准，为研究内容安全中的反事实推理、分级边界模糊性消解以及多模态偏好对齐等前沿问题提供了标准化实验场，显著推动了负责任的AI开发进程。

衍生相关工作

围绕该数据集的诞生，学术界衍生出一系列价值斐然的探索方向。最具代表性的工作之一是利用其对视觉语言模型进行偏好对齐训练（如RLHF），通过引入年龄分级的奖励信号优化模型输出，使其在安全性与开放性之间取得更优平衡；另一方向是基于其对话结构开发多模态元学习框架，使得模型仅需少量此类分级示例即可泛化至未见过的文化语境或新兴图像类别。此外，研究人员受其启发构建了跨语言的内容评级迁移学习基线，验证了在印尼语标注上训练的模型向其他语言场景迁移的有效性，为构建全球化的内容审核体系奠定了方法基础。