Vivarium-Greenscreen-Characters-FLUX-9B

Vivarium Greenscreen Characters — FLUX 9B 是一个用于文本到图像任务的数据集，包含 500 个虚构人物在纯绿色背景下的肖像图像。每个角色有 10 种温和自然的面部表情，总计 5000 张图像，每张分辨率为 832×1248 像素。图像的视觉风格为 Studio Ghibli 风格的温暖手绘动画，具有柔和的眼睛、细腻的线条和温暖的水彩式着色。数据集通过 FLUX.2 9B 基础模型和专用的角色 LoRA 生成，使用 50 步采样、CFG 4 和 BF16 精度，未使用蒸馏或量化。人物覆盖从 9 个月婴儿到 95 岁高龄老人的 11 个年龄组，性别均衡（250 男，250 女），种族分布包括白种人（250 人）、非裔美国人、阿拉伯人、拉丁裔、印度人、日本人、东南亚人和美洲原住民等，共 500 个独特的人物身份。每个人物包含 10 种表情：中性、快乐、感激、调皮、愤怒、恐惧、悲伤、厌烦、疼痛和厌恶，所有表情均为温和自然的面部变化。数据采用 WebDataset 格式存储，每个样本包含一个 PNG 图像、一个包含元数据的 JSON 文件和一个文本提示（txt）文件。元数据包括人物 ID、表情类型、年龄、性别、种族等属性。数据集可通过 Hugging Face Datasets 库以流式方式加载，适合用于角色生成、表情编辑、面部合成等任务。此外，数据集还提供了完整的生成流水线代码、校验报告和许可证信息，支持复现和扩展。许可证为 flux-output-conditions，具体见 LICENSE.md。Vivarium Greenscreen Characters — FLUX 9B is a dataset for text-to-image tasks, containing 500 fictional character portraits on pure green backgrounds. Each character has 10 gentle and natural facial expressions, totaling 5,000 images at 832×1248 pixels resolution. The visual style is warm hand-drawn animation in Studio Ghibli style, with soft eyes, delicate lines, and warm watercolor shading. The dataset was generated using the FLUX.2 9B base model and a dedicated character LoRA, with 50 sampling steps, CFG 4, and BF16 precision, without distillation or quantization. Characters cover 11 age groups from 9-month-old babies to 95-year-old elderly, with balanced gender (250 male, 250 female) and diverse ethnicities including Caucasian (250), African American, Arab, Latino, Indian, Japanese, Southeast Asian, and Native American, totaling 500 unique identities. Each character includes 10 expressions: neutral, happy, grateful, mischievous, angry, fearful, sad, bored, pained, and disgusted, all being gentle and natural facial variations. Data is stored in WebDataset format, with each sample containing a PNG image, a JSON metadata file, and a text prompt (txt) file. Metadata includes attributes like character ID, expression type, age, gender, and ethnicity. The dataset can be loaded via Hugging Face Datasets in streaming mode, suitable for tasks such as character generation, expression editing, and facial synthesis. Additionally, the dataset provides complete generation pipeline code, validation reports, and license information, supporting reproducibility and extension. The license is flux-output-conditions, see LICENSE.md for details.

原始信息汇总

Vivarium Greenscreen Characters — FLUX 9B 数据集总结

1. 数据集概览

• 数据集名称：Vivarium Greenscreen Characters — FLUX 9B（Vivarium warm-painted greenscreen characters）
• 任务类别：text-to-image（文生图）
• 语言：en
• 许可证：other（许可名称：flux-output-conditions），详见 LICENSE.md
• 标签：synthetic、characters、greenscreen、webdataset、flux、animation
• 规模类别：1K < n < 10K
• 数据文件：data/*.tar（train split，config 名为 default）

2. 核心数据规模

• 设计目标：500 个虚构人物 × 10 种自然面部表情 = 5,000 张肖像图
• 单图分辨率：832 × 1,248 像素
• 生产快照状态：198/500 人物已完成；1,980/5,000 张图片已上传
• 说明：计数为快照数据，增量分片提交可能更新

3. 生成参数

• 使用 undistilled 9B base
• rank 64 character LoRA
• 50 steps
• 真实 CFG4
• BF16
• 无量化、无蒸馏 checkpoint
• 美学方向：ghibli-warm-painted（克制面部比例、细腻手绘线条、温暖绘画式阴影、纯色 chroma-green 背景）

4. 人物年龄与预期分布

年龄段	预期年龄	男	女	人数	图片数
baby	9–24 个月采样	22	22	44	440
preschool	3–5 岁	22	22	44	440
younger_schoolchild	6–8 岁	22	22	44	440
older_schoolchild	9–12 岁	24	24	48	480
younger_teen	13–15 岁	24	24	48	480
older_teen	16–18 岁	24	24	48	480
young_adult	19–29 岁	24	24	48	480
middle_adult	30–49 岁	22	22	44	440
older_adult	50–64 岁	22	22	44	440
younger_senior	65–79 岁	22	22	44	440
older_senior	80–95 岁	22	22	44	440

• 共 250 个男性、250 个女性 prompt 标签。
• older_schoolchild、younger_teen、older_teen、young_adult 每性别 24 人；其余年龄段每性别 22 人。
• 每个年龄/性别单元中恰好 50% 为 white European-ancestry prompt；剩余人物在其余七组中轮换。

5. 预期 Prompt 标签分布

预期 prompt 标签	人数	图片数
white_caucasian	250	2500
african_american	36	360
arab	36	360
latino	36	360
indian	36	360
japanese	36	360
southeast_asian	35	350
indigenous_american	35	350

• 以上为预期 prompt 属性，并非从渲染外观推断的族裔或性别、生物类别或真实测量。
• 该分布为刻意选择的覆盖范围，而非人口流行率。
• 婴儿在 9、12、15、18、21 或 24 个月采样，安全坐姿且全身着衣可见。
• 其他年龄使用站立头至大腿构图；模型常渲染全身。
• 青少年 prompt 明确要求自然青春期比例；late teens 使用接近成人的面部，眼睛克制、下颌清晰；学龄儿童保持适龄比例，无夸张玩偶眼。

6. 稳定人物 ID 与表情变体

• personality_id 与 character_id 相同，为稳定键，如 person-0253。
• 每个人物有一套服装，由 outfit_id=outfit-01 标识。
• 十个样本 ID 如 person-0253-neutral、person-0253-angry。
• neutral/slightly friendly 图像为默认图。
• 本版本不生成换装；后续服装可保留 person ID 并增加新 outfit ID。

十种表情

表情 ID	预期轻微面部提示	图片数
neutral	放松中性表情，略带友善微笑	500
joyful	自然喜悦：张嘴微笑、脸颊抬起、明亮快乐眼睛	500
grateful	温暖感激：温和闭口欣赏式微笑、眼睑柔和放松	500
playful	温和顽皮：小幅不对称调皮咧嘴、单眉微挑	500
angry	轻微可控愤怒：眉毛内收下压、双唇紧抿	500
afraid	轻微担忧：内眉抬起、眼睛略睁大、嘴唇微张	500
sad	安静轻微悲伤：内眉抬起、眼神柔和悲伤、嘴角下垂	500
annoyed	轻微烦躁：眼睑半垂、单眉下压、嘴唇微弱平直	500
pain	短暂轻微不适：轻微皱眉、眼睛微眯、嘴唇紧闭，无可见损伤	500
disgust	轻微厌恶：鼻子微皱、上唇微抬、嘴部不对称下垂	500

• 所有表情为轻微自然面部变化，嘴、眉、眼睑提示明确，非夸张漫画化。
• 全年龄段使用全身着衣、适龄日常服装，包括儿童和青少年。
• 服装风格涵盖休闲叠穿、运动装、正式服装、实用工作服和摇滚风牛仔；服装避免绿色和青色以支持后续 chroma-keying。

表情生成方法

• 先生成 neutral 图。
• 其余九张图均以该 neutral 图为视觉参考，使用 PIL BICUBIC 缩放至 416×624，整个人物组使用相同种子噪声。
• 编辑要求保持相同身份、头发、皮肤、服装、姿势和构图，仅修改面部。
• 完整尺寸 neutral 源 PNG 的 SHA256 和样本 ID 会被记录；缩放参数可用于重建实际参考输入。
• 参考条件鼓励一致性，但非像素级身份保证；可能发生小幅姿势、面部细节或服装变化。

7. Prompt 模板与示例

共享风格：

Studio Ghibli-inspired grounded coming-of-age animation, delicate expressive hand-drawn lines, rich warm watercolor-like painted shading, gentle luminous colors, restrained almond-shaped eyes and proportionate faces.

默认肖像由 tools/plan_character_production.py 构建完整年龄/血统/头发/服装描述并应用共享角色模板。编辑使用聚焦指令，例如：

vvar_char, edit the reference portrait. Make this exact same fictional 75-year-old person show mild controlled anger: eyebrows drawn inward and lowered, lips firmly pressed together. Change the mouth, eyebrows and eyelids so this mild natural emotion is clearly visible. Preserve exact identity, face shape, skin tone, hair, clothing, pose and framing. Keep the original deep brown skin tone exactly, with identical exposure and lighting. Studio Ghibli-inspired grounded coming-of-age animation, delicate expressive hand-drawn lines, rich warm watercolor-like painted shading, gentle luminous colors, restrained almond-shaped eyes and proportionate faces. Fully clothed, age-appropriate. Perfectly uniform solid bright chroma green background. No scenery, no text, no logo, no watermark.

• Negative prompts 排除额外人物、服装变化、不同发型、文字、logo 和场景。
• 学龄及更大年龄 prompt 还抑制超大玩偶眼和 chibi 比例。
• 完整正向和负向 prompt 在每个样本的 JSON 中，实际正向 prompt 也有独立 TXT 成员。

8. WebDataset 布局与加载

每个样本包含三个相邻成员：

person-0253-neutral.png person-0253-neutral.json person-0253-neutral.txt

• 图像直接写入 TAR，无单独上传的 PNG。
• 生产分片通常包含两个完整人物组，共 20 张图；含 10 张图的 first-worker/pilot 分片和更小的 last-worker 分片。
• 同一人物的所有表情保持在一起便于分组。
• 使用 personality_id 进行划分：按图像随机划分可能使同一虚构身份泄漏到训练和评估集。

加载示例

python from datasets import load_dataset ds = load_dataset("laion/Vivarium-Greenscreen-Characters-FLUX-9B", split="train", streaming=True) sample = next(iter(ds)) image, metadata, prompt = sample["png"], sample["json"], sample["txt"] print(metadata["personality_id"], metadata["emotion"], image.size)

• card config 仅选择 data/*.tar，避免索引文件被误认为训练样本。
• 备选标准库 TAR/HTTP 读取器可避免解压图像文件：

bash python tools/read_webdataset.py pilot-person-0253.tar --repo laion/Vivarium-Greenscreen-Characters-FLUX-9B --limit 10

9. 推理与复现

• 安装 requirements.txt，获取链接的基础模型访问权限，并使用自己的 Hugging Face 账户在本地认证。
• 生成器使用 provenance 中固定的模型和 LoRA 修订；数据集或代码中不含访问令牌。
• 默认示例生成一个 late-teen 人物及全部十种表情，直接输出到一个 TAR：

bash python tools/infer_character_tar.py --person person-0253 --plan metadata/person-plan.json --output person-0253-emotions.tar

• --base-path 可指向已下载的基础 checkpoint。
• --no-compile 在需要时禁用编译。
• 默认推理辅助器融合 LoRA 与 QKV 投影，编译重复 transformer 块，批处理正向/负向 CFG 分支并缓存文本嵌入。
• 这些优化保持 50-step 真实 CFG4 采样；无去噪近似缓存。
• 流程为 BF16，需要足够显存的 CUDA GPU。
• 已发布种子和修订可匹配生成配方，但不承诺跨 GPU/运行时版本的位级复现。

10. 时间、验证与溯源

• 生产使用八个独立 A100-SXM4-80GB worker，每 GPU batch size 为 1。
• neutral 生成和参考编辑工作负载不同；测量均值分别报告于 performance。
• 参考编辑在计时调用中包含参考 VAE 编码。
• 正向 prompt 预编码、初始编译、加载、PNG 编码、TAR 写入和上传不计入推理计时。
• pilot 与背景生成共享一个 GPU 并使用 CPU offload，其计时不计入专用 worker 统计。
• 每个关闭的分片在上传后对照远程 SHA256 和字节大小验证。
• 最终完整性报告完全解码所有 PNG，检查相邻 PNG/JSON/TXT 分组、唯一计划 ID、prompt/seed 相等性、图像校验和及参考链接、完整十表情人物组和精确计划分布。
• 完整性报告 和 视觉审查 在各自检查完成后发布。
• 角色适配器在之前选定的 Vivarium greenscreen 数据上训练，选择于训练 step 1,500，rank/alpha 64，strength 1.0。
• 本版本的 500 个新计划合成身份，其计数分布独立于原始 Anim-E 程序化 prompt 行频率。
• 生成条款记录于 LICENSE.md 及完整 模型许可证。

11. 相关资源

• 基础模型：https://huggingface.co/black-forest-labs/FLUX.2-klein-base-9B
• 角色 LoRA（含示例和说明）：https://huggingface.co/laion/FLUX.2-klein-base-9B-vivarium-loras
• 兼容背景数据集：https://huggingface.co/datasets/laion/Anim-E-Ghibli-Backgrounds-FLUX-9B

12. 元数据文件

• 类别列表：CLASSES.md
• 分类法：metadata/taxonomy.json
• 精确分配：metadata/allocation.json
• 500 人 CSV：metadata/persons.csv
• 完整 prompt 计划：metadata/person-plan.json
• 分片清单：metadata/shards.json
• 推理记录：metadata/inference-records.jsonl
• 进度：metadata/progress.json
• 样本索引：metadata/sample-index.json
• 服装分配细化审计：metadata/outfit-allocation-refinement.json
• 肤色 pilot：metadata/skin-tone-pilot.json
• 肤色 prompt 细化审计：metadata/skin-tone-prompt-refinement.json
• 溯源：metadata/provenance.json
• 性能：metadata/performance.json
• 完整性验证：metadata/integrity-validation.json
• 质量审查：metadata/quality-review.json

搜集汇总

数据集介绍

构建方式

该数据集以FLUX.2-klein-base-9B为基础模型，结合rank64角色LoRA，采用50步采样、真实CFG4与BF16精度，全程规避量化与蒸馏检查点，生成500位虚构人物各10种自然面部表情，共计5,000幅832×1,248像素的肖像图像。生成流程先产出中性表情图像，再以该图像为视觉参考，经PIL BICUBIC缩放至416×624，对同一人物组施加相同种子噪声，通过聚焦面部编辑提示修改嘴部、眉毛与眼睑，以维持身份、发型、肤色、服装、姿态与构图的一致性。每幅图像均配套JSON元数据与TXT提示文本，并以WebDataset格式直接写入TAR分片，确保相邻三元组成员完整对应。

特点

数据集以吉卜力暖色调手绘动画美学为视觉基调，涵盖从婴儿至高龄老人的十一个年龄组，男女各半，并在提示层面标注八类祖源标签，构成刻意选择的覆盖性分布而非人口比例再现。全部表情均要求温和自然的面部变化，避免夸张漫画化，且所有年龄段均穿着日常服饰，服装排除绿色与青色以利于后续色度键控。人物身份通过personality_id与character_id稳定标识，中性图像为默认输出，其余九种表情共享同一身份参考。分片通常包含两个完整人物组共20幅图像，便于按人物而非单图划分训练与评估集，防止身份泄漏。

使用方法

使用者可通过Hugging Face Datasets以流式方式加载data/*.tar分片，安装轻量读取依赖后调用load_dataset并指定split='train'与streaming=True，即可获取png、json与txt三元组数据。亦可采用标准库TAR/HTTP读取器避免解压图像文件。复现推理需安装requirements.txt，获取关联基座模型访问权限，在本地完成Hugging Face认证，并依据metadata/provenance.json中固定的模型与LoRA修订版本运行tools/infer_character_tar.py，可按人物计划生成全部十种表情至单一TAR。划分数据时应使用personality_id，避免随机按图划分导致同一虚构身份跨训练与评估集泄漏。

背景与挑战

背景概述

在动画制作与虚拟角色生成领域，可控且风格一致的面部表情数据集长期稀缺。Vivarium-Greenscreen-Characters-FLUX-9B由LAION团队于2024年构建，基于FLUX.2-klein-base-9B模型与rank64角色LoRA，采用非蒸馏9B基础、50步采样与真实CFG4生成。数据集聚焦500位虚构人物、每人10种自然表情，共5000幅832×1248像素的吉卜力暖绘风格绿幕肖像，旨在为文本到图像模型提供高一致性的角色表情训练与评估资源，推动动画预可视化与合成数据生成研究。

当前挑战

该数据集所应对的领域问题在于：如何在保持人物身份、发型、肤色与服装严格一致的前提下，生成细微且自然的面部表情变化，同时满足绿幕抠像对背景纯度的要求。构建过程中的挑战包括：早期试点表情趋同导致返工、老年角色肤色在编辑中发生偏移需针对性重生成、提示词需避免夸张漫画化并排除超大眼与Q版比例，以及确保每位角色十张图像组完整且分布符合计划。此外，跨GPU与运行时环境下的逐位复现亦难以保证。

常用场景

经典使用场景

在计算机视觉与生成式人工智能深度交融的当下，可控人物肖像合成已然成为数字内容创作领域的核心议题。该数据集最经典的使用场景在于为文本到图像扩散模型提供高一致性的虚构人物面部表情基准，其以500位虚构人物为基座，每人衍生出十种自然面部表情，共计五千张832×1248像素的暖绘风格肖像。每张图像均以纯色铬绿幕布为背景，人物身着日常服饰，且各表情变体皆以同一中性图像为视觉参照进行条件生成，从而在最大程度上保持身份、发型、肤色与姿态的连贯性。这一设计使研究者能够系统性地评估模型在细粒度表情编辑任务中的身份保持能力与语义可控性。

实际应用

在动画制作、游戏角色设计与虚拟数字人产业中，快速生成兼具统一身份与丰富表情的虚构角色是一项高频且成本高昂的需求。该数据集凭借其绿幕背景与WebDataset封装格式，可直接服务于影视后期抠像、实时面部动画驱动及交互式叙事系统的开发。创作者能够借助微调后的LoRA适配器，以中性肖像为锚点批量衍生喜怒哀惧等表情素材，从而显著缩减传统手绘或三维建模的制作周期。此外，其按人格标识符划分训练与评估集的规范，亦为工业级流水线中避免身份泄漏提供了可操作的工程范式。

衍生相关工作

该数据集的发布催生并支撑了一系列围绕FLUX基础模型与角色LoRA适配器的衍生研究。其关联的背景数据集为前景角色提供了宽幅暖绘环境，二者结合可生成场景化叙事图像，推动了动画风格迁移与角色-场景协同生成方向的工作。基于该数据训练的rank64角色适配器已在开源社区中被广泛用于身份保持编辑与表情控制任务的基准测试，并启发了后续针对肤色一致性、提示词精炼及训练步数选择等问题的专项探究。相关推理工具与完整性验证报告亦成为可复现生成研究的重要参考。