FreeCam Dataset Capture Toolkit

FreeCam数据集捕获工具包是一个用于生成可重复静态图像数据集和轨迹数据集的工具，通过FreeCam姿势、OBS静态/视频捕获、Lua姿势日志、Python元数据和LAION美学评分工作流，收集可重复的静态图像数据集，记录轨迹视频，记录相机姿势元数据，使用官方LAION美学预测器工作流对帧进行评分，并输出准备用于分析或下游研究的数据。该工具包还包含已发布的轨迹捆绑包，如scene_3.1和scene_3.2，用于低到高相机路径视频的生成和验证。The FreeCam Dataset Capture Kit is a tool for generating reproducible static image datasets and trajectory datasets. Leveraging FreeCam poses, OBS static/video capture, Lua pose logging, Python metadata, and the LAION aesthetic scoring workflow, it generates and collects reproducible static image datasets, records trajectory videos and camera pose metadata, scores frames via the official LAION aesthetic predictor workflow, and outputs data ready for analysis or downstream research. Additionally, this kit includes released trajectory bundles such as scene_3.1 and scene_3.2, which are designed for the generation and validation of low-to-high camera path videos.

原始信息汇总

FreeCam Dataset Capture Toolkit 数据集详情

整体概述

FreeCam Dataset Capture Toolkit 是一个数据集采集工具，将 FreeCam 与 OBS 结合，构建可复现的数据采集流水线。其核心流程为：

FreeCam 姿态 → OBS 静态/视频捕获 → Lua 姿态日志 → Python 元数据 → LAION 评分 → 轨迹/报告

数据集核心内容

该项目主要产出两类数据集：

1. 静态图像扫描数据集

• 通过 FreeCam 在配置的 x/y/z 扫描区域内移动
• 捕获 OBS 静态图像
• 每张图像生成 CSV 元数据行，包含位置、偏航角、俯仰角、数据集名称和文件路径
• 输出包括：scores.csv、pose_log.csv、scores_with_pose.csv、图表、复制的顶部帧和 report.html

2. 轨迹视频数据集

• 基于已评分姿态的轨迹回放
• 从低频到高频相机路径构建视频
• 支持低到高轨迹：第一个关键帧是低评分测量姿态，最后一个关键帧是选定的高评分目标

已发布的轨迹包

该项目存储了可加载的相机轨迹，共包含多个场景的轨迹数据：

场景与轨迹包

场景	轨迹数量	主要用途
scene_3.1	15,000 条轨迹	户外场景，单一全局最大终点
scene_3.2	13,000 条轨迹	船体场景，单一全局最大终点
scene_2_again	13,000 条轨迹	重新处理的场景 2 捕获包
scene_1.2	10,000 条轨迹	多锚点真关键帧基准集
scene_1.3	3,000 条轨迹	单锚点真关键帧基准集

每个轨迹包包含的文件

• *_low_to_high_ui.json：轨迹回放 UI 文件
• *_trajectories.json：完整规划表示，包含测量关键帧元数据
• trajectory_summary.csv：每条轨迹一行，包含增益、物理距离、路径长度、持续时间和约束统计
• validation.json 和 capture_readiness_validation.json：关键帧、单调性、端点、运动和 UI 加载检查
• global_route_overlap_audit.json 和 global_selection_diagnostics.json：物理路径唯一性和轨迹间重叠诊断
• PNG 文件：评分曲线、累积物理距离、XZ 投影和 XYZ 路线视图

数据采集流水线

数据流

扫描姿态 → 捕获静态图像 → EZCAM/OpenCLIP 美学评分 → 选择真实评分关键帧 → 规划低到高相机路线 → 验证几何形状和评分顺序 → 通过 UI 回放

约束语义

场景 3 的大型包使用以下约束：

• 测量评分增益
• 最小净位移
• 有限路径长度
• 有限路径与净位移比
• 无近距重访
• 唯一物理路线几何形状
• 全局路线重叠上限

允许复用端点或起始区域，前提是完整物理路线保持唯一。

评分机制

• 使用 CLIP 嵌入加上 LAION 美学预测器权重对帧进行评分
• 将帧时间戳与相机姿态时间戳对齐
• 生成评分元数据和可视化报告

平台与安装

系统要求

• Windows：主要测试平台，使用 configs/default.yaml
• Linux：支持 Python、OBS WebSocket 捕获、静态扫描、轨迹回放和 LAION 评分，通过 Steam Proton 使用 configs/linux.yaml

依赖组件

• Python 3.10+
• OBS Studio（需启用 WebSocket）
• REFramework 脚本框架
• RE9 FREECAM CED 相机模组
• LAION 美学预测器仓库

搜集汇总

数据集介绍

构建方式

FreeCam Dataset Capture Toolkit的构建方式基于手动安装的FreeCam与OBS系统，形成一套可复现的捕获流水线。通过FreeCam采集相机姿态，OBS捕获静态图像或录制视频，Lua脚本记录姿态日志，Python处理元数据并利用LAION美学预测器对帧进行评分，最终生成轨迹与报告。该流程支持从静态图像扫描到轨迹视频录制的完整数据采集。

特点

该数据集工具包具有高度的可复现性与模块化特性。它集成了可配置的扫描平面与视角模式，支持低分到高分的轨迹回放，并通过Lua与Python的JSON文件通信实现非侵入式姿态记录。工具包含有错误重试机制、中断恢复、GPU内存管理及Discord/飞书告警功能，确保长时无人值守采集的稳定性。已发布的轨迹包提供验证文件与诊断报告。

使用方法

使用方法分为安装、配置与执行三个阶段。首先需安装Resident Evil Requiem游戏、REFramework、FreeCam模组、OBS Studio及Python 3.10+，并启用OBS WebSocket。通过Python虚拟环境安装依赖后，运行脚本补丁Lua记录器、测试OBS连接。静态图像扫描使用GUI启动器，轨迹视频录制可加载预生成的JSON路径文件，支持断点续录与OBS按需重启，最终输出含评分、姿态与轨迹的完整数据集。

背景与挑战

背景概述

FreeCam Dataset Capture Toolkit诞生于计算机视觉与游戏渲染领域交叉探索的前沿，由研究团队于近年开发，旨在解决游戏环境中高清图像数据集的自动化采集难题。该工具依托《Resident Evil Requiem》游戏场景，通过整合FreeCam自由视角系统、OBS录屏软件、Lua脚本日志记录及LAION美学评分模型，构建了一套从图像捕获到美学评估的完整数据流水线。核心研究问题聚焦于如何高效、可重复地生成带有精确相机位姿注释的高质量图像集，以支撑下游的视觉表征学习与场景理解任务。其已产出包含数万条相机轨迹的数据集，为游戏渲染与真实世界的域适配研究提供了规模化、标准化的数据基础，在可控环境数据采集领域展现了显著的实用价值。

当前挑战

该工具面临的挑战可分为领域问题与构建过程两个层面。在领域问题上，其核心在于解决游戏封闭环境中数据采集的标准化与可复现性难题——游戏地图的碰撞网格信息不可知，导致扫描区域必须由用户手动定义，这限制了数据采集的自动化程度与几何一致性。构建过程中，挑战尤为突出：首先，跨平台兼容性要求高，需在Windows与Linux/Proton环境下同步维护OBS WebSocket通信、Lua脚本注入及LAION评分流程，系统间细微差异易引发管线中断。其次，轨迹回放时的连续碰撞检测无法仅依靠静态位姿图像保证，渲染帧的单调性验证需额外进行烟雾测试与碰撞行为核查。此外，大规模长时间采集时OBS的显存泄露问题需通过周期性重启与状态恢复机制来缓解，而跨进程通信中Lua状态同步的竞态条件也要求精细的命令确认与超时重试策略。

常用场景

经典使用场景

在计算机视觉与图形学研究中，FreeCam Dataset Capture Toolkit最经典的使用场景体现在对三维虚拟环境中相机姿态的精细化采集与轨迹结构化建模。该工具通过整合OBS实时捕捉、FreeCam自动定位与Lua脚本日志记录，能够在《生化危机：安魂曲》等RE引擎游戏中，系统性地采集具有可重复性的静态图像数据集与连续运动轨迹。其核心流程遵循“预定义扫描平面→像素级位姿采样→美学评分筛选→低分到高分轨迹构建”的流水线范式，特别适用于需要大规模、高精度且具审美多样性的虚拟机位数据获取任务，为后续的神经渲染、新视角合成及场景理解提供可靠的数据基础。

衍生相关工作

该工具集在其发布后已衍生出若干具有启发性的相关工作与扩展研究方向。围绕其定义的“低分到高分”轨迹生成范式，研究者可进一步构建基于强化学习的智能相机路径优化模型，利用工具提供的数万条轨迹作为初始策略训练环境。此外，其输出的结构化美学评分与位姿日志组合文件，已被用作多模态视点偏好分析的标准数据集，催生了关于视觉吸引力与三维几何关系之间关联性的量化研究。在工具层面，其模块化设计中可复用的OBS WebSocket控制接口及Lua日志注入机制，已被其他游戏场景的数据采集项目借鉴，并扩展至《艾尔登法环》及《赛博朋克2077》等开放世界作品的相机姿态数据集构建中，推动了游戏内视觉知识库的标准化发展。

数据集最近研究

最新研究方向

FreeCam Dataset Capture Toolkit代表了游戏内视觉数据集采集领域的一项前沿突破，其核心在于将自由相机操控、自动化姿态记录与LAION美学评分系统深度融合，构建出可复现的端到端数据管线。该工具通过OBS WebSocket与游戏内Lua脚本的协同工作，实现了从静态场景扫描到低-高分轨迹视频录制的全流程自动化，尤其在高精度三维环境重建与视觉美学质量评估的交叉研究中具有里程碑意义。当前热点方向聚焦于利用大规模轨迹束（如场景3.1的15,000条路径）探索相机路径规划与美学评分增益之间的最优映射关系，并通过严格的关键帧几何验证、路径唯一性审计及全局重叠控制，为下游的神经渲染、场景理解与自动漫游生成提供高保真、可审计的基准数据集。该工具在确保数据采集可复现性的同时，引入了多平台支持与分布式错误告警机制，显著降低了学术界与工业界在游戏虚拟环境中开展大规模视觉研究的门槛。