opencs2_dataset

OpenCS2 - POV Renders 是一个基于《反恐精英2》（Counter-Strike 2）游戏的第一人称视角（POV）多模态数据集。它从 `blanchon/cs2_dataset_demo` 数据集渲染生成，包含时间戳对齐的训练视频片段。数据集的核心是玩家每回合的POV数据，每回合包含10个同步时间线的玩家视角。每个POV回合数据包含视频（1280x720分辨率，32帧/秒，近乎无损的H.264编码，与音频混合）、音频（每个玩家的立体声音频，根据其游戏内位置和朝向混合）、输入数据（每个游戏刻度的按键、鼠标移动、视角角度、开火/跳跃/使用动作、武器切换）和世界状态（每个游戏刻度的玩家位置、速度、视角、生命值、护甲、武器、存活状态）。数据集采用简单的松散文件布局，每个POV回合都有独立的目录，包含 `video.mp4`、`video.preview.mp4` 和 `ticks.parquet` 文件，并提供了用于大规模训练的WebDataset打包版本。数据集规模为169,960个POV回合（相当于3,135.1小时POV视频，或313.5小时同步回合时间线），16,984个回合，817场比赛/地图，115,894次击杀。数据集通过多个配置组织，便于不同用途的访问，包括 `pov_rounds`（默认）、`matches`、`rounds`、`kills`、`duels`、`clip_events`、`round_player` 和 `enums`。数据集适用于视频分类、强化学习、游戏AI行为分析、事件检测和精彩片段生成等任务。OpenCS2 - POV Renders is a first-person perspective (POV) multimodal dataset based on the Counter-Strike 2 game. It is rendered from the `blanchon/cs2_dataset_demo` dataset and contains timestamp-aligned training video clips. The core of the dataset is the POV data for each player per round, with each round containing 10 synchronized player perspectives. Each POV round includes: video (1280x720 resolution, 32 FPS, near-lossless H.264 encoding, mixed with audio), audio (stereo audio for each player, mixed based on in-game position and orientation), input data (key presses, mouse movements, view angles, fire/jump/use actions, weapon switching per game tick), and world state (player position, velocity, view, health, armor, weapons, alive status per game tick). The dataset uses a simple loose file layout: each POV round has a separate directory containing `video.mp4`, `video.preview.mp4`, and `ticks.parquet` files. Additionally, a WebDataset packed version is provided for large-scale training. Dataset scale: 169,960 POV rounds (equivalent to 3,135.1 hours of POV video, or 313.5 hours of synchronized round timelines), 16,984 rounds, 817 matches/maps, 115,894 kills. The dataset is organized via multiple configurations for easy access, including `pov_rounds` (default), `matches`, `rounds`, `kills`, `duels`, `clip_events`, `round_player`, and `enums`. It is suitable for tasks such as video classification, reinforcement learning, game AI behavior analysis, event detection, and highlight generation.

原始信息汇总

好的，这是对您提供的数据集详情页面的总结。

数据集概述：OpenCS2 - POV Renders

OpenCS2 是一个大规模的《反恐精英2》第一人称视角训练数据集，包含同步的玩家视角视频、音频、输入和世界状态数据。该数据集旨在支持视频分类、强化学习等任务。

核心特性

• 数据规模：包含 169,960 个玩家视角回合，总计 3,135.1 小时的玩家视角视频，以及 313.5 小时的同步回合时间线。
• 数据构成：每个玩家视角回合 (POV round) 包含：
  • 视频：1280x720 分辨率，32 fps，近无损 H.264 编码，与音频混合。
  • 音频：根据玩家位置和方向混合的立体声。
  • 输入：每个游戏刻 (tick) 记录按键、鼠标移动、视角角度、开火/跳跃/使用、武器切换等。
  • 世界状态：每个游戏刻记录玩家位置、速度、视角、生命值、护甲、武器、存活状态等。
• 格式：采用简单的松散文件结构，每个玩家视角回合拥有独立的目录，包含 video.mp4、video.preview.mp4 和 ticks.parquet 文件。同时提供了 WebDataset 打包版本 blanchon/opencs2_dataset_wds 用于大规模训练。
• 许可协议：cc-by-4.0

数据结构与配置

该数据集通过多个配置 (config) 提供不同粒度的索引和事件数据，方便用户进行过滤和筛选。

配置名称	行数	用途
pov_rounds (默认)	169,960	每个玩家视角回合一行，包含视频/预览/刻数据文件的路径和大小信息。
matches	817	每场比赛/地图一行，包含队伍、事件、比分、日期等元数据。
rounds	16,984	每个回合一行，包含刻边界、持续时间、胜者/原因、击杀数等。
kills	115,894	每次击杀一行，包含攻击者/受害者、武器、穿烟、爆头等详细信息。
duels	115,894	击杀事件归一化为胜者/败者的对决信息，方便筛选胜者视角。
clip_events	115,894	通用的剪辑事件行，用于简单的剪辑提取。
round_player	172,935	每个玩家每回合的统计信息，如击杀、死亡、助攻、KAST等。
enums	115	枚举查找表，用于将紧凑的 *_id 列映射回标签。

目录结构

text rounds/ match_id=<id>/map_name=<map>/round=<round>/player=<slot>/ video.mp4 video.preview.mp4 ticks.parquet index/ matches.parquet rounds.parquet pov_rounds.parquet events/ kills.parquet duels.parquet clip_events.parquet round_player.parquet metadata/ enums.parquet

使用建议

• 数据访问：推荐先通过 index/ 和 events/ 中的 Parquet 表进行过滤，筛选出所需的回合或事件，再根据 pov_rounds 中的路径访问具体的视频和刻数据文件。
• 媒体路径：媒体列（如 video）以 Hugging Face 路径形式存储，可使用 hf_hub_url() 函数转换为可直接访问的 URL。
• 时间对齐：事件表中的 event_seconds 与处理后的视频时间存在 2.0 倍的关系 (event_video_seconds = event_seconds * 2.0)。更精确的对齐可通过事件表中的 tick 字段与目标 POV 的 ticks.parquet 文件进行关联。
• 高效训练：对于大规模训练，建议使用提供了 frame_pair 训练工作流的 WebDataset 版本 (blanchon/opencs2_dataset_wds)。
• 可视化浏览：可通过 OpenCS2 Viewer 交互式浏览数据集，观看同步的10个玩家视角。

搜集汇总

数据集介绍

构建方式

OpenCS2数据集以《反恐精英2》游戏对局为原始数据，基于玩家第一人称视角（POV）进行渲染构建。每个样本对应一名玩家在一个回合内的完整视角，包括1280×720分辨率、32帧每秒的近无损H.264视频与立体声混合音频，以及每滴答（tick）级别的键盘鼠标输入、视角角度和完整世界状态信息。同一回合下十名玩家的POV共享同一时间轴，确保多视角严格对齐。数据以松散文件形式存储，每个POV回合独立目录包含视频文件和滴答级Parquet表格，并辅以索引和事件型Parquet元数据表，支持高效筛选与流式访问。

特点

该数据集具备高度结构化的分层索引体系与丰富的标注信息，覆盖169,960个POV回合、逾3,100小时视频与115,894次击杀事件。索引表按比赛、地图、回合、玩家槽位组织，事件表则记录击杀、决斗、剪辑事件与回合球员统计，支持按武器、距离、烟雾击杀、盲狙、穿墙、1v1残局等多维度精细过滤。所有字符串列均采用字典编码并配备整数ID，便于快速连接与枚举建模，且玩家以0至9的槽位标识而非匿名的Steam ID，兼顾隐私与复用性。

使用方法

用户可通过Hugging Face Datasets库加载默认配置pov_rounds获取索引表，再根据需求组合匹配、回合、击杀、决斗等事件配置进行筛选。推荐结合DuckDB或PyArrow直接读取远程Parquet文件执行复杂查询，定位目标POV后通过hf_hub_url函数转换视频路径，借助TorchCodec解码器实现指定时间窗口的快速流式解码。数据集提供多种已验证的剪辑配方示例，涵盖AWP 1v1决斗、烟雾击杀、盲狙穿墙、刀杀、五连击杀等典型场景的精准提取流程。

背景与挑战

背景概述

OpenCS2数据集发布于2024年，由研究者Blanchon及其团队构建，旨在为基于第一人称视角的游戏智能研究提供大规模、时序对齐的多模态训练资源。该数据集聚焦于《反恐精英2》（Counter-Strike 2）这一典型电子竞技场景，核心研究问题涵盖视频理解、强化学习、行为克隆及多智能体协同决策等前沿领域。通过收录超过16万局玩家视角的回合数据，囊括视频、音频、按键输入及世界状态等维度，OpenCS2为模拟复杂对抗环境下的感知、决策与交互提供了前所未有的基准。其对竞技游戏场景的系统化标注与高精度对齐，显著推动了具身智能、人机协作及游戏AI领域的研究进展。

当前挑战

该数据集所应对的核心领域挑战在于电子竞技场景中高动态、多智能体、实时决策问题的建模难题，传统数据集难以完整捕捉玩家视角下的细粒度行为与状态变化。在构建过程中，团队面临多重技术挑战：一是需在32帧每秒的视频流中实现与64赫兹游戏逻辑时钟的精确对齐，确保每一帧的画面、音频与输入状态保持一致；二是处理海量原始录制的存储与索引效率问题，通过分片组织与高效压缩策略平衡访问速度与资源开销；三是设计灵活的事件过滤机制，支持从数万局数据中精准抽取特定战术场景，如烟雾击杀或远距离狙杀，从而满足多样化研究需求。

常用场景

经典使用场景

OpenCS2数据集作为首个大规模、多视角、帧对齐的《反恐精英2》游戏数据集，为基于视觉和时序的深度学习研究提供了前所未有的基准资源。其经典使用场景聚焦于视频分类任务，尤其是对游戏中复杂事件（如击杀、对枪、穿烟击杀等）的精准识别与分类。研究者可以借助该数据集丰富的视频片段、音频信号以及逐帧标注的玩家输入与世界状态信息，训练模型理解第一人称射击游戏中的动态行为模式。此外，该数据集的强化学习潜力同样引人注目，因其详尽记录了每局对战中每一时刻玩家操作和游戏环境变化，为训练智能体在复杂、多智能体竞争环境中学习策略性决策提供了高保真的仿真训练语料。

解决学术问题

该数据集直面当前视频理解与具身智能领域面临的若干关键学术挑战。首先，它解决了第一人称视角下长视频序列中细粒度动作识别的高难度问题，通过提供16万条以上、时长超3000小时的同步多视角视频，使得研究者能够利用时间一致性和多视角约束来提升动作定位与识别的准确率。其次，OpenCS2有效缓解了强化学习研究中仿真环境与真实场景不一致的“仿真-现实鸿沟”，因为这个数据集直接来源于真实游戏对局，其世界状态数据精确到每帧，为离线强化学习（Offline RL）和模仿学习（Imitation Learning）提供了高质量、大规模的真实人类行为轨迹。这些特性不仅推动了视频事件检测技术的进步，更拓宽了智能体从复杂人类演示中学习因果推断与长期规划的研究路径，对推动通用人工智能在动态开放世界中的决策能力具有深远意义。

衍生相关工作

围绕OpenCS2数据集，学术界与工业界有望衍生出一系列标志性研究工作。其中，基于该数据集的预训练事件视频特征提取器（如EventCLIP或类似的多模态编码器）将成为下游任务的标准基线，这些模型能够从32帧每秒的视频流中高效编码游戏场景并识别复杂事件。此外，以该数据集为基构建的离线强化学习基准（如OpenCS2-Benchmark）将催生大量关于多智能体离线策略学习及基于人类偏好的奖励模型工作的涌现。更为前沿的工作包括利用时序世界状态数据预训练的World Model，该模型能够预测未来几帧中游戏状态的变化，为探索在部分可观察环境中的长期推理模型提供全新的实验平台，推动游戏领域乃至机器人领域中对场景动态建模的研究热潮。