randomhuggingfaceuser1273823147/steve1-training-data

该存储库包含用于训练原始STEVE-1模型的数据集。此数据集用于训练我们的MultiSTEVE-1s模型。我们还提供了训练所需的MineCLIP嵌入。

This repository contains the data with which to train the original STEVE-1. We use this dataset to train our MultiSTEVE-1s model. We also provide the MineCLIP embeddings needed for training.

搜集汇总

数据集介绍

构建方式

STEVE-1训练数据集旨在支持基于Minecraft环境的智能体策略微调，其构建过程融合了多种数据来源。具体而言，数据集包含两大核心部分：其一为OpenAI Contractor数据集中的游戏回合数据，经过格式转换后适配STEVE-1训练流程；其二为通过VPT模型生成的Minecraft轨迹数据，专门为STEVE-1风格训练收集。每个回合目录中均存储了游戏帧画面、动作标签、MineCLIP嵌入向量、回合长度及元数据文件，其中嵌入向量由MineCLIP模型预计算生成，从而大幅提升训练效率。

特点

该数据集最显著的特点在于其预嵌入的MineCLIP特征，使得研究者无需重新计算嵌入即可复现STEVE-1风格的微调流程。数据来源涵盖人类示范与合成数据，提供了多样化的游戏行为模式。此外，数据集采用结构化存储方式，每个独立回合封装为包含视频、动作、嵌入及元数据的完整单元，便于离线训练与批量分析。其规模介于10K至100K之间，适用于中等规模策略学习场景。

使用方法

使用该数据集时，需配合配套的代码发布库，将数据集按指定路径放置于`data/dataset_contractor/`与`data/dataset_mixed_agents/`目录下。随后，通过运行`train/2_create_sampling.sh`脚本构建采样数据，并执行`python -m scripts.train_zoo --group all`启动训练流程。详细的命令执行步骤与环境配置说明，可参考配套代码中的README及docs目录下的相关文档，确保复现过程的严谨性与可操作性。

背景与挑战

背景概述

在人工智能与游戏交叉领域，基于视觉-语言模型的智能体控制正成为研究热点，尤其是开放世界环境下的指令跟随任务。STEVE-1训练数据集由研究团队于2023年创建，旨在复现和改进基于MineCLIP嵌入的STEVE-1模型微调流程。该数据集整合了OpenAI承包商演示数据与VPT生成的Minecraft轨迹，并以预计算的MineCLIP嵌入形式存储，显著降低了后续研究的计算开销。作为MultiSTEVE-1模型库的核心组成部分，它推动了Minecraft环境中语言指令驱动智能体的可复现研究，并为MineRL等基准测试提供了标准化训练资源。

当前挑战

该数据集面临多重挑战。首先，在领域层面，Minecraft开放世界的非结构化特性要求智能体具备长期记忆与多模态推理能力，而现有数据主要覆盖有限子任务，难以泛化至复杂探索行为。其次，构建过程中存在显著困难：承包商演示数据与VPT自动生成轨迹的分布差异可能导致策略偏向；MineCLIP嵌入的计算依赖原始视频流，数据预处理管道复杂；此外，数据集衍生自多个上游项目（如VPT、MineCLIP），其许可条款限制了商业使用与开放共享，给学术复现带来法律不确定性。

常用场景

经典使用场景

在智能体与开放世界交互的研究领域，STEVE-1训练数据集凭借其内置的MineCLIP嵌入特征，成为微调行为克隆策略的经典资源。该数据集整合了OpenAI承包商的高质量人工演示与VPT算法自动生成的多样化轨迹，为训练能够理解自然语言指令的Minecraft智能体提供了标准化的数据基石。研究者通过加载预计算的嵌入向量，可免去重复的视觉特征提取环节，直接聚焦于策略网络的条件化训练，从而高效复现STEVE-1范式下的指令跟随与任务泛化能力。

衍生相关工作

围绕该数据集衍生出了一系列具有影响力的后续工作，其中最具代表性的是MultiSTEVE-1模型动物园的构建，它通过多源数据混合训练探索了不同演示质量对策略鲁棒性的影响。后续研究进一步将MineCLIP嵌入与分层强化学习框架结合，实现了技能库自动发现与组合执行。同时，该数据集被用于验证基于预训练视觉编码器条件化策略的泛化边界，催生了关于跨任务零样本指令遵循能力的研究方向，推动了MineRL竞赛中语言引导智能体技术的迭代演进。

数据集最近研究

最新研究方向

基于MineCLIP嵌入的STEVE-1模型微调训练数据集的构建与复用，为《我的世界》智能体行为克隆与多智能体策略学习提供了高效的数据基础设施。当前前沿研究方向聚焦于利用大规模离线轨迹数据（如VPT生成的混合智能体行为序列）与跨模态嵌入对齐技术，推动具身智能体在复杂开放世界环境中的长期任务规划与零样本泛化能力。该数据集通过预计算MineCLIP嵌入，显著降低了重复特征提取的计算成本，支持研究者复现并扩展STEVE-1式的层级化策略微调范式，其影响在于加速了基于语言指令的视觉-动作联合建模研究，并与MineRL基准生态深度耦合，为评估智能体在多样化游戏情境下的自适应决策能力提供了标准化训练资源。