markov-ai/sample-100-hours

Markov样本数据集—100小时（CAD与设计）是一个包含101小时Windows和macOS屏幕录制的数据集，附带同步的键盘/鼠标事件数据和逐步叙述，专注于计算机辅助设计（CAD）和设计工作流程。每个工作流程包含多个文件：屏幕录制视频（clip.mp4）、原始事件数据（events.json）、帧对齐事件数据（frame_events.json）、元数据（metadata.json）以及时间对齐的叙述（narration.json），其中叙述包括每个步骤的动作、意图和应用信息。数据集总计133个工作流程，总时长101.3小时，包含187,838个注释和27.1百万个事件。统计信息显示，工作流程时长中位数为31.1分钟，类别分布以CAD为主（占81.6%），平台以Windows为主（占96.7%），应用包括AutoCAD、SketchUp、Blender等。叙述模式采用JSON格式，提供详细的动作、意图和应用上下文，用于分析和理解用户交互行为。The Markov Sample Dataset — 100 Hours (CAD & Design) consists of 101 hours of Windows and macOS screen recordings with synchronized keystroke/mouse data and step-by-step narrations, spanning CAD and design workflows. Each workflow includes: clip.mp4 (screen recording at 30fps CFR, H.264), events.json (raw mouse/keyboard/app events in JSONL), frame_events.json (frame-aligned mouse/keyboard/app events), metadata.json (workflow metadata such as category, title, description, tags, duration), and narration.json (time-aligned narration with action, intent, and app per step). The dataset contains 133 workflows, totaling 101.3 hours, with 187,838 annotations and 27.1M events. Statistics include workflow duration percentiles (e.g., median 31.1 min), category distribution (CAD 81.6%, Design 18.4%), platform distribution (Windows 96.7%, macOS 3.3%), and app distribution by hours (e.g., AutoCAD 22.5%, SketchUp 15.2%). The narration schema provides a flat list of time-ordered annotations with start/end times, action, intent, app, and details, plus a workflow summary.

搜集汇总

数据集介绍

构建方式

该数据集名为sample-100-hours，专注于计算机辅助设计（CAD）与设计领域，通过采集Windows和macOS平台上的屏幕录制，同步记录键盘、鼠标事件及分步叙述，构建了101小时的屏幕录制数据。每个工作流包含屏幕录像、原始事件文件、帧对齐事件、元数据和带时间戳的叙述文件，数据以JSON和JSONL格式存储，覆盖133个工作流，总计187,838条注释和2,710万事件。

特点

数据集以CAD工作流为主，占81.6%的时长，涵盖AutoCAD、SketchUp、Blender等专业软件，设计类工作流占18.4%，涉及Aseprite、Adobe Illustrator等工具。数据呈现丰富的时间结构，工作流时长中位数为31.1分钟，注释密度中位数为每工作流822条，且附有详细的叙述模式，包括动作、意图和应用信息，为理解用户交互提供了深层语义。

使用方法

用户可通过HuggingFace加载该数据集，默认配置为'train'分割，数据文件为'metadata.jsonl'。每个工作流可解压提取各组件文件，利用'clip.mp4'进行视觉分析，结合'events.json'和'frame_events.json'研究用户操作序列，借助'narration.json'中的叙述获取动作意图和应用上下文。数据适用于训练用户行为建模、界面交互理解以及CAD设计辅助系统等任务。

背景与挑战

背景概述

在计算机辅助设计（CAD）与数字设计领域，人类操作行为的细粒度建模长期以来依赖于有限的合成数据或低分辨率日志，难以捕捉真实工作流中的复杂交互。Markov Sample Dataset — 100 Hours (CAD & Design)应运而生，由研究团队于近年构建，专注于提供涵盖Windows与macOS平台的屏幕录制、同步键鼠事件及逐步叙述的多模态数据集。该数据集包含133个工作流，总计101.3小时，涉及AutoCAD、SketchUp、Blender等主流设计软件，为理解设计任务中的意图推断、动作序列建模及人机交互研究提供了前所未有的数据基础，对自动化设计辅助与智能界面研究具有重要推动力。

当前挑战

该数据集所解决的领域挑战在于传统交互研究缺乏真实、细粒度的多模态行为数据，尤其是CAD与设计工作流中复杂工具操作的语义理解，而构建过程面临多重困难：首先，跨平台（Windows与macOS）采集需同步高帧率屏幕视频与键鼠事件，保证时间对齐精度；其次，187,838条注释需由专家逐帧标注动作意图与上下文，耗时且需保持一致性；此外，不同软件（如AutoCAD、Blender）操作模式差异大，标注体系需泛化；最后，存储与处理27.1M事件日志及高清视频对硬件与数据管理构成压力。

常用场景

经典使用场景

该数据集广泛应用于人机交互与计算机辅助设计领域的多模态行为理解研究。通过同步采集屏幕录制、鼠标键盘事件及语音旁白，研究者可借助这一资源训练能够自动感知和预测用户设计意图的智能代理。诸如动作识别、意图推理以及跨应用工作流建模等经典任务，均可在此数据集上展开深入探索，从而推动从低层级操作记录向高层级认知理解的转变。

实际应用

在工业界，该数据集可被用于开发面向CAD与设计软件的智能辅助工具。例如，通过训练模型学习设计师的操作模式，能够实现自动生成快捷键建议、预测下一步操作并提前加载资源，或基于意图识别提供上下文相关的设计模板推荐。此外，该数据还可赋能屏幕录制内容的高效检索与摘要生成，帮助团队快速回顾复杂的设计流程，提升迭代效率与协作质量。

衍生相关工作

围绕此数据集，学术界已衍生出若干经典工作。其中，基于事件序列的意图预测模型通过将鼠标和键盘事件视为时间序列，结合Transformer架构实现了对用户设计意图的实时推断；另一类工作聚焦于多模态对齐学习，探索如何将屏幕视觉特征与语音旁白、事件日志进行联合嵌入，以提升视频描述生成的质量。这些衍生研究进一步拓宽了行为理解与视觉语言融合的边界，推动了智能设计系统的迭代进化。