sample-100-hours

Markov样本数据集是一个包含100小时屏幕录制视频的集合，附带结构化标注，涵盖编码、设计、生产力工具和通用计算机使用等多种工作流程。每个会话包含四个文件：1) clip.mp4屏幕录制视频；2) events.json原始鼠标/键盘/应用事件记录(JSONL格式)；3) metadata.json会话元数据(包括类别、标题、时长和标签)；4) narration.json结构化标注(包含每个片段的操作、意图和应用信息)。数据集共包含184个会话，总时长100.2小时。会话时长中位数为25.9分钟(P25=17.2分钟，P75=42.8分钟)。类别分布为：生产力工具(32.6%)、设计(28.8%)、通用(22.3%)和编码(16.3%)。应用使用统计显示Google Chrome(24.4%)、Figma(15.6%)和Adobe系列工具(合计约18%)为主要应用。该数据集适用于人机交互研究、用户行为分析和自动化工作流程开发等场景。

原始信息汇总

Markov Sample Dataset — 100 Hours 数据集概述

数据集简介

这是一个包含100小时屏幕录像的样本数据集，附带结构化标注，涵盖编码、设计、生产力和通用计算机使用工作流。

数据内容

每个会话包含以下文件：

• clip.mp4 — 屏幕录像
• events.json — 原始鼠标/键盘/应用事件（JSONL格式）
• metadata.json — 会话元数据（类别、标题、时长、标签）
• narration.json — 结构化标注，包含每个片段的动作、意图和应用信息

数据集统计

总体规模

• 会话总数：184个
• 总时长：100.2小时

会话时长分布

百分位数	时长
P25	17.2分钟
中位数（P50）	25.9分钟
P75	42.8分钟
P90	54.6分钟

• 最短时长：10.0分钟
• 最长时间：140.1分钟

类别分布

类别	会话数	占比
Productivity（生产力）	60	32.6%
Design（设计）	53	28.8%
General（通用）	41	22.3%
Coding（编码）	30	16.3%

应用分布（主要应用）

应用	占比
Google Chrome	24.4%
Figma	15.6%
Adobe Illustrator	9.1%
Adobe After Effects	6.4%
Visual Studio Code	5.7%
Microsoft Word	5.2%
AI Apps	4.3%
Brave Browser	4.2%
Adobe Premiere Pro	2.4%
Pages	2.3%
Make	2.1%
Opera GX	1.9%
Comet	1.7%
Antigravity	1.5%
Preview	1.5%

搜集汇总

数据集介绍

构建方式

在数字行为分析领域，Markov Sample Dataset — 100 Hours 的构建采用了系统化的屏幕录制与结构化标注方法。数据集通过采集184个独立会话，总计100.2小时的屏幕活动记录，涵盖编程、设计、生产力及通用计算机操作等多种工作流程。每个会话均包含视频片段、原始鼠标键盘事件、元数据以及带有动作、意图和应用信息的结构化叙述，确保了数据的多维性与完整性。

特点

该数据集以其丰富的类别分布与精细的标注体系脱颖而出。会话时长从10分钟到140分钟不等，中位数为25.9分钟，体现了真实工作场景的时间多样性。类别上，生产力占32.6%，设计占28.8%，通用操作占22.3%，编程占16.3%，同时应用分布覆盖了Google Chrome、Figma、Visual Studio Code等主流工具，为分析用户交互模式提供了广泛覆盖。

使用方法

研究人员可利用该数据集进行人机交互、行为建模或自动化流程研究。通过解析events.json中的原始事件与narration.json中的结构化标注，能够重建用户操作序列并推断行为意图。结合metadata.json的类别与标签信息，可开展跨领域比较分析，例如探索不同应用下的效率模式或设计特定工作流的辅助工具。

背景与挑战

背景概述

随着人机交互与智能计算领域的深入发展，理解用户在计算机屏幕前的行为模式成为提升用户体验与自动化效率的关键。Markov Sample Dataset — 100 Hours 应运而生，由相关研究团队构建，旨在通过大规模、多类别的屏幕录制数据，捕捉真实工作流中的复杂交互序列。该数据集聚焦于编码、设计、生产力及通用计算机使用场景，以结构化标注记录动作、意图与应用信息，为行为分析、意图识别及自动化工具开发提供了宝贵资源，推动了人机协同智能系统的实证研究。

当前挑战

该数据集致力于解决计算机使用行为理解与自动化任务中的核心挑战，即如何从高维、时序性的屏幕交互数据中准确解析用户意图与动作逻辑。构建过程中面临多重困难：需在自然工作环境中采集大量屏幕录制，同时确保数据隐私与伦理合规；标注过程要求对多样化应用场景中的细微动作进行精细划分，涉及跨领域知识整合；此外，原始事件数据的噪声过滤与多模态对齐（如视频、事件流与标注的同步）也增加了数据处理的复杂度。

常用场景

经典使用场景

在计算机交互与行为分析领域，screen-100-hours数据集为研究人机交互模式提供了宝贵的实证基础。该数据集通过捕捉用户在编程、设计、生产力和通用计算机操作中的屏幕录制与结构化标注，能够支持机器学习模型对用户意图和动作序列的识别与预测。研究人员常利用其丰富的事件日志和叙事标注，训练模型以理解复杂的工作流，从而优化自动化辅助系统的设计。

衍生相关工作

围绕该数据集，学术界衍生出多项经典研究工作，主要集中在行为克隆、意图识别和工作流分析等领域。研究者利用其结构化标注开发了先进的序列模型，用于模拟用户操作并生成自动化脚本。同时，这些工作也促进了跨应用交互模式的比较研究，为构建通用型人机协作框架奠定了数据基础，进一步推动了智能计算界面的创新。

数据集最近研究

最新研究方向

在数字行为分析与人机交互领域，screen recording数据集正成为理解用户意图与工作流模式的关键资源。sample-100-hours数据集凭借其涵盖编码、设计、生产力等多场景的100小时结构化标注，为研究智能助手与自动化工具的开发提供了丰富素材。当前前沿方向聚焦于利用此类数据训练多模态模型，以识别复杂任务中的用户行为序列，并预测其潜在需求，尤其在AI辅助创作与个性化工作流优化中展现出重要价值。该数据集与生成式AI应用的热潮紧密相连，推动着交互式系统向更自然、更高效的方向演进，对提升数字工作效率具有深远意义。