xDAN-Vision/Websight_Mantis_Data

该数据集可能是一个多模态数据集，包含图像和对话数据。每个样本包含一个唯一的ID、图像数据（以二进制格式存储）、图像路径、对话内容（包括角色和内容）以及数据来源。数据集被分为多个配置（config），每个配置包含训练集，训练集的大小和样本数量也有所不同。

This dataset is likely a multimodal dataset containing images and conversational data. Each sample includes a unique ID, image data (stored in binary format), image path, conversation content (including roles and content), and data source. The dataset is divided into multiple configurations (configs), each containing a training set with varying sizes and numbers of samples.

原始信息汇总

数据集概述

数据集配置

配置 train0

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19637417字节，46908个样本
• 下载大小: 7740889字节
• 数据集大小: 19637417字节

配置 train1

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19677654字节，46908个样本
• 下载大小: 7748598字节
• 数据集大小: 19677654字节

配置 train10

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19769851字节，46891个样本
• 下载大小: 7758897字节
• 数据集大小: 19769851字节

配置 train11

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19805362字节，46890个样本
• 下载大小: 7766616字节
• 数据集大小: 19805362字节

配置 train12

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19806098字节，46890个样本
• 下载大小: 7760985字节
• 数据集大小: 19806098字节

配置 train13

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19835653字节，46890个样本
• 下载大小: 7758942字节
• 数据集大小: 19835653字节

配置 train14

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19764487字节，46890个样本
• 下载大小: 7749094字节
• 数据集大小: 19764487字节

配置 train15

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19771610字节，46890个样本
• 下载大小: 7728137字节
• 数据集大小: 19771610字节

配置 train16

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19743140字节，46890个样本
• 下载大小: 7736271字节
• 数据集大小: 19743140字节

配置 train17

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19852859字节，46890个样本
• 下载大小: 7768360字节
• 数据集大小: 19852859字节

配置 train18

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19769498字节，46890个样本
• 下载大小: 7727809字节
• 数据集大小: 19769498字节

配置 train19

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19783931字节，46890个样本
• 下载大小: 7736612字节
• 数据集大小: 19783931字节

配置 train2

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19684539字节，46908个样本
• 下载大小: 7770000字节
• 数据集大小: 19684539字节

配置 train20

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19759826字节，46890个样本
• 下载大小: 7742268字节
• 数据集大小: 19759826字节

配置 train21

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19799992字节，46890个样本
• 下载大小: 7747632字节
• 数据集大小: 19799992字节

配置 train22

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19781986字节，46890个样本
• 下载大小: 7741863字节
• 数据集大小: 19781986字节

配置 train23

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19807057字节，46890个样本
• 下载大小: 7778138字节
• 数据集大小: 19807057字节

配置 train24

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19790999字节，46890个样本
• 下载大小: 7745936字节
• 数据集大小: 19790999字节

配置 train25

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19715767字节，46890个样本
• 下载大小: 7722343字节
• 数据集大小: 19715767字节

配置 train26

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19779524字节，46890个样本
• 下载大小: 7757799字节
• 数据集大小: 19779524字节

配置 train27

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19771167字节，46890个样本
• 下载大小: 7757283字节
• 数据集大小: 19771167字节

配置 train28

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19795056字节，46890个样本
• 下载大小: 7748213字节
• 数据集大小: 19795056字节

配置 train29

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19749596字节，46890个样本
• 下载大小: 7737005字节
• 数据集大小: 19749596字节

配置 train30

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19722362字节，46890个样本
• 下载大小: 7715138字节
• 数据集大小: 19722362字节

配置 train31

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19755632字节，46890个样本
• 下载大小: 7737756字节
• 数据集大小: 19755632字节

配置 train32

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19842121字节，46890个样本
• 下载大小: 7778126字节
• 数据集大小: 19842121字节

配置 train33

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19799434字节，46890个样本
• 下载大小: 7747569字节
• 数据集大小: 19799434字节

配置 train34

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19810307字节，46890个样本
• 下载大小: 7753244字节
• 数据集大小: 19810307字节

配置 train35

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19761257字节，46890个样本
• 下载大小: 7737011字节
• 数据集大小: 19761257字节

配置 train36

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含19802270字节，46890个样本
• 下载大小: 7754437字节
• 数据集大小: 19802270字节

配置 train37

• 特征:
  • id: 类型为字符串
  • images: 包含二进制数据和路径字符串
  • conversation: 包含角色和内容字符串
  • source: 类型为字符串
• 分割:
  • train: 包含15131503字节，4

搜集汇总

数据集介绍

构建方式

在视觉语言模型与网页前端代码生成交叉领域，该数据集通过将网页截图与对应HTML/CSS代码的对话形式进行配对构建。具体而言，数据集涵盖了从零到三十九的四十个训练子集（train0至train39），每个子集均包含约四万六千九百条样本。每条样本由唯一标识符、网页截图图像（以二进制字节和路径形式存储）、多轮对话记录（包含角色与内容字段）以及数据来源标签组成。这种结构化的多轮对话设计，使得模型能够学习从视觉输入到代码输出的映射关系。

特点

该数据集的核心特点在于其大规模的网页截图与代码对话配对数据，总量接近一百八十八万条样本，为训练视觉语言模型提供了丰富素材。每个子集的数据量均衡，约在46.8MB至19.8MB之间，确保了训练分布的稳定性。对话记录采用角色-内容对的形式，模拟了人机交互的自然流程，有助于模型理解上下文指令。此外，数据来源字段的引入，为追踪数据溯源和评估数据多样性提供了便利，增强了数据集的实用价值。

使用方法

使用该数据集时，可通过HuggingFace Datasets库按配置名称加载特定子集，例如使用'train0'配置加载第一批训练数据。每条样本中的图像数据以二进制格式存储，便于直接解码为可视化图像，而对话内容则可用于构建指令微调任务。研究者可将图像作为输入，对话中的用户角色内容作为指令，助手角色内容作为目标输出，从而训练模型生成对应的网页代码。数据集的Apache-2.0许可协议，允许广泛的学术与商业应用。

背景与挑战

背景概述

在视觉与语言交叉融合的研究浪潮中，多模态大语言模型的发展迫切需要高质量、多样化的训练数据。xDAN-Vision/Websight_Mantis_Data数据集由xDAN-Vision团队精心构建，旨在为多模态对话系统提供丰富的网页截图与自然语言交互样本。该数据集包含数十万对网页图像及其对应的多轮对话记录，覆盖了从简单信息检索到复杂任务引导的广泛场景，为模型理解视觉布局与语言语义的映射关系奠定了坚实基础。其发布时间虽未明确，但作为开源社区的重要贡献，该数据集已吸引众多研究者的关注，成为评估和提升多模态模型在视觉对话能力上的关键资源，推动着人机交互智能化进程的加速演进。

当前挑战

该数据集所应对的核心挑战在于，现有模型在处理包含复杂视觉布局的网页截图时，往往难以精准理解元素间的空间关系与功能语义，导致对话生成缺乏上下文连贯性。构建过程中，数据收集需从海量网页中筛选出具有代表性和多样性的截图，并确保每张图像与对话内容严格对齐，这对自动标注与人工审核流程提出了极高要求。此外，多轮对话的标注需避免歧义与冗余，以维持自然流畅的交互逻辑，同时控制数据规模与存储开销之间的平衡，这些技术难点共同构成了该数据集研发与持续迭代的严峻考验。

常用场景

经典使用场景

在视觉语言模型（VLM）蓬勃发展的当下，Websight_Mantis_Data作为一项大规模、多模态的网页截图与对话数据集，其核心经典用途在于训练模型理解并生成与网页界面相关的自然语言指令。该数据集包含海量的网页截图及其对应的多轮人机对话，使得模型能够学习从视觉元素（如按钮、文本块、布局结构）中提取语义信息，并据此执行诸如元素定位、功能描述乃至操作序列生成等任务，为构建具备网页交互能力的智能代理奠定了坚实的数据基础。

解决学术问题

该数据集精准地回应了学术界长期面临的“视觉-语言对齐”与“细粒度指令跟随”两大难题。传统模型往往难以将抽象的文本指令（如“点击页面右上角的登录按钮”）精准映射到复杂的二维视觉布局上。Websight_Mantis_Data通过提供图文高度对齐的对话样本，为研究视觉 grounding、多模态上下文推理以及结构化输出生成提供了关键资源，显著推动了从静态图像理解向动态交互式智能的范式演进。

衍生相关工作

围绕Websight_Mantis_Data衍生出的经典工作主要聚焦于多模态大语言模型的微调与评估。例如，研究者基于此数据集开发了专门针对网页理解的指令微调框架，显著提升了开源模型在ScreenSpot、WebSRC等基准上的表现。同时，该数据集也启发了诸如“视觉对话代理”和“网页导航智能体”等方向的探索，其中代表性工作包括利用其对话结构训练模型进行端到端的网页任务规划，以及构建跨领域、跨语言的网页理解评估基准，进一步推动了人机交互智能的边界。