lt-ui-vlm
收藏资源简介：
LT UI VLM 是一个用于将小型视觉语言模型适应立陶宛语用户界面和视觉指令理解的小型教育数据集。它包含立陶宛语公共网站和用户界面的截图，每张截图均配有立陶宛语的字幕描述以及问答标注。数据规模小于1000个样本，采用结构化组织，包含训练集和验证集，每个集合由图像文件夹和JSON Lines格式的元数据文件组成。元数据每条记录对应一个样本，包括图像文件名、立陶宛语问题和答案。标注模式为每图像一行字幕描述主要内容，以及2-4行关于界面导航、可见文本、UI元素或预期用户操作的问答对。该数据集专为立陶宛语视觉语言模型的适应而设计，适用于立陶宛语用户界面截图字幕生成、立陶宛语Web界面视觉问答、从用户界面截图预测用户行为等任务，并可用于基于LoRA的小型开源视觉语言模型微调教学实验。注意：数据集规模较小，仅用于实验目的，不代表所有立陶宛语用户界面，且仅包含公开页面或空表单，避免涉及私人或敏感信息。
LT UI VLM is a small educational dataset for adapting small vision-language models to Lithuanian user interfaces and visual instruction understanding. It contains screenshots of Lithuanian public websites and user interfaces, each accompanied by Lithuanian caption descriptions and Q&A annotations. The dataset size is less than 1000 samples, structured with training and validation sets, each consisting of an image folder and metadata files in JSON Lines format. Each metadata record corresponds to a training sample and includes the image filename, Lithuanian question, and answer. Annotations follow a specific pattern: each image should include one line describing the main content of the image as a caption, and 2-4 lines of Q&A pairs about interface navigation, visible text, UI elements, or expected user actions. The dataset is designed for adapting vision-language models to Lithuanian, suitable for tasks such as Lithuanian UI screenshot caption generation, Lithuanian web interface visual question answering, and predicting user behavior from UI screenshots, and can be used for teaching experiments in fine-tuning small open-source vision-language models based on LoRA. Note: The dataset is small-scale, intended only for experimental purposes, does not represent all Lithuanian user interfaces, and includes only public pages or empty forms to avoid private or sensitive information.
数据集概述：LT UI VLM
LT UI VLM 是一个小型教育数据集，旨在帮助将小型视觉语言模型适配到立陶宛语用户界面和视觉指令理解任务中。
数据集结构与内容
-
数据组成：包含立陶宛公共网站和界面的截图，以及对应的立陶宛语描述和问答标注。
-
目录结构：
lt-ui-vlm/ README.md train/ images/ # 图像文件，例如 example_001.jpg metadata.jsonl # 训练样本元数据 validation/ # 验证集
-
数据格式：每行 JSON 格式的元数据代表一个训练样本，同一张图像可对应多个不同问题。示例： json {"file_name":"images/example_001.jpg","question":"Ką vartotojas turėtų paspausti norėdamas prisijungti?","answer":"Vartotojas turėtų paspausti prisijungimo mygtuką viršutiniame dešiniajame kampe."}
标注指南
- 每张图像推荐标注模式：1 条描述主内容的标注 + 2~4 条关于导航、可见文本、UI 元素或用户操作的问答。
- 标注语言均为立陶宛语，旨在适配立陶宛语视觉语言模型。
预期用途
- 立陶宛语 UI 截图描述。
- 针对立陶宛网页界面的视觉问答。
- 从立陶宛 UI 截图中预测用户操作。
- 用于小型视觉语言模型的教育性 LoRA 微调实验。
限制说明
- 数据集规模小，不能代表所有立陶宛用户界面。
- 仅供实验使用，不适合生产环境。
- 仅包含公共页面或空白表单，不含隐私或敏感信息。
