Liticx/visually-impaired-llm-assistance-dataset

该数据集包含约45k个样本，涵盖了日常任务和活动的逐步指导，特别为视力受损者设计。数据集旨在帮助训练机器学习模型或支持其他帮助视力受损社区的项目，涵盖了从家务到社交活动、健身等多个生活场景。

原始信息汇总

Visually Impaired Assistance Dataset 概述

数据集基本信息

• 名称: Visually Impaired Assistance Dataset
• 语言: 英语 (en)
• 类别: 合成数据集, LLM数据集, 指令数据集
• 大小: 10K<n<100K
• 许可证: Creative Commons Attribution 4.0 International License (cc-by-4.0)

数据集描述

• 目的: 用于微调LLM，帮助视力不佳的人在日常生活中。
• 内容: 包含近45k样本，提供各种日常任务和活动的非视觉提示的逐步指导。
• 应用: 适用于开发面向视力障碍者的应用和工具，训练理解生成教学内容的机器学习模型，以及改进现有的无障碍解决方案。

数据结构

• 文件格式: .parquet
• 数据结构: 包含系统提示、用户请求和助手响应的JSON格式消息。

使用模型

• 生成模型: GPT-4o

未来发展

• 计划扩展更多上下文类别。
• 可能增加更高质量、详细和具体的指导。
• 考虑从视力障碍用户和专家处获取反馈。
• 可能与其他无障碍工具和平台集成。

引用信息

• 引用格式:

@misc{liticx2024visuallyimpaired, author = {liticx}, title = {Visually Impaired Assistance Dataset}, year = {2024}, publisher = {Hugging Face}, howpublished = {url{https://huggingface.co/datasets/Liticx/visually-impaired-llm-assistance-dataset}} }

搜集汇总

数据集介绍

构建方式

在辅助技术领域，为视障群体开发智能助手需高质量指令数据。本数据集通过GPT-4o模型合成生成，构建过程聚焦于模拟日常场景中的非视觉交互。设计者系统性地涵盖了家务、社交、健身等多维生活情境，生成了近4.5万条结构化指令样本，每条数据均以系统提示、用户请求与助手回复的三段式对话格式呈现，确保了指令的连贯性与实用性。

特点

该数据集的核心特点在于其高度情境化与无障碍设计导向。样本内容专门针对视障人士需求，强调步骤分解与非视觉线索的融合，如触觉、听觉指引的文本化描述。数据覆盖范围广泛，从基础生活操作到复杂社会活动，体现了任务多样性。采用Creative Commons Attribution 4.0许可协议，促进了开源社区在可访问性研究中的协作与应用拓展。

使用方法

使用本数据集时，研究者可通过加载Parquet格式文件直接获取对话结构数据。其典型应用包括微调大型语言模型以生成无障碍指令，或集成至辅助应用程序增强交互功能。数据中的角色标注字段便于适配监督式训练框架，开发者可依据具体场景提取用户查询与助手响应对，优化模型对非视觉语境的理解与生成能力，推动包容性人工智能解决方案的落地。

背景与挑战

背景概述

在人工智能辅助无障碍技术领域，针对视障群体的日常任务指导需求日益凸显。2024年，研究人员liticx构建了Visually Impaired Assistance Dataset，旨在为大语言模型微调提供专门数据支持。该数据集聚焦于为视障人士提供涵盖家务、社交、健身等多场景的非视觉化分步指令，其核心研究问题在于如何通过高质量合成数据提升模型在复杂生活情境中的辅助能力。该资源的出现，为开发更具包容性的人工智能应用奠定了重要基础，推动了辅助技术向精细化、个性化方向发展。

当前挑战

该数据集致力于解决视障人士日常活动辅助的复杂问题，其核心挑战在于如何确保指令的普适性、准确性与安全性，以应对现实场景中的动态变化与个体差异。在构建过程中，挑战主要源于合成数据的真实性与多样性保障，需平衡生成模型的创造力与对特殊需求的精准把握；同时，数据覆盖范围的全面性与深度亦需持续优化，以弥合模拟情境与实际应用之间的鸿沟。

常用场景

经典使用场景

在辅助技术领域，该数据集为训练大型语言模型提供了关键资源，使其能够生成针对视障人士日常活动的非视觉引导指令。通过涵盖家务、社交、健身等多类场景，数据集支持模型学习如何将复杂任务分解为清晰、可操作的步骤，从而模拟真实世界中的辅助交互过程。这种应用不仅提升了模型在特定领域的指令遵循能力，也为开发更智能的辅助工具奠定了数据基础。

实际应用

在实际应用中，该数据集可被集成到移动应用、智能设备或语音助手中，为视障用户提供实时任务指导。例如，在烹饪、出行或使用家用电器时，系统能基于用户查询生成步骤化说明，替代视觉提示。这种技术增强了用户的独立生活能力，降低了日常活动的依赖门槛，同时为开发者提供了构建无障碍解决方案的可靠数据源，助力社会服务的数字化转型。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，包括基于指令微调的语言模型适配、多模态辅助系统的开发，以及无障碍交互界面的优化。这些工作进一步扩展了数据集的用途，例如将其与传感器数据结合以实现环境感知，或探索跨语言指令生成以服务更广泛的群体。相关成果不仅丰富了辅助技术的研究图谱，也为后续数据集的迭代与标准化提供了参考框架。