AmashaHw/sinhala_intent_commands_dataset

该数据集包含僧伽罗语自然语言命令变体，专为语音辅助智能阅读系统中的意图分类模型训练而设计，使用户能够使用灵活的僧伽罗语语音或文本命令与文档交互，支持以可访问性为重点的应用，如为视障用户提供辅助阅读。该数据集是研究项目“僧伽罗语OCR文本的智能分割和基于RAG的摘要与非线性的语音导航”的一部分，支持僧伽罗语语音命令理解、非线性文档导航、上下文感知内容检索和以可访问性为重点的智能阅读系统。language: 僧伽罗语 tags: 自然语言处理（Natural Language Processing，NLP） 意图分类（intent-classification） 僧伽罗语 语音命令（voice-commands） 可访问性（accessibility） license: Apache 2.0许可证 # 僧伽罗语意图命令数据集 ## 📌 概述 本数据集收录了适用于语音辅助智能阅读系统中意图分类模型训练的僧伽罗语自然语言命令变体。用户可通过灵活的僧伽罗语语音或文本指令与文档进行交互，本数据集可支撑视障用户辅助阅读等聚焦可访问性的应用场景。 ## 🎯 项目用途 本数据集是以下研究项目的成果： **"面向僧伽罗语光学字符识别（Optical Character Recognition，OCR）文本的智能分段与基于检索增强生成（Retrieval-Augmented Generation，RAG）的摘要生成及非线性语音导航系统"** 其可支持以下功能： * 僧伽罗语语音指令理解 * 非线性文档导航 * 上下文感知内容检索 * 聚焦可访问性的智能阅读系统 ## 📊 数据集结构 | 列名 | 描述 | | ------ | ------------------------ | | text | 僧伽罗语命令输入文本 | | intent | 对应意图标签 | ## 🧠 意图类别 本数据集包含多类意图类别，具体如下： **导航类** * NEXT * PREV * READ * REPEAT **基于结构的导航类** * SECTIONS * JUMP_SECTION * READ_SECTION **搜索类** * SEARCH **摘要生成类** * SUMMARIZE_SHORT * SUMMARIZE_MEDIUM * SUMMARIZE_LONG * SUMMARIZE_DOC_SHORT * SUMMARIZE_DOC_MEDIUM * SUMMARIZE_DOC_LONG **问答类** * ANSWER_CHUNK_SHORT * ANSWER_CHUNK_MEDIUM * ANSWER_CHUNK_LONG * ANSWER_DOC_SHORT * ANSWER_DOC_MEDIUM * ANSWER_DOC_LONG 每个意图类别均包含多条僧伽罗语同义表达，以提升模型的泛化能力。 ## 📈 数据集规模 * 总样本量：1245条 * 数据集分布均衡：每个意图类别约包含50条样本 ## ⚙️ 使用方法 ### Python 加载数据集 python import pandas as pd df = pd.read_csv("sinhala_intent_commands_dataset.csv") print(df.head()) ## 🧪 模型训练 本数据集被用于训练以下意图分类模型： * 基于字符n-gram（3~5阶）的词频-逆文档频率（Term Frequency-Inverse Document Frequency，TF-IDF）特征提取方法 * 线性支持向量分类器（LinearSVC） * 用于置信度估计的校准分类器 该训练方案可有效应对以下挑战： * 僧伽罗语语言变体 * 自动语音识别（Automatic Speech Recognition，ASR）噪声 * 短指令式输入 ## ⚠️ 局限性 * 未覆盖所有僧伽罗语方言与语言变体 * 仅包含类自动语音识别的变体样本，无法完全还原真实场景下的语音识别错误 * 由于基于光学字符识别（OCR）的预处理流程，可能存在少量噪声 * 仅支持指令式输入，而非完整的会话式语言 ## 🔮 未来改进方向 * 扩充数据集，加入真实语音转录的僧伽罗语数据 * 纳入更多方言变体 * 提升模型对自动语音识别错误的鲁棒性 * 扩展至会话式意图理解场景 ## 📜 许可证 本数据集采用**Apache 2.0许可证**进行发布。 ## 👤 作者 **Amasha Hewagama** 斯里兰卡信息科技学院（Sri Lanka Institute of Information Technology，SLIIT） ## 🔗 引用方式 若使用本数据集，请引用如下信息： 作者：Amasha Hewagama 数据集名称：Sinhala Intent Commands Dataset 发布年份：2026 ## 🙌 致谢 本数据集是数据科学方向本科生研究项目的成果，聚焦于基于僧伽罗语技术的可访问性服务与智能文档交互。