parsak/lima-tr

LIMA-tr数据集是halitefe/lima-tr数据集的清理版本，后者是原始GAIR/lima数据集的机器翻译土耳其语版本。该数据集修复了GPT翻译后的一些不一致性问题，如遗忘的指令、合并为一个字符串的对话以及测试分割中的额外输出垃圾。这是原始版本，包含作为字符串列表的对话，与原始数据集相同。该数据集的alpaca-style版本可通过parsak/lima-tr-alpacastyle访问。数据集由Parsa K.维护，语言为土耳其语，许可证为MIT。

原始信息汇总

数据集概述

数据集信息

• 名称: LIMA-tr
• 描述: 该数据集是halitefe/lima-tr的清理版本，后者是将原始GAIR/lima数据集机器翻译成土耳其语的版本。

数据集特征

• 特征名称: conversations
  • 类型: 字符串序列
• 特征名称: source
  • 类型: 字符串

数据集分割

• 训练集:
  • 示例数量: 1030
  • 字节数: 3103691
• 测试集:
  • 示例数量: 300
  • 字节数: 44185

数据集大小

• 下载大小: 1730712字节
• 数据集总大小: 3147876字节

数据文件配置

• 配置名称: default
• 训练集路径: data/train-*
• 测试集路径: data/test-*

维护者

• 维护者: Parsa K.

语言

• 语言: 土耳其语

许可证

• 许可证: MIT

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量的多语言对话数据集对于构建鲁棒的对话系统至关重要。parsak/lima-tr数据集的构建源于对原始英文数据集GAIR/lima的土耳其语机器翻译版本halitefe/lima-tr进行系统性清理与修复。针对GPT翻译过程中出现的指令遗漏、对话内容合并为单一字符串以及测试集中多余输出垃圾等不一致问题，该数据集通过人工校验与自动化清洗流程，恢复了对话原本的结构化列表形式，确保了每条对话记录的完整性与准确性。最终形成了包含1030条训练样本和300条测试样本的土耳其语对话数据集。

特点

该数据集最显著的特点在于其原始对话格式的保留，每条样本以字符串列表形式呈现多轮对话，忠实复现了原始LIMA数据集的设计理念。相较于常见的Alpaca风格指令数据集，parsak/lima-tr更强调对话上下文的连续性与自然性，为土耳其语对话系统的训练提供了纯净的交互样本。数据集规模虽小但质量精良，经过严格清洗后消除了机器翻译带来的结构性噪声，使得每条对话都能作为有效的训练范例，特别适用于小样本学习场景下的模型微调。

使用方法

使用该数据集时，研究人员可直接通过HuggingFace的datasets库加载默认配置，获取划分为训练集和测试集的样本。每条数据包含'conversations'字段（字符串列表）和'source'字段（来源标识）。对于需要Alpaca风格格式的应用场景，开发者可访问对应的parsak/lima-tr-alpacastyle版本。建议在对话生成任务中，将conversations列表中的交替语句作为输入-输出对进行序列化处理，或直接利用完整对话历史进行上下文感知的模型训练。数据集采用MIT开源协议，便于学术研究与商业应用。

背景与挑战

背景概述

在自然语言处理领域，高质量指令微调数据集对于提升大语言模型的对齐能力至关重要。LIMA（Less Is More for Alignment）数据集由Meta AI研究团队于2023年提出，其核心研究问题在于探索是否仅需少量精选数据即可实现卓越的指令遵循能力，挑战了传统大规模数据驱动的微调范式。该数据集最初包含1000个精心筛选的对话样本，在英文场景中展现了惊人的效果。parsak/lima-tr数据集由Parsa K.主导维护，基于halitefe/lima-tr的机器翻译版本进行深度清理，通过修正GPT翻译遗留的指令遗漏、对话合并错误及测试集冗余问题，构建了首个高质量土耳其语指令微调基准。该数据集遵循MIT协议开源，为低资源语言的大模型对齐研究提供了关键资源，推动了多语言指令微调领域的边界拓展。

当前挑战

该数据集面临的核心挑战体现在多个维度。在领域问题层面，土耳其语作为低资源语言，缺乏大规模、高质量且经过人工验证的指令微调数据，现有机器翻译版本存在语义失真与上下文连贯性不足的问题，直接影响模型在土耳其语场景下的指令理解与生成能力。在构建过程中，主要挑战包括：1）机器翻译引入的噪声清理，需精准识别并修复指令遗漏、对话合并异常等系统性错误；2）测试集污染问题，原始机器翻译版本存在冗余输出，需通过严格的数据清洗流程恢复数据纯净度；3）样本规模限制，仅1030条训练样本与300条测试样本，在保证多样性的同时需平衡数据质量与数量，避免过拟合风险。这些挑战共同制约着土耳其语大语言模型对齐能力的有效提升。

常用场景

经典使用场景

在自然语言处理领域，LIMA-tr数据集作为GAIR/lima的土耳其语翻译版本，其经典使用场景聚焦于低资源语言下的大语言模型微调与指令遵循能力评估。该数据集包含1030条训练样本和300条测试样本，每条样本以多轮对话形式呈现，覆盖了从日常问答到复杂推理的多样化指令。研究者常利用其简洁而高质量的结构，探究在数据量有限的情况下，模型如何通过少量精心挑选的对话实例习得指令遵循能力，尤其适用于跨语言迁移学习与多语言模型对齐研究。

实际应用

在实际应用中，LIMA-tr为土耳其语智能助手、客服系统及教育工具的开发提供了基础训练资源。开发者可基于该数据集微调开源大模型，使其能够以土耳其语准确响应用户指令，例如完成文本摘要、信息检索或创意写作等任务。此外，其清洗后的对话结构可直接用于构建低资源语言的对话系统原型，加速本地化AI产品的落地，尤其适用于缺乏商业级土耳其语NLP资源的初创企业与学术机构。

衍生相关工作

LIMA-tr衍生了一系列经典工作，包括其Alpaca风格版本（parsak/lima-tr-alpacastyle），该版本将原始对话转换为指令-响应对，便于与主流微调框架（如Stanford Alpaca）兼容。此外，研究者常将其与原始LIMA数据集对照，分析机器翻译噪声对模型性能的影响，并催生了针对土耳其语的数据增强与质量评估方法。这些工作共同推动了多语言指令微调数据集的标准化建设，为后续诸如土耳其语版ShareGPT等更大规模数据集的出现奠定了基础。