changpt/ko-lima-vicuna

---
license: cc-by-2.0
task_categories:
- text-generation
language:
- ko
size_categories:
- n<1K
pretty_name: KoLima(vicuna)
tags:
- KoLima
---

# Ko Lima Vicuna Dataset

GPT4 API를 사용하여 [lima_vicuna_format 데이터](https://huggingface.co/datasets/64bits/lima_vicuna_format)를 한국어로 재생성한 데이터셋입니다.
GPT4 사용시 프롬프트는 "단순 번역이 아닌, 원문 내용을 참조하여 데이터를 재생성하라"는 내용으로 작성하였습니다.
원본 데이터셋 1,030건 중 866건의 데이터가 재생성되었습니다.

*데이터셋 제작은 웹 크롤링 전문 기업, **[해시스크래퍼(HASHSCRAPER)](https://www.hashscraper.com/)** 에서 진행되었습니다.*

*This is the lima_vicuna_format data regenerated into Korean using the GPT4 API.*
*When using GPT4, the prompt was written to read "Regenerate the data by referring to the original content, not just a simple translation".*
*Out of the 1,030 original datasets, 866 data points were regenerated.*

*The dataset was created by [HASHSCRAPER](https://www.hashscraper.com/), a company specializing in web scraping.*

---

# How to use

```python
>>> from datasets import load_dataset

>>> data = load_dataset("changpt/ko-lima-vicuna", data_files="ko_lima_vicuna.json", split="train")

>>> data
Dataset({
features: ['id', 'conversations'],
num_rows: 866
})
```

```python
>>> data[0]
{'id': '7-stackexchange',
'conversations': [{'from': 'human',
'value': '나는 ```ffmpeg```로 비디오를 GIF 파일로 변환하고 있어:\n```ffmpeg \\\n -i input.flv \\\n -ss 00:00:00.000 \\\n -pix_fmt rgb24 \\\n -r 10 \\\n -s 320x240 \\\n -t 00:00:10.000 \\\n output.gif\n```\n잘 작동하는데, 출력된 gif 파일의 품질이 너무 낮아. 변환된 gif의 품질을 어떻게 개선할 수 있을까?'},
{'from': 'gpt',
'value': '중간 이미지 파일을 피하고 싶다면, LordNeckBeard가 제공한 명령어를 ```ffmpeg```와 ImageMagick의 ```convert``` 사이에 파이프로 연결할 수 있습니다. 이렇게 하면 중간 파일이 필요하지 않습니다:\n```ffmpeg -i input.flv -vf scale=320:-1 -r 10 -f image2pipe -vcodec ppm - | convert -delay 10 -loop 0 - output.gif\n```\n```-f image2pipe```는 ffmpeg에게 비디오를 이미지로 분할하고 파이프 출력에 적합하게 만들라고 지시하며, ```-vcodec ppm```은 출력 형식을 ppm으로 지정합니다(png 형식인 경우, ```convert```가 파이프에서 모든 이미지를 읽지 않거나 ffmpeg가 모두 출력하지 않는 것 같습니다). 두 명령어의 ```-```는 각각 출력과 입력에 파이프를 사용하도록 지정합니다.\n파일을 저장하지 않고 결과를 최적화하려면, ```convert```의 출력을 두 번째 ```convert``` 명령어로 파이프할 수 있습니다:\n```ffmpeg -i input.flv -vf scale=320:-1 -r 10 -f image2pipe -vcodec ppm - | convert -delay 10 -loop 0 - gif:- | convert -layers Optimize - output.gif\n```\n```gif:-```는 ```convert```에게 출력을 gif 형식의 데이터로 파이프하도록 지시하고, ```-layers Optimize```는 두 번째 ```convert```에게 ```optimize-frame``` 및 ```optimize-transparancy``` 방법을 수행하도록 지시합니다(ImageMagick 애니메이션 최적화 소개 참조). ```-layers Optimize```의 출력이 항상 더 작은 파일 크기를 제공하지는 않으므로, 먼저 최적화 없이 gif로 변환해 보는 것이 좋습니다.\n이 과정에서 모든 것이 메모리에 있으므로 이미지가 매우 큰 경우 충분한 메모리가 필요할 수 있습니다.'}]}
```

---

# License

[CC BY 2.0 KR](https://creativecommons.org/licenses/by/2.0/kr/)

[Open AI](https://openai.com/policies/terms-of-use)

许可证：CC BY 2.0
任务类别：文本生成
语言：韩语
数据规模：样本量少于1000
展示名称：KoLima(vicuna)
标签：KoLima

# KoLima(vicuna) 数据集
本数据集基于GPT-4 API，将[lima_vicuna_format格式数据集](https://huggingface.co/datasets/64bits/lima_vicuna_format)重新生成为韩语版本。调用GPT-4 API时，所用提示词设定为"请勿仅执行简单翻译，需参考原文内容重新生成数据"。原始数据集共包含1030条样本，最终成功生成866条有效数据。
*本数据集由专业网络爬虫企业**HASHSCRAPER（해시스크래퍼）**（https://www.hashscraper.com/）承接制作。*

## 使用方法
python
>>> from datasets import load_dataset

>>> data = load_dataset("changpt/ko-lima-vicuna", data_files="ko_lima_vicuna.json", split="train")

>>> data
Dataset({
features: ['id', 'conversations'],
num_rows: 866
})

python
>>> data[0]
{'id': '7-stackexchange',
'conversations': [{'from': 'human',
'value': '나는 ffmpeg로 비디오를 GIF 파일로 변환하고 있어:
ffmpeg \
-i input.flv \
-ss 00:00:00.000 \
-pix_fmt rgb24 \
-r 10 \
-s 320x240 \
-t 00:00:10.000 \
output.gif

잘 작동하는데, 출력된 gif 파일의 품질이 너무 낮아. 변환된 gif의 품질을 어떻게 개선할 수 있을까?'},
{'from': 'gpt',
'value': '중간 이미지 파일을 피하고 싶다면, LordNeckBeard가 제공한 명령어를 ffmpeg와 ImageMagick의 convert 사이에 파이프로 연결할 수 있습니다. 이렇게 하면 중간 파일이 필요하지 않습니다:
ffmpeg -i input.flv -vf scale=320:-1 -r 10 -f image2pipe -vcodec ppm - | convert -delay 10 -loop 0 - output.gif

-f image2pipe는 ffmpeg에게 비디오를 이미지로 분할하고 파이프 출력에 적합하게 만들라고 지시하며, -vcodec ppm은 출력 형식을 ppm으로 지정합니다(png 형식인 경우, convert가 파이프에서 모든 이미지를 읽지 않거나 ffmpeg가 모두 출력하지 않는 것 같습니다). 두 명령어의 -는 각각 출력과 입력에 파이프를 사용하도록 지정합니다.
파일을 저장하지 않고 결과를 최적화하려면, convert의 출력을 두 번째 convert 명령어로 파이프할 수 있습니다:
ffmpeg -i input.flv -vf scale=320:-1 -r 10 -f image2pipe -vcodec ppm - | convert -delay 10 -loop 0 - gif:- | convert -layers Optimize - output.gif

gif:-는 convert에게 출력을 gif 형식의 데이터로 파이프하도록 지시하고, -layers Optimize는 두 번째 convert에게 optimize-frame 및 optimize-transparancy 방법을 수행하도록 지시합니다(ImageMagick 애니메이션 최적화 소개 참조). -layers Optimize의 출력이 항상 더 작은 파일 크기를 제공하지는 않으므로, 먼저 최적화 없이 gif로 변환해 보는 것이 좋습니다.
이 과정에서 모든 것이 메모리에 있으므로 이미지가 매우 큰 경우 충분한 메모리가 필요할 수 있습니다.'}]}

## 许可证
[CC BY 2.0 KR（知识共享署名2.0韩国版）](https://creativecommons.org/licenses/by/2.0/kr/)
[OpenAI](https://openai.com/policies/terms-of-use)

原始信息汇总

Ko Lima Vicuna Dataset

概述

• 数据集名称: Ko Lima Vicuna Dataset
• 许可证: CC BY 2.0
• 任务类别: 文本生成
• 语言: 韩语
• 数据规模: n<1K
• 别名: KoLima(vicuna)
• 标签: KoLima

数据集描述

• 该数据集是通过使用GPT4 API将lima_vicuna_format 数据重新生成为韩语而创建的。
• GPT4使用时的提示是“不仅仅是简单翻译，而是参考原文内容重新生成数据”。
• 原数据集包含1,030条数据，其中866条数据被重新生成。

数据集结构

• 特征: [id, conversations]
• 行数: 866

使用方法

python from datasets import load_dataset

data = load_dataset("changpt/ko-lima-vicuna", data_files="ko_lima_vicuna.json", split="train")

data Dataset({ features: [id, conversations], num_rows: 866 })

示例数据

python data[0] {id: 7-stackexchange, conversations: [{from: human, value: 나는 ffmpeg로 비디오를 GIF 파일로 변환하고 있어: ffmpeg
-i input.flv
-ss 00:00:00.000
-pix_fmt rgb24
-r 10
-s 320x240
-t 00:00:10.000
output.gif

잘 작동하는데, 출력된 gif 파일의 품질이 너무 낮아. 변환된 gif의 품질을 어떻게 개선할 수 있을까?}, {from: gpt, value: 중간 이미지 파일을 피하고 싶다면, LordNeckBeard가 제공한 명령어를 ffmpeg와 ImageMagick의 convert 사이에 파이프로 연결할 수 있습니다. 이렇게 하면 중간 파일이 필요하지 않습니다: ffmpeg -i input.flv -vf scale=320:-1 -r 10 -f image2pipe -vcodec ppm - | convert -delay 10 -loop 0 - output.gif

-f image2pipe는 ffmpeg에게 비디오를 이미지로 분할하고 파이프 출력에 적합하게 만들라고 지시하며, -vcodec ppm은 출력 형식을 ppm으로 지정합니다(png 형식인 경우, convert가 파이프에서 모든 이미지를 읽지 않거나 ffmpeg가 모두 출력하지 않는 것 같습니다). 두 명령어의 -는 각각 출력과 입력에 파이프를 사용하도록 지정합니다. 파일을 저장하지 않고 결과를 최적화하려면, convert의 출력을 두 번째 convert 명령어로 파이프할 수 있습니다: ffmpeg -i input.flv -vf scale=320:-1 -r 10 -f image2pipe -vcodec ppm - | convert -delay 10 -loop 0 - gif:- | convert -layers Optimize - output.gif

gif:-는 convert에게 출력을 gif 형식의 데이터로 파이프하도록 지시하고, -layers Optimize는 두 번째 convert에게 optimize-frame 및 optimize-transparancy 방법을 수행하도록 지시합니다(ImageMagick 애니메이션 최적화 소개 참조). -layers Optimize의 출력이 항상 더 작은 파일 크기를 제공하지는 않으므로, 먼저 최적화 없이 gif로 변환해 보는 것이 좋습니다. 이 과정에서 모든 것이 메모리에 있으므로 이미지가 매우 큰 경우 충분한 메모리가 필요할 수 있습니다.}]}

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量的多语言指令遵循数据集对于提升大语言模型的泛化能力至关重要。KoLima Vicuna数据集正是基于这一需求，由专业网络爬虫企业HashScraper利用GPT-4 API对原始的lima_vicuna_format数据集进行韩语再生构建而成。构建过程中，并非执行简单的逐句翻译，而是通过精心设计的提示词引导模型在保留原意的基础上，以韩语重新生成对话内容。原始数据集共包含1,030条样本，最终成功再生出866条高质量的韩语指令-回复对，确保了数据在语言转换过程中的语义完整性与自然度。

特点

该数据集具有鲜明的语言与文化适配特性，专注于韩语文本生成任务，填补了韩语高质量指令数据集的空白。其规模虽小（不足千条），但每条样本均包含完整的多轮对话结构，由'human'与'gpt'两个角色交替构成，模拟了真实的人机交互场景。数据内容覆盖技术问答、日常咨询等多种领域，展现了丰富的知识多样性。此外，数据集采用CC BY 2.0 KR许可协议发布，便于学术研究与商业应用的合法使用，同时遵循OpenAI的使用条款，体现了对知识产权与合规性的尊重。

使用方法

使用者可通过Hugging Face的datasets库便捷地加载该数据集。具体而言，调用load_dataset函数并指定仓库名称'changpt/ko-lima-vicuna'及数据文件'ko_lima_vicuna.json'，即可将866条训练样本以Dataset对象形式载入内存。每条数据包含'id'与'conversations'两个字段，其中'conversations'为列表结构，存储了按顺序排列的对话轮次，每个轮次由发言者角色与文本内容组成。这一结构化设计使得数据集可直接用于微调韩语大语言模型，或作为评估模型指令遵循能力的基准测试集。

背景与挑战

背景概述

KoLima-Vicuna数据集诞生于大语言模型多语言适配研究蓬勃发展的时期，由韩国专业网络爬虫企业Hashscraper于近期创建。该数据集的核心研究问题聚焦于如何将英文指令微调数据高效转化为高质量韩语资源，以弥合非英语语言在对话AI领域的资源鸿沟。基于Lima-Vicuna格式的原始英文数据集，研究团队利用GPT-4 API进行语义级重构而非机械翻译，成功将1030条原始数据中的866条转化为自然流畅的韩语对话实例。这一工作为韩语大模型微调提供了稀缺的指令遵循数据，推动了多语言对话系统的本土化进程，尤其在Stack Exchange等技术问答场景中展现出应用价值。

当前挑战

该数据集面临的首要挑战是语言迁移中的语义保真度问题——GPT-4在重构过程中可能丢失技术术语的精确性，如ffmpeg命令参数等专业内容。构建过程中，仅866条成功再生数据暗示了约15.9%的损失率，暴露出跨语言数据增强的随机性风险。此外，数据集的规模限制（n<1K）导致领域覆盖不足，难以支撑复杂韩语对话系统的训练需求。更根本的挑战在于，依赖GPT-4生成的数据可能继承原模型的偏见与事实错误，且CC BY 2.0许可下的人工审核成本高昂，制约了数据集的扩展性与可靠性验证。

常用场景

经典使用场景

Ko Lima Vicuna数据集旨在为韩语自然语言处理领域提供高质量的指令微调数据资源。其经典使用场景聚焦于训练和评估韩语大语言模型的对话生成能力，通过将英语的LIMA-Vicuna格式数据利用GPT-4重新生成为地道的韩语表达，而非简单翻译，从而保留原始语义的丰富性与语境逻辑。该数据集包含866条人机多轮对话样本，覆盖技术问答、日常咨询等多样化主题，为研究者提供了构建韩语对话系统、指令遵循模型以及跨语言知识迁移的基准训练语料。

实际应用

实际应用中，Ko Lima Vicuna数据集被广泛用于韩语智能客服、教育辅导与虚拟助手等场景的模型微调。开发者可利用其对话样本提升韩语聊天机器人对技术操作、问题解决等复杂指令的响应精确度，例如在IT支持场景中生成符合韩语表达习惯的分步解决方案。此外，该数据集还可辅助构建韩语内容生成工具，如自动化报告撰写、个性化学习建议系统，通过高质量对话范例增强生成文本的语境适配性与用户交互的自然度，从而降低跨语言部署大语言模型时的文化适配成本。

衍生相关工作

Ko Lima Vicuna数据集的发布催生了多项韩语大语言模型领域的衍生工作。研究者基于其再生策略，进一步探索了GPT-4在低资源语言指令数据生成中的有效性边界，衍生出针对韩语方言、技术领域术语优化的扩展数据集。同时，该数据集被用于对比研究不同再生策略（如直译与语义重写）对模型韩语对话能力的影响，推动了韩语指令微调中数据质量评估框架的建立。此外，部分工作将其与KoAlpaca等韩语数据集联合使用，验证多源数据融合对模型泛化能力的提升，为构建综合性韩语对话基准提供了实证基础。