skilledu/chatgpt4-code-instruct

ChatGPT4 Code Instruct是一个对话式数据集，专注于代码指令任务。它源自evol-codealpaca-v1数据集，经过翻译并使用ChatGPT4处理生成。数据集包含43482行数据，大小为274 MB，主要语言为马来语（ms），但也提供英语和其他语言版本。数据示例展示了如何通过指令修正Python代码中的错误（如将for循环改为while循环并修复越界bug），并确保正确处理空列表。该数据集旨在支持代码生成、修正和多语言对话任务，适用于训练和评估AI模型在编程辅助方面的能力。

### 数据集元信息
任务类别：会话式（conversational）
语言：马来语（Malay）

# ChatGPT4 代码指令数据集（ChatGPT4 Code Instruct）
本数据集初始源自 https://huggingface.co/datasets/theblackcat102/evol-codealpaca-v1，由ChatGPT4处理生成。
相关配套Jupyter笔记本可访问：https://github.com/mesolitica/malaysian-dataset/tree/master/chatbot/chatgpt4-code-instruct

数据集文件为 `synthetic-codealpaca-v1-chatgpt4.jsonl`，共计43482条记录，总大小274 MB。

## 示例数据
python
{"instruction": "请将以下Python脚本中的现有`for`循环替换为`while`循环，使其遍历整数列表中的元素。

当前脚本存在一处Bug：尝试打印超出列表边界的对象。请修复该错误，并将循环替换为`while`循环，同时确保脚本能够正确处理空列表。

python
# 定义整数列表
arr = [1, 2, 3, 4]

# 获取列表长度
n = len(arr)

# 遍历列表并输出每个元素
for i in range(n+1):
print(arr[i])
", "output": "为修改该脚本，我们将使用`while`循环的逻辑，并确保索引不会超出列表长度范围，同时正确处理空列表的情况。

修改后的脚本如下：

python
# 定义整数列表
arr = [1, 2, 3, 4]

# 获取列表长度
n = len(arr)

# 先判断列表是否非空
if n > 0:
i = 0
# 遍历列表并输出每个元素
while i < n:
print(arr[i])
i += 1
else:
print("列表为空。")

在该脚本中，循环开始前我们先检查列表长度`n`是否大于0。若不满足（即列表为空），则打印对应提示信息。

随后使用`while`循环，当索引`i`小于列表长度`n`时执行循环体。每次迭代中，打印当前列表元素并将索引加1，以此遍历所有列表元素。

该方案可避免索引越界错误，因为我们不会尝试访问超出列表边界的索引。", "instruction_en": "Please amend the subsequent Python script so that it includes a 'while' loop rather than the existing 'for' loop, which iterates through the items of an integer list.

The script currently has a bug where it attempts to print an object that is outside the bounds of the list. Fix this error and modify the script to use 'while' instead of 'for' loop. Ensure your script correctly handles empty lists.

python
# Establish an integer list
arr = [1, 2, 3, 4]

# Determine the length of the list
n = len(arr)

# Traverse the list and output each individual element
for i in range(n+1):
print(arr[i])
", "indon_ins": false, "indon_output": true, "rejected_ins": false, "rejected_output": false, "instruction_ms": "请将以下Python脚本中的现有`for`循环替换为`while`循环，使其遍历整数列表中的元素。

当前脚本存在一处Bug：尝试打印超出列表边界的对象。请修复该错误，并将循环替换为`while`循环，同时确保脚本能够正确处理空列表。

python
# 定义整数列表
arr = [1, 2, 3, 4]

# 获取列表长度
n = len(arr)

# 遍历列表并输出每个元素
for i in range(n+1):
print(arr[i])
", "output_ms": "为修改该脚本，我们将使用`while`循环的逻辑，并确保索引不会超出列表长度范围，同时正确处理空列表的情况。

修改后的脚本如下：

python
# 定义整数列表
arr = [1, 2, 3, 4]

# 获取列表长度
n = len(arr)

# 先判断列表是否非空
if n > 0:
i = 0
# 遍历列表并输出每个元素
while i < n:
print(arr[i])
i += 1
else:
print("列表为空。")

在该脚本中，循环开始前我们先检查列表长度`n`是否大于0。若不满足（即列表为空），则打印对应提示信息。

随后使用`while`循环，当索引`i`小于列表长度`n`时执行循环体。每次迭代中，打印当前列表元素并将索引加1，以此遍历所有列表元素。

该方案可避免索引越界错误，因为我们不会尝试访问超出列表边界的索引。"}

搜集汇总

数据集介绍

构建方式

该数据集基于Evol- CodeAlpaca 数据集进行深度加工与语言扩展。原始数据取自theblackcat102所构建的evol-codealpaca-v1，该集合本身已包含大量代码指令数据。为了拓展多语言覆盖能力，研究团队利用ChatGPT4将原始指令与应答内容翻译为马来语，同时保留英文原版指令及额外标注字段，例如印尼语标记和拒绝标记。翻译后的数据经过整理形成约4.3万条高质量对话样本，并以JSONL格式存储，便于后续读取与预处理。

特点

数据集的一个显著特色在于其多语言代码指令对齐设计。每条记录同时包含原始英文指令与对应的马来语翻译，以及使用ChatGPT4生成的马来语回答，这使得数据集特别适合用于训练和评估跨语言代码助手模型。此外，数据中还包含'indon_ins'和'indon_output'等布尔字段，用于精确指示指令或回答是否来自印尼语，为语言粒度的消融实验提供了便利。数据规模适中，约为274MB，在保证覆盖广泛编程场景的同时，也兼顾了训练效率。

使用方法

使用该数据集时，可将其直接加载为标准的对话式微调格式，其中'instruction'字段作为用户输入，'output'字段作为理想模型回答。对于需要双语训练的场景，可以选取'instruction_ms'和'output_ms'字段作为马来语侧样本。代码示例中展示了Python脚本改写等任务，因此模型在训练后可提升马来语代码理解与生成能力。用户可根据业务需求，利用布尔字段筛选特定语言版本的样本，或过滤掉被标记为拒绝的数据，从而构建更洁净的训练集。

背景与挑战

背景概述

ChatGPT4 Code Instruct 数据集源于 evol-codealpaca-v1，由 mesolitica 团队通过 ChatGPT-4 进行翻译与增强，于 2023 年构建，专注于生成马来语和印尼语的代码指令数据。该数据集旨在弥合低资源语言在代码生成与理解领域的空白，通过将英文编程指令转化为本地化语言，推动多语言自然语言处理在编程教育、自动化调试等场景中的应用。其发布为研究社区提供了 43,482 条高质量、语料多样化的指令-输出对，显著提升了低资源语言在代码相关任务中的模型可训练性与泛化能力，对促进马来语和印尼语的语言模型发展具有重要影响力。

当前挑战

该数据集主要面临双重挑战。在领域问题层面，低资源语言如马来语和印尼语缺乏大规模、高质量的代码指令数据，导致预训练语言模型在代码生成、修复和解释等任务上表现欠佳，跨语言迁移学习的效果受限。在构建过程中，原始数据源包含英文代码指令的潜在缺陷，需通过 ChatGPT-4 进行复杂翻译与语义对齐，确保指令的本地化正确性和逻辑一致性；此外，处理多语言混合标注（如 indon_ins 与 ms 标签）及过滤冗余或错误样本，增加了数据清洗与质量控制的难度，要求精心设计筛选策略以维持数据集的可用性。

常用场景

经典使用场景

在自然语言处理与代码智能的交叉领域中，chatgpt4-code-instruct数据集被广泛应用于指令微调（instruction tuning）任务，旨在增强大型语言模型对编程相关指令的理解与执行能力。该数据集包含超过四万条由ChatGPT4翻译并回答的代码指令对，覆盖Python等主流编程语言，聚焦于代码修复、结构转换和逻辑修正等典型场景。研究者利用这些高质量、多语言（如马来语和印尼语）的对话样本，训练模型在遵循人类意图的同时，精准生成符合上下文的代码片段，从而显著提升模型的代码生成流畅性与正确性。

衍生相关工作

基于该数据集，学界已衍生出多项经典工作，包括多语言代码模型的指令微调基准建立、代码生成中的语言迁移学习研究，以及低资源语言编程对话系统的优化。例如，研究者通过对比不同翻译策略（如机器翻译与人工审核）对模型性能的影响，揭示了数据质量与语言多样性在指令微调中的关键作用。此外，该数据集还催生了针对代码摘要和修复任务的跨语言评估框架，为后续构建更鲁棒、包容的编程语言模型奠定了实验基础。

数据集最近研究

最新研究方向

在自然语言处理与编程语言交叉的前沿领域，chatgpt4-code-instruct数据集聚焦于利用ChatGPT4生成高质量的多语言代码指令数据，尤其关注马来语等低资源语言的代码生成与理解。该数据集基于evol-codealpaca-v1进行翻译与重构，通过引入指令微调范式，探索了大规模语言模型在非英语编程教学场景中的适用性。当前热点研究方向包括跨语言代码纠错、逻辑循环重构（如将'for'循环转化为'while'循环）以及针对空列表等边界条件的鲁棒性处理。这项工作对推动东南亚语言在人工智能教育、自动化编程辅助及低资源语言NLP应用中的平等发展具有重要影响与深远意义。