kunishou/amenokaku-code-instruct

Amenokaku-Code-Instruct是一个包含5.2K指令数据的代码专用数据集，涵盖了代码生成、代码行为检查和代码修复等任务。数据集来源于多个编程学习资源，部分内容经过自动翻译和手动修正。数据集采用混合许可证，部分数据需要特定许可证。

Amenokaku-Code-Instruct is a code-specific dataset containing 5.2K instruction data samples, covering tasks such as code generation, code behavior checking, and code repair. The dataset is sourced from multiple programming learning resources, and partial content has undergone automatic translation and manual correction. The dataset adopts a mixed license, and certain portions of the data require specific licenses.

原始信息汇总

Amenokaku-Code-Instruct 数据集概述

概要

• 这是一个专注于代码的5.2K指令数据集。
• 数据集中的数据来自商业可用的编程学习内容，经过收集、加工和翻译（英文内容自动翻译为日文，并手动修正翻译不自然的部分）。
• 对于未明确标注许可证的学习内容，已单独联系权利人并获得本数据集的发布许可。

数据集详细信息

数据集包含以下类型的任务：

• 代码生成（code_generation）：1050条记录
• 代码行为检查（check_code_behavior）：150条记录
• 代码修复（code_fix）：4000条记录

详细来源和记录数如下：

来源名称	记录数	许可证	URL
数据科学100本ノック（结构化数据加工编）（Python解答）	100	MIT	https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess
数据科学100本ノック（结构化数据加工编）（SQL解答）	100	MIT	https://github.com/rootassist/100knocks-preprocess-inSQLandPython-withColab
图像处理100本ノック	100	MIT	https://github.com/ryoppippi/Gasyori100knock
语言处理100本ノック2020	100	MIT	(问题) https://github.com/nlp100/nlp100.github.io<br>(解答) https://github.com/upura/nlp100v2020
Python初学者のためのpandas100本ノック※	100	AmenokakuCode License	https://qiita.com/kunishou/items/bd5fad9a334f4f5be51c
Python初学者のためのPolars100本ノック※	100	AmenokakuCode License	https://qiita.com/kunishou/items/1386d14a136f585e504e
100 Numpy Exercises	100	MIT	https://github.com/rougier/numpy-100
100 Julia Exercises	100	The Unlicense	https://github.com/RoyiAvital/Julia100Exercises
自作Python100本ノック	100	AmenokakuCode License	https://qiita.com/ahpjop/items/373f807d68044cda1c9b
Python-for-Beginners-Solve-50-Exercises-Live	50	MIT	https://github.com/garg10may/Python-for-Beginners-Solve-50-Exercises-Live
R初学者のためのtidyverse100本ノック	100	AmenokakuCode License	https://qiita.com/nekobo/items/cbf32a13637273f229da
JavaScript Questions	155	MIT	https://github.com/lydiahallie/javascript-questions
Break-It-Fix-It	4,000	MIT	https://github.com/michiyasunaga/BIFI
JaxTon	60	Apache-2.0	https://github.com/vopani/jaxton
プロになるJava	120	AmenokakuCode License	https://nowokay.hatenablog.com/entry/projava17exercise2

许可证

数据集遵循各数据源的许可证，因此是混合许可证。对于未明确标注许可证的数据，已获得权利人的许可，并使用AmenokakuCode License。该许可证允许在语言模型学习用途下自由使用数据，但不允许销售或分发数据。

数据集更新

数据集将持续更新，添加更多商业可用的编程学习内容。欢迎提供有益的内容或自创的学习内容。

搜集汇总

数据集介绍

构建方式

在代码智能与编程教育领域，高质量指令数据的构建是提升模型代码理解与生成能力的关键。Amenokaku-Code-Instruct数据集正是基于此需求，从商用许可的编程学习内容中系统性地收集与加工而成。其构建过程严格遵循合规原则：对于已明确许可协议的内容，如MIT、Apache-2.0等许可证下的开源项目，直接采集并适配；对于未标注许可的优质教材，则逐一联系版权所有者获取明确授权。此外，英文内容均经过自动翻译与人工校对，确保日语表达的流畅与准确。数据集最终整合了来自14个不同来源的5,200条记录，涵盖代码生成、行为验证与缺陷修复三大任务。

特点

该数据集的核心特色在于其任务结构的均衡性与来源的多样性。在5,200条指令中，代码修复任务占据4,000条，代码生成为1,050条，行为验证为150条，形成了以错误修正为主导、兼顾生成与理解的实用布局。数据来源横跨Python、SQL、R、Julia、JavaScript及Java等多种语言，包括著名的“100本ノック”系列、Break-It-Fix-It等经典练习集。每条数据均标注原始来源与许可证类型，便于用户根据合规要求灵活选用。特别地，部分数据采用独有的AmenokakuCode许可证，明确允许在语言模型训练中自由使用，兼顾了开放性与版权保护。

使用方法

数据集以JSON格式存储于Hugging Face平台，通过单文件amenokaku_code_instruct.json提供，适用于直接加载与微调。用户可通过Hugging Face Datasets库的load_dataset函数便捷调用，默认配置下仅含训练集。每条记录包含指令文本与对应代码，可直接用于监督微调范式。建议在训练前根据任务类型（code_generation、check_code_behavor、code_fix）进行过滤，以针对特定能力进行优化。由于许可证为混合类型，使用时需注意区分各条目的许可条款，商用场景下应优先选择MIT或Apache-2.0授权的子集，而AmenokakuCode许可的数据则适合在语言模型研究中使用。

背景与挑战

背景概述

在自然语言处理与代码智能的交叉领域中，指令微调数据集对于提升大语言模型的代码生成与理解能力具有关键作用。Amenokaku-Code-Instruct数据集由研究者Kunishou于2023年创建，专注于代码相关的指令任务，涵盖代码生成、行为验证与缺陷修复等核心场景。该数据集整合了来自多个开源编程学习资源的高质量内容，包括数据科学、图像处理、自然语言处理等领域的经典练习，并经过严格的版权合规处理，部分数据还获得了权利人的单独授权。其独特的混合许可协议确保了数据在语言模型训练中的合法使用。该数据集的发布为日文及多语言代码指令微调提供了宝贵资源，推动了代码智能领域的研究进展。

当前挑战

该数据集面临的核心挑战首先在于领域问题的复杂性：代码指令任务要求模型不仅理解自然语言描述，还需精准生成或修正符合语法与语义逻辑的代码，这对模型的推理与泛化能力提出了极高要求。其次，在构建过程中，数据收集面临版权合规的严峻挑战，需从多个来源筛选商用许可内容，并对未明确授权的数据逐一联系权利人获取许可，耗时且复杂。此外，数据集的规模目前仅为5.2K条记录，覆盖的编程语言和任务类型有限，如何持续扩充规模、平衡各语言与任务分布，同时确保数据质量与法律合规性，是长期维护与更新的关键难点。

常用场景

经典使用场景

Amenokaku-Code-Instruct数据集专为代码指令微调而设计，其经典使用场景聚焦于提升语言模型在编程任务上的指令遵循能力。该数据集包含5.2K条精心构建的指令样本，涵盖代码生成、代码行为验证与代码缺陷修复三大核心任务类型。研究人员常将其作为微调基准，用于评估和增强模型对日语编程指令的理解与执行效率，尤其在处理多语言代码语境下的自然语言到代码的映射关系时表现突出。通过该数据集，模型能够学会从复杂的编程问题描述中提取关键约束，并生成符合语法与语义规范的代码片段。

衍生相关工作

该数据集衍生了一系列经典工作，尤其是在日语代码智能与多语言指令微调领域。例如，研究者基于其代码修复子集（Break-It-Fix-It风格）探索了自监督学习框架，通过生成错误代码并训练模型修复，显著提升了模型在真实缺陷检测中的泛化能力。此外，该数据集与JaxTon、プロになるJava等资源的整合，催生了针对Java和Julia语言的专项微调研究。其数据构建方法——从开源学习内容中提取指令并人工修正翻译——也被后续工作如Code-Alpaca-Ja所借鉴，推动了日语编程指令数据集生态的规范化发展。

数据集最近研究

最新研究方向

在自然语言处理与代码智能的交叉领域，指令微调数据集正成为提升大语言模型代码生成与理解能力的关键驱动力。Amenokaku-Code-Instruct作为一款专为日语编程场景打造的高质量指令数据集，其前沿研究方向聚焦于通过多源、多任务的代码指令学习来增强模型在代码生成、行为验证与错误修复等维度的泛化性能。该数据集整合了来自MIT、Apache-2.0等开源许可的编程练习资源，并针对日语进行了细致的翻译与修正，确保了语言与技术的双重适配性。这一工作不仅呼应了当前学术界对低资源语言代码智能的迫切需求，也为构建更安全、更可控的代码大模型提供了数据基础，其混合许可策略更推动了开源生态中数据合规与共享的范式探索。