elisp-dataset

github2025-06-17 更新2025-06-19 收录

下载链接：

https://github.com/asfaragus/elisp-dataset

下载链接

链接失效反馈

官方服务：

资源简介：

该仓库提供了一个结构化的数据集，用于通过指令调优在Emacs Lisp（elisp）上微调大型语言模型（LLMs）。每个示例都包含一个自然语言指令和相关的函数实现。项目的主要目标是帮助模型更好地理解和生成惯用的elisp代码，并提高本地微调LLMs在用户工作流程中的实用性。数据集以Org-mode编写，易于在Emacs中阅读和编辑。每个条目都结构化为任务指令、可选输入和完整的elisp输出（函数、注释和用法）。还包括一个实用脚本，用于将Org文件转换为适合机器学习工作流程的CSV格式。

This repository provides a structured dataset for fine-tuning Large Language Models (LLMs) on Emacs Lisp (elisp) via instruction tuning. Each sample consists of a natural language instruction and the corresponding function implementation. The core goal of this project is to enable models to better understand and generate idiomatic elisp code, and enhance the practicality of locally fine-tuned LLMs in user workflows. The dataset is written in Org-mode, making it easy to read and edit within Emacs. Each entry is structured as a task instruction, optional input, and complete elisp output including functions, comments, and usage examples. It also includes a utility script for converting Org files into CSV format compatible with machine learning workflows.

创建时间：

2025-06-17

原始信息汇总

elisp-dataset: 用于微调LLMs的Emacs Lisp示例数据集

数据集概述

目的：通过指令调优提高大型语言模型(LLMs)对Emacs Lisp(elisp)的理解和生成能力
主要目标：
1. 提升LLMs对Emacs Lisp语言的熟练度
2. 增强本地微调LLMs在用户工作流程中的实用性

数据集特点

格式：采用Org-mode编写，便于在Emacs中阅读和编辑
条目结构：
- 任务指令(instruction)
- 可选输入(input)
- 完整elisp输出(output)，包含函数、注释和用法
错误处理：仅包含相关错误信息以最小化噪音
转换工具：提供将Org文件转换为CSV格式的实用脚本

数据集示例

elisp

Example 1: Count character occurrences ** instruction Count the character occurrences in the buffer.

** output (defun count-char-occurrences-in-buffer (char) "Count the number of occurrences of CHAR in the current buffer..." (interactive "cEnter character: ") (save-excursion (goto-char (point-min)) (let* ((count 0) (case-fold-search nil)) (while (search-forward (char-to-string char) nil t) (setq count (1+ count))) (message "The character %c occurs %d times..." char count) count))) (global-set-key (kbd "C-c o") count-char-occurrences-in-buffer)

仓库内容

elisp-dataset.org：Org格式的指令调优示例
elisp-dataset.csv：机器学习就绪的CSV文件(字段：instruction, input, output)
utils.el：将数据集导出为CSV的Emacs Lisp工具
readme.org：文档文件

使用说明

导出数据集：
- 加载utils.el文件
- 使用M-x elisp-dataset-export-to-csv命令导出为CSV格式
加载数据集： python

使用pandas

import pandas as pd df = pd.read_csv("dataset.csv")

或使用Hugging Face datasets

from datasets import load_dataset dataset = load_dataset("csv", data_files="dataset.csv")

许可与贡献

许可证：GPLv3
贡献：
- 接受新示例或工具改进的Pull Request
- 代码示例需保持现有结构
- 托管平台：GitLab(https://gitlab.com/asfaragus/elisp-dataset)和GitHub(https://github.com/asfaragus/elisp-dataset)

搜集汇总

数据集介绍

构建方式

在Emacs Lisp编程语言的生态研究中，elisp-dataset采用Org-mode结构化文档构建，通过自然语言指令与函数实现的配对设计，系统性地收集了专业级代码范例。数据集构建过程严格遵循模块化原则，每个条目均包含任务指令、可选输入参数及完整函数输出三要素，并采用Emacs原生工具链实现Org格式与CSV格式的无损转换，为语言模型微调提供标准化数据源。

特点

该数据集显著特征体现在其领域专精性与工程实用性。作为目前稀缺的Emacs Lisp专项语料，其代码范例均配备交互式命令绑定与详细文档注释，完整呈现了GNU Emacs环境下的开发范式。独特的错误信息过滤机制确保训练数据纯净度，而Org-mode与CSV双格式支持则兼顾了人类可读性与机器可处理性，为隐私敏感的本地化模型训练提供了理想的轻量级解决方案。

使用方法

实践应用中，研究者可通过Emacs内置工具链实现格式转换，利用utils.el脚本将Org文档导出为CSV格式后，兼容主流机器学习框架处理流程。数据集支持通过Pandas或Hugging Face生态直接加载，配合Unsloth优化框架可高效完成模型微调。最终模型可集成至Ollama本地推理环境，借助gptel等Emacs插件实现开发工作流的无缝衔接，形成从数据准备到生产部署的完整闭环。

背景与挑战

背景概述

elisp-dataset由Asfaragus于2025年6月发布，旨在为大型语言模型（LLMs）提供高质量的Emacs Lisp（elisp）指令微调数据集。Emacs Lisp作为一种特定领域的编程语言，在文本编辑和自动化任务中具有独特优势，但其小众特性导致公开可用的高质量训练样本稀缺。该数据集通过结构化组织自然语言指令与对应函数实现，不仅提升了LLMs对elisp语法和惯用法的理解能力，更推动了本地化模型在隐私保护与成本控制方面的应用探索。其采用Org-mode格式存储的设计，既保留了Emacs生态的原生兼容性，又通过标准化转换工具支持机器学习工作流，为编程语言处理领域注入了新的研究维度。

当前挑战

构建elisp-dataset面临双重挑战：在领域问题层面，Emacs Lisp的语法灵活性和宏系统特性导致代码意图与实现之间存在高度非线性映射，要求数据集必须精准捕捉语言特有的元编程范式；同时，小众语言的社区规模限制了数据来源的多样性，需通过人工构造确保样本覆盖基础操作、缓冲区管理及编辑器扩展等核心场景。在技术实现层面，Org-mode到结构化数据的转换需处理注释剥离、代码块标准化等细节，而保持函数自包含性与文档完整性的平衡，对样本质量控制提出了更高要求。此外，微调后的模型需在保持通用语言理解能力的同时，适应elisp交互式开发的实时性需求，这对损失函数设计和评估指标构建带来显著挑战。

常用场景

经典使用场景

在自然语言处理与编程语言交互的交叉领域，elisp-dataset为研究者提供了丰富的Emacs Lisp指令微调样本。该数据集通过结构化组织自然语言指令与对应函数实现，成为训练大型语言模型理解特定领域代码的黄金标准。其典型应用场景包括让模型学习如何将用户描述的高层任务转化为符合Emacs Lisp语法的具体实现，这对提升模型在代码生成任务中的领域适应性具有显著价值。

数据集最近研究