liuhangbiao/JavaScript-Code-Large

---
license: mit
task_categories:
- text-generation
language:
- en
tags:
- code
- javascript
size_categories:
- 1M<n<10M
---

**JavaScript-Code-Large**

JavaScript-Code-Large is a large-scale corpus of JavaScript source code comprising around **5 million** JavaScript files. The dataset is designed to support research in large language model (LLM) pretraining, code intelligence, software engineering automation, and program analysis for the JavaScript ecosystem.

By providing a high-volume, language-specific corpus, JavaScript-Code-Large enables systematic experimentation in JavaScript-focused model training, domain adaptation, and downstream code understanding tasks.

JavaScript-Code-Large addresses the need for a dedicated JavaScript-only dataset at substantial scale, enabling focused research across frontend, backend, and full-stack JavaScript environments.
.

**1. Dataset Composition**

Programming Language: JavaScript

File Count: 5M+ JavaScript files

File Format: .jsonl

Content Types

The dataset includes a wide variety of JavaScript constructs and paradigms, such as:

- Functions (declarations, expressions, arrow functions)

- Classes and prototypes

- Modules (CommonJS and ES Modules)

- Asynchronous patterns (async/await, Promises, callbacks)

- Event-driven code

- Closures and higher-order functions

- Functional programming constructs

- DOM manipulation code

- Node.js backend logic

- Frontend framework components

- JSDoc comments

- Error handling patterns

- Modern ES6+ features

**2. Intended Research Applications**

2.1 Pretraining

- Training JavaScript code foundation models from scratch

- Continued pretraining of existing LLMs

- JavaScript-specialized language modeling

- Tokenizer training for JS ecosystems

2.2 Fine-Tuning and Adaptation

- Code completion systems

- Intelligent IDE assistants

- Automated refactoring tools

- Conversational programming agents

- JavaScript-specific copilots

2.3 Code Intelligence Tasks

- Code summarization

- Code-to-text generation

- Documentation generation

- Bug detection

- Vulnerability detection

- Clone detection

- Code similarity modeling

- Minified-to-readable code transformation

- Static and structural analysis

2.4 Software Engineering Research

- Empirical studies of JavaScript coding patterns

- Analysis of async and event-driven architectures

- Framework usage studies

- Dependency modeling

- AST-based experiments

- Cross-version JavaScript evolution analysis

**3. Relationship to [Java-Code-Large](https://huggingface.co/datasets/ajibawa-2023/Java-Code-Large)**

JavaScript-Code-Large complements **Java-Code-Large**, enabling comparative research between:

- Statically typed vs dynamically typed languages

- Class-based vs prototype-based paradigms

- Backend vs frontend dominant ecosystems

- JVM vs Node.js environments

Together, these datasets support cross-language transfer learning and controlled specialization studies.

Thanks to open source community for all the guidance & support!!

许可证：MIT许可证
任务类别：
- 文本生成
语言：
- 英语
标签：
- 代码
- JavaScript
数据规模类别：
- 100万 < 文件数量 < 1000万

**JavaScript-Code-Large（JavaScript代码大语料库）**

JavaScript-Code-Large是一个大规模JavaScript源代码语料库，包含约**500万**个JavaScript文件。本数据集旨在支持面向JavaScript生态系统的大语言模型(LLM)预训练、代码智能、软件工程自动化以及程序分析等领域的研究。

通过提供高体量、语言专属的语料库，JavaScript-Code-Large可支持针对JavaScript的模型训练、领域自适应以及下游代码理解任务的系统性实验。

JavaScript-Code-Large填补了大规模专属JavaScript数据集的空白，可支持前端、后端以及全栈JavaScript环境下的聚焦型研究。

**1. 数据集构成**

编程语言：JavaScript
文件数量：500万+个JavaScript文件
文件格式：.jsonl

### 内容类型
本数据集涵盖丰富的JavaScript语法结构与编程范式，包括：
- 函数（声明式函数、表达式函数、箭头函数）
- 类与原型对象
- 模块化系统（CommonJS与ES模块）
- 异步编程模式（async/await、Promise、回调函数）
- 事件驱动型代码
- 闭包与高阶函数
- 函数式编程结构
- DOM操作代码
- Node.js后端逻辑
- 前端框架组件
- JSDoc注释
- 错误处理模式
- 现代ES6+语法特性

**2. 预期研究应用**

2.1 预训练
- 从零开始训练JavaScript代码基础大语言模型
- 现有大语言模型(LLM)的持续预训练
- 面向JavaScript的专用语言建模
- JavaScript生态系统的分词器训练

2.2 微调与自适应
- 代码补全系统
- 智能IDE助手
- 自动化重构工具
- 对话式编程AI智能体(AI Agent)
- JavaScript专用代码副驾

2.3 代码智能任务
- 代码摘要生成
- 代码转文本生成
- 文档自动生成
- 缺陷检测
- 漏洞检测
- 代码克隆检测
- 代码相似度建模
- 压缩代码转可读代码转换
- 静态与结构分析

2.4 软件工程研究
- JavaScript编码模式的实证研究
- 异步与事件驱动架构分析
- 框架使用情况研究
- 依赖关系建模
- 基于抽象语法树(AST)的实验
- JavaScript跨版本演进分析

**3. 与[Java-Code-Large](https://huggingface.co/datasets/ajibawa-2023/Java-Code-Large)的关联**

JavaScript-Code-Large与**Java-Code-Large**形成互补，可支持以下方向的对比研究：
- 静态类型与动态类型语言对比
- 基于类与基于原型的编程范式对比
- 以后端为主与以前端为主的生态系统对比
- JVM与Node.js运行环境对比

上述两个数据集可共同支持跨语言迁移学习以及受控的专业化研究。

感谢开源社区提供的所有指导与支持！