arkts-code-docstring-for-anonymous

ArkTS-CodeSearch 是一个专为代码检索任务设计的开源 ArkTS（HarmonyOS Ark TypeScript）数据集。该数据集从 GitHub 和 Gitee 平台爬取的开源 ArkTS 项目中，收集了函数级别的代码信息。ArkTS 是 OpenHarmony 生态系统的核心编程语言。数据集旨在支持代码分析、代码理解、抽象语法树（AST）研究以及代码搜索等相关任务。数据集包含 24,452 个样本，分为训练集（19,561 个样本）、验证集（2,445 个样本）和测试集（2,446 个样本）。数据以 JSON Lines (.jsonl) 格式组织，其中每一行代表一个独立的函数样本。每个样本包含 12 个特征字段，全面描述了函数的各个方面：`nwo`（仓库名称）、`sha`（提交的 SHA 哈希值）、`path`（文件路径）、`language`（编程语言，主要为 ArkTS）、`identifier`（函数标识符/名称）、`docstring`（函数的文档字符串）、`function`（原始的函数源代码）、`ast_function`（函数的抽象语法树表示形式）、`obf_function`（经过混淆处理的函数源代码）、`url`（指向仓库中该代码的 URL 链接）、`function_sha`（函数级别的 SHA 哈希值）、`source`（代码来源平台，如 GitHub 或 Gitee）。此外，数据集还附带了仓库许可证信息配置文件，分别记录了来自 GitHub 和 Gitee 的仓库元数据，包括许可证类型和仓库链接。重要提示：本数据集仅供研究使用，部分收集的代码可能来自未明确声明开源许可证的仓库，使用者应注意其可能涉及的版权限制。

原始信息汇总

数据集概览：ArkTS-CodeSearch

该数据集是一个面向 ArkTS（HarmonyOS Ark TypeScript） 代码的开源数据集，主要服务于代码检索任务。它收集了来自 GitHub 和 Gitee 开源仓库的函数级信息，适用于代码分析、理解、抽象语法树（AST）研究及代码搜索。

• 任务类别：文本检索（text-retrieval）
• 语言：英文（en）、中文（zh）

数据规模与划分

数据集分为三个子集，总大小约为 200.8 MB，总样本数约 24,452 条。

子集	样本数	大小
train	19,561	162.1 MB
validation	2,445	18.8 MB
test	2,446	19.9 MB

• 下载大小：42.3 MB

数据格式与结构

数据以 JSON Lines (.jsonl) 格式存储，每行一个 JSON 对象，代表一个函数。数据文件位于 data/ 目录下，按 split 存放（如 data/train-*）。

字段说明

字段	类型	描述
nwo	string	仓库名称
sha	string	提交 SHA
path	string	文件路径
language	string	编程语言
identifier	string	函数标识符/名称
docstring	string	函数文档字符串
function	string	原始函数源代码
ast_function	string	函数的 AST 表示
obf_function	string	混淆后的函数源代码
url	string	代码在仓库中的链接
function_sha	string	函数级别的 SHA
source	string	代码来源（GitHub / Gitee）

附加资源

• 评估代码：https://anonymous.4open.science/r/retrieval_eval-3FA8
• 数据集处理代码：https://anonymous.4open.science/r/arkts-codesearch-2140
• 微调模型：https://anonymous-hf.up.railway.app/a/wzovffqk5cim/
• 仓库级拆分数据：https://anonymous-hf.up.railway.app/a/bg8yaq3zj3ot/
• 仓库许可证配置：包含 github 和 gitee 两个来源的仓库许可证信息（分别存放在 github 和 gitee 的 JSONL 文件中），每条记录包括平台、仓库名、许可证类型和 URL。

使用示例

python from datasets import load_dataset

dataset = load_dataset("XXX") print(dataset["train"][0]) print(dataset["train"].features)

注意事项

• 仅供研究使用：本数据集仅用于研究目的。
• 版权风险：部分收集的代码可能来自未明确开源许可证的仓库，使用者需自行承担版权相关风险。

搜集汇总

数据集介绍

构建方式

该数据集以OpenHarmony生态系统中的ArkTS语言为核心，聚焦于函数级别的代码信息。通过从GitHub和Gitee平台爬取开源仓库，提取函数源代码、文档字符串、抽象语法树表示、混淆版本及元数据。每个样本以JSON Lines格式存储，涵盖仓库名、提交哈希、文件路径、函数标识符等字段。数据集划分为训练集（19561条）、验证集（2445条）和测试集（2446条），确保模型评估的可靠性。

特点

该数据集具有多维度特征，包含原始函数、文档字符串、抽象语法树、混淆代码及函数级SHA。其独特之处在于同时提供代码的自然语言描述与结构化表示，支持代码检索、理解与分析。涵盖英文和中文双语标签，适用于跨语言任务。此外，包含仓库许可信息，便于合规研究。

使用方法

用户可通过HuggingFace的`load_dataset`函数直接加载该数据集，支持按训练、验证和测试拆分访问。使用Python的`datasets`库可轻松遍历样本，检查特征。数据集设计用于代码搜索评估，可配合提供的评测代码和微调模型使用。建议研究人员注意版权限制，仅用于学术目的。

背景与挑战

背景概述

随着OpenHarmony生态系统的蓬勃发展，ArkTS作为其核心编程语言，在鸿蒙原生应用开发中占据关键地位。然而，面向ArkTS的代码理解与检索研究长期受限于高质量标注数据的匮乏。在此背景下，由匿名研究团队于近期构建的arkts-code-docstring-for-anonymous数据集应运而生。该数据集从GitHub和Gitee平台收集开源ArkTS项目，涵盖函数级源代码、文档字符串、抽象语法树表示及混淆版本等多元信息，为代码检索、代码分析及AST研究提供了首个大规模基准资源。其发布填补了ArkTS在代码检索领域的空白，有望推动鸿蒙开发生态中智能代码理解与复用技术的发展。

当前挑战

该数据集面临的核心挑战在于所解决的领域问题：代码检索任务要求模型不仅能理解自然语言描述的语义，还需精准匹配编程语言的语法结构，而ArkTS作为新兴语言，其语法特性与社区积累的语料库相对薄弱，增加了语义对齐的难度。构建过程中，研究团队面临多重障碍：首先，需从海量开源仓库中筛选合规且具有明确许可证的代码片段，规避版权风险；其次，函数级数据的提取需兼容不同项目中的编码风格与注释习惯，保证文档字符串与代码功能的一致性；此外，AST表示与混淆版本的生成需确保无信息损失，同时维护数据的高效存储与检索性能。

常用场景

经典使用场景

在鸿蒙生态与开源代码智能分析的交汇领域，ArkTS-CodeSearch数据集为代码检索与理解任务提供了独特的基准资源。该数据集聚焦于ArkTS编程语言，收集了来自GitHub和Gitee开源仓库的函数级信息，涵盖原始函数、文档字符串、抽象语法树表示、混淆版本及元数据。经典使用场景集中于基于自然语言查询的代码搜索（Code Search）与代码摘要生成，研究者可借助该数据集训练模型，实现从语言描述到函数实现的精准匹配，或从代码片段自动生成语义化的文档字符串。

解决学术问题

该数据集有效解决了开源生态中资源稀缺编程语言，尤其是鸿蒙ArkTS语言的代码检索与理解难题。在学术研究层面，它填补了针对特定领域语言（DSL）进行大规模代码-文档对齐数据构建的空白，突破了传统研究依赖Java或Python等主流语言的局限。通过提供函数、文档、AST与混淆版本的多维结构化数据，该数据集支持对代码语义理解、跨语言迁移学习、代码混淆与脱混淆策略等前沿课题的深入探究，推动了软件工程领域中代码检索系统的泛化性与鲁棒性研究。

衍生相关工作

基于ArkTS-CodeSearch数据集，已衍生出若干具有影响力的研究工作与工具。一方面，研究者利用该数据集微调了基于Transformer架构的代码理解模型，显著提升了在ArkTS代码-文档匹配任务上的检索性能，并开源了预训练权重以便社区复现。另一方面，项目配套提供了评估代码与数据处理流水线，为后续研究构建同类数据集（如适配Cangjie或Swift等新兴语言）提供了可复用的技术框架。此外，仓库级别的代码切分策略也被提出，推动了对代码检索任务从函数级到仓库级场景的范式扩展。