google-research-datasets/eth_py150_open

ethpy150open数据集是ETH Py150语料库的一个可再分发子集，用于学习和评估源代码的上下文嵌入。数据集包含文件路径和许可证信息，分为训练、验证和测试三个部分。数据集的创建目的是生成一个更易于再分发的版本。数据集的语言为英语，许可证为Apache 2.0。

The ethpy150open dataset is a redistributable subset of the ETH Py150 corpus, machine-generated, in English, and licensed under Apache 2.0. It contains file paths and license information, divided into training, validation, and test sets. The purpose of this dataset is to generate a more redistributable version.

原始信息汇总

数据集卡片 ethpy150open

数据集描述

数据集摘要

一个可重新分发的ETH Py150语料库子集，在ICML 2020论文Learning and Evaluating Contextual Embedding of Source Code中介绍。

支持的任务和排行榜

[更多信息需要]

语言

英语

数据集结构

数据实例

json { "filepath": "0rpc/zerorpc-python/setup.py", "license": "mit" }, { "filepath": "0rpc/zerorpc-python/zerorpc/heartbeat.py", "license": "mit" }

数据字段

• filepath: 包含GitHub上文件路径的相对URL
• license: 特定文件或仓库使用的许可证

数据分割

	Train	Valid	Test
数据集分割	74749	8302	41457

数据集创建

策划理由

生成一个更可重新分发的数据集版本

源数据

初始数据收集和规范化

所有URL都是GitHub上相对于主分支的文件路径，使用当时可用的主分支

源语言生产者是谁？

[更多信息需要]

注释

注释过程

[更多信息需要]

谁是注释者？

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据集的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

[更多信息需要]

许可信息

Apache License 2.0

引用信息

bibtex @inproceedings{kanade2020learning, title={Learning and Evaluating Contextual Embedding of Source Code}, author={Kanade, Aditya and Maniatis, Petros and Balakrishnan, Gogul and Shi, Kensen}, booktitle={International Conference on Machine Learning}, pages={5110--5121}, year={2020}, organization={PMLR} }

贡献

感谢@Bharat123rox添加此数据集。

搜集汇总

背景与挑战

背景概述

该数据集是ETH Py150语料库的可再分发子集，用于源代码上下文嵌入的学习和评估，包含Python文件的路径和许可证信息，规模在100K到1M之间。