有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
lince-benchmark/lince|多语言处理数据集|自然语言处理数据集
收藏hugging_face2024-01-18 更新2024-06-15 收录
下载链接：
https://hf-mirror.com/datasets/lince-benchmark/lince
下载链接
链接失效反馈资源简介：
LinCE是一个集中的语言代码切换评估基准，包含用于训练和评估NLP系统在代码切换任务上的数据。数据集中包含多个配置，每个配置都有不同的语言对和任务类型，如语言识别（LID）、命名实体识别（NER）等。
提供机构：
lince-benchmark
原始信息汇总
数据集卡片 for "lince"
数据集描述
数据集概要
LinCE 是一个集中的语言代码转换评估基准，包含用于训练和评估 NLP 系统在代码转换任务上的数据。
支持的任务和排行榜
语言
数据集结构
数据实例
lid_hineng
- 下载的数据文件大小: 0.43 MB
- 生成的数据集大小: 2.39 MB
- 总磁盘使用量: 2.82 MB
验证集示例： json { "idx": 0, "lid": ["other", "other", "lang1", "lang1", "lang1", "other", "lang1", "lang1", "lang1", "lang1", "lang1", "lang1", "lang1", "mixed", "lang1", "lang1", "other"], "words": ["@ZahirJ", "@BinyavangaW", "Loved", "the", "ending", "!", "I", "could", "have", "offered", "you", "some", "ironic", "chai-tea", "for", "it", ";)"] }
lid_msaea
- 下载的数据文件大小: 0.81 MB
- 生成的数据集大小: 4.89 MB
- 总磁盘使用量: 5.69 MB
训练集示例： json { "idx": 0, "lid": ["ne", "lang2", "other", "lang2", "lang2", "other", "other", "lang2", "lang2", "lang2", "lang2", "lang2", "lang2", "lang2", "lang2", "lang2", "lang2", "lang2", "lang2", "lang2", "lang2", "other", "lang2", "lang2", "lang2", "ne", "lang2", "lang2"], "words": ["علاء", "بخير", "،", "معنوياته", "كويسة", ".", "..", "اسخف", "حاجة", "بس", "ان", "كل", "واحد", "منهم", "بييقى", "مقفول", "عليه"...] }
lid_nepeng
- 下载的数据文件大小: 0.55 MB
- 生成的数据集大小: 3.21 MB
- 总磁盘使用量: 3.75 MB
验证集示例： json { "idx": 1, "lid": ["other", "lang2", "lang2", "lang2", "lang2", "lang1", "lang1", "lang1", "lang1", "lang1", "lang2", "lang2", "other", "mixed", "lang2", "lang2", "other", "other", "other", "other"], "words": ["@nirvikdada", "la", "hamlai", "bhetna", "paayeko", "will", "be", "your", "greatest", "gift", "ni", "dada", ";P", "#TreatChaiyo", "j", "hos", ";)", "@zappylily", "@AsthaGhm", "@ayacs_asis"] }
lid_spaeng
- 下载的数据文件大小: 1.18 MB
- 生成的数据集大小: 6.83 MB
- 总磁盘使用量: 8.01 MB
训练集示例： json { "idx": 0, "lid": ["other", "other", "lang1", "lang1", "lang1", "other", "lang1", "lang1"], "words": ["11:11", ".....", "make", "a", "wish", ".......", "night", "night"] }
ner_hineng
- 下载的数据文件大小: 0.14 MB
- 生成的数据集大小: 0.79 MB
- 总磁盘使用量: 0.92 MB
训练集示例： json { "idx": 1, "lid": ["en", "en", "en", "en", "en", "en", "hi", "hi", "hi", "hi", "hi", "hi", "hi", "en", "en", "en", "en", "rest"], "ner": ["O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "B-PERSON", "I-PERSON", "O", "O", "O", "B-PERSON", "I-PERSON"], "words": ["I", "liked", "a", "@YouTube", "video", "https://t.co/DmVqhZbdaI", "Kabhi", "Palkon", "Pe", "Aasoon", "Hai-", "Kishore", "Kumar", "-Vocal", "Cover", "By", "Stephen", "Qadir"] }
数据字段
所有分割的数据字段相同。
lid_hineng
idx:int32特征。words:string特征的list。lid:string特征的list。
lid_msaea
idx:int32特征。words:string特征的list。lid:string特征的list。
lid_nepeng
idx:int32特征。words:string特征的list。lid:string特征的list。
lid_spaeng
idx:int32特征。words:string特征的list。lid:string特征的list。
ner_hineng
idx:int32特征。words:string特征的list。lid:string特征的list。ner:string特征的list。
数据分割
| 名称 | 训练集 | 验证集 | 测试集 |
|---|---|---|---|
| lid_hineng | 4823 | 744 | 1854 |
| lid_msaea | 8464 | 1116 | 1663 |
| lid_nepeng | 8451 | 1332 | 3228 |
| lid_spaeng | 21030 | 3332 | 8289 |
| ner_hineng | 1243 | 314 | 522 |
数据集创建
策划理由
源数据
初始数据收集和规范化
源语言生产者是谁？
注释
注释过程
注释者是谁？
个人和敏感信息
使用数据的注意事项
数据集的社会影响
偏见的讨论
其他已知限制
附加信息
数据集策展人
许可信息
引用信息
@inproceedings{aguilar-etal-2020-lince, title = "{L}in{CE}: A Centralized Benchmark for Linguistic Code-switching Evaluation", author = "Aguilar, Gustavo and Kar, Sudipta and Solorio, Thamar", booktitle = "Proceedings of The 12th Language Resources and Evaluation Conference", month = may, year = "2020", address = "Marseille, France", publisher = "European Language Resources Association", url = "https://www.aclweb.org/anthology/2020.lrec-1.223", pages = "1803--1813", language = "English", ISBN = "979-10-95546-34-4", }
请注意，每个 LinCE 数据集都有其自己的引用。请参阅 这里 以获取每个数据集的正确引用。
贡献
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国区域地面气象要素驱动数据集 v2.0（1951-2024）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 74 年（1951~2024 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 74 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致，仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新，以修正其长期趋势存在的问题。
国家青藏高原科学数据中心 收录
China Health and Nutrition Survey (CHNS)
China Health and Nutrition Survey（CHNS）是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目，旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响，以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体，采用多阶段随机抽样方法，收集了家庭、个体以及社区层面的详细数据，包括饮食、健康、经济和社会因素等信息。自2011年起，CHNS不断扩展，新增多个城市和省份，并持续完善纵向数据链接，为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。
www.cpc.unc.edu 收录
学生课堂行为数据集 (SCB-dataset3)
学生课堂行为数据集(SCB-dataset3)由成都东软学院创建，包含5686张图像和45578个标签，重点关注六种行为：举手、阅读、写作、使用手机、低头和趴桌。数据集覆盖从幼儿园到大学的不同场景，通过YOLOv5、YOLOv7和YOLOv8算法评估，平均精度达到80.3%。该数据集旨在为学生行为检测研究提供坚实基础，解决教育领域中学生行为数据集的缺乏问题。
arXiv 收录
YOLO Drone Detection Dataset
为了促进无人机检测模型的开发和评估，我们引入了一个新颖且全面的数据集，专门为训练和测试无人机检测算法而设计。该数据集来源于Kaggle上的公开数据集，包含在各种环境和摄像机视角下捕获的多样化的带注释图像。数据集包括无人机实例以及其他常见对象，以实现强大的检测和分类。
github 收录
China Kadoorie Biobank (CKB)
China Kadoorie Biobank（CKB）是一项大规模的前瞻性队列研究数据库，旨在通过长期跟踪调查收集中国人群的健康相关信息，包括生活方式、环境暴露、生物样本以及疾病发生发展情况，为慢性病的病因研究和防控策略制定提供科学依据。
www.ckbiobank.org 收录