有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
MartinThoma/wili_2018|语言识别数据集|多语言文本分类数据集
收藏hugging_face2024-01-18 更新2024-05-25 收录
下载链接：
https://hf-mirror.com/datasets/MartinThoma/wili_2018
下载链接
链接失效反馈资源简介：
WiLI-2018是一个维基百科语言识别基准数据集，包含235种语言的235,000个段落。该数据集平衡，提供训练和测试分割。它是多语言的，涵盖广泛的语言，适用于语言识别任务。数据集根据ODC开放数据库许可证v1.0授权。
提供机构：
MartinThoma
原始信息汇总
数据集概述
基本信息
- 数据集名称: WiLI-2018
- 数据集类型: 语言识别基准数据集
- 语言: 包含235种不同语言
- 许可证: ODC Open Database License v1.0
- 多语言性: 多语言
- 大小: 100K<n<1M
- 来源: 原始数据
- 任务类别: 文本分类
- 数据集配置名称: WiLI-2018 dataset
数据集结构
- 数据实例: 每个实例包含一个句子及其对应的语言标签。
- 数据字段:
- sentence: 字符串类型，包含文本内容。
- label: 分类标签，指示文本所属的语言。
- 数据分割:
- 训练集: 包含117500个实例，总字节数为65408201。
- 测试集: 包含117500个实例，总字节数为66491260。
数据集创建
-
数据集创建者: Thomas Martin
-
许可证信息: 遵循ODC Open Database License v1.0
-
引用信息:
@dataset{thoma_martin_2018_841984, author = {Thoma, Martin}, title = {{WiLI-2018 - Wikipedia Language Identification database}}, month = jan, year = 2018, publisher = {Zenodo}, version = {1.0.0}, doi = {10.5281/zenodo.841984}, url = {https://doi.org/10.5281/zenodo.841984} }
数据集贡献者
- 贡献者: @Shubhambindal2017
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
PDT Dataset
PDT数据集是由山东计算机科学中心（国家超级计算济南中心）和齐鲁工业大学（山东省科学院）联合开发的无人机目标检测数据集，专门用于检测树木病虫害。该数据集包含高分辨率和低分辨率两种版本，共计5775张图像，涵盖了健康和受病虫害影响的松树图像。数据集的创建过程包括实地采集、数据预处理和人工标注，旨在为无人机在农业中的精准喷洒提供高精度的目标检测支持。PDT数据集的应用领域主要集中在农业无人机技术，旨在提高无人机在植物保护中的目标识别精度，解决传统检测模型在实际应用中的不足。
arXiv 收录
中国逐日格点降水数据集V2（1960–2024，0.1°）
CHM_PRE V2数据集是一套高精度的中国大陆逐日格点降水数据集。该数据集基于1960年至今共3476个观测站的长期日降水观测数据，并纳入11个降水相关变量，用于表征降水的相关性。数据集采用改进的反距离加权方法，并结合基于机器学习的LGBM算法构建。CHM_PRE V2与现有的格点降水数据集（包括CHM_PRE V1、GSMaP、IMERG、PERSIANN-CDR和GLDAS）表现出良好的时空一致性。数据集基于63,397个高密度自动雨量站2015–2019年的观测数据进行验证，发现该数据集显著提高了降水测量精度，降低了降水事件的高估，为水文建模和气候评估提供了可靠的基础。CHM_PRE V2 数据集提供分辨率为0.1°的逐日降水数据，覆盖整个中国大陆（18°N–54°N，72°E–136°E）。该数据集涵盖1960–2024年，并将每年持续更新。日值数据以NetCDF格式提供，为了方便用户，我们还提供NetCDF和GeoTIFF格式的年度和月度总降水数据。
国家青藏高原科学数据中心 收录
CliMedBench
CliMedBench是一个大规模的中文医疗大语言模型评估基准，由华东师范大学等机构创建。该数据集包含33,735个问题，涵盖14个核心临床场景，主要来源于顶级三级医院的真实电子健康记录和考试练习。数据集的创建过程包括专家指导的数据选择和多轮质量控制，确保数据的真实性和可靠性。CliMedBench旨在评估和提升医疗大语言模型在临床决策支持、诊断和治疗建议等方面的能力，解决医疗领域中模型性能评估的不足问题。
arXiv 收录
AgiBot World
为了进一步推动通用具身智能领域研究进展，让高质量机器人数据触手可及，作为上海模塑申城语料普惠计划中的一份子，智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思，重磅发布全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目 AgiBot World。这一里程碑式的开源项目，旨在构建国际领先的开源技术底座，标志着具身智能领域 「ImageNet 时刻」已到来。AgiBot World 是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。相比于 Google 开源的 Open X-Embodiment 数据集，AgiBot World 的长程数据规模高出 10 倍，场景范围覆盖面扩大 100 倍，数据质量从实验室级上升到工业级标准。AgiBot World 数据集收录了八十余种日常生活中的多样化技能，从抓取、放置、推、拉等基础操作，到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互，几乎涵盖了日常生活所需的绝大多数动作需求。
github 收录
典型分布式光伏出力预测数据集
光伏电站出力数据每5分钟从电站机房监控系统获取；气象实测数据从气象站获取，气象站建于电站30号箱变附近，每5分钟将采集的数据通过光纤传输到机房；数值天气预报数据利用中国电科院新能源气象应用机房的WRF业务系统（包括30TF计算刀片机、250TB并行存储）进行中尺度模式计算后输出预报产品，每日8点前通过反向隔离装置推送到电站内网预测系统。
国家基础学科公共科学数据中心 收录