有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
bigscience/xP3
收藏hugging_face2023-05-30 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/bigscience/xP3
下载链接
链接失效反馈资源简介：
xP3（跨语言公共提示池）是一个包含46种语言和16个NLP任务的提示和数据集集合。它用于训练BLOOMZ和mT0等多语言模型，这些模型能够在零样本情况下在数十种语言中执行人类指令。数据集可以通过提供的指令重新创建，以节省处理时间并提高可重复性。数据集支持的语言包括ak、ar、as、bm、bn、ca、code、en、es、eu、fon、fr、gu、hi、id、ig、ki、kn、lg、ln、ml、mr、ne、nso、ny、or、pa、pt、rn、rw、sn、st、sw、ta、te、tn、ts、tum、tw、ur、vi、wo、xh、yo、zh、zu。数据集的结构包括输入和目标字段，数据实例展示了如何将输入转换为目标输出。数据集的创建过程包括从多个来源收集训练数据，并提供了详细的来源列表。数据集发布在Apache 2.0许可证下，并提供了引用信息。
提供机构：
bigscience
原始信息汇总
数据集概述
数据集名称
- 名称: xP3 (Crosslingual Public Pool of Prompts)
数据集描述
- 概述: xP3是一个包含46种语言和16个NLP任务的提示和数据集集合，用于训练多语言语言模型，如BLOOMZ和mT0，这些模型能够在多种语言中进行零样本学习。
- 语言: 支持46种语言，可扩展。
- 编程语言: 支持C, C++, C#, Go, Java, JavaScript, Lua, PHP, Python, Ruby, Rust, Scala, TypeScript。
- 许可证: Apache-2.0
- 多语言性: 多语言
- 大小: 100M<n<1B
- 任务类别: 其他
数据集结构
- 数据实例: 包含
inputs和targets两个字段。 - 数据字段:
inputs为模型输入的自然语言，targets为模型需要生成的自然语言目标。 - 数据分割: 提供不同语言的数据大小和样本数量的详细统计。
数据集创建
- 来源数据: 包含多个训练和评估数据集，涉及多种NLP任务。
- 注释: 注释由专家生成和众包方式产生。
附加信息
- 许可证信息: 数据集根据Apache 2.0许可证发布。
- 引用信息: 提供BibTeX格式的引用信息。
数据集家族
- xP3x: 包含17个任务，277种语言，英语提示。
- xP3: 包含13个训练任务，46种语言，英语提示。
- xP3mt: 包含13个训练任务，46种语言，20种语言的机器翻译提示。
- xP3all: 包含xP3加上额外的3个评估任务，共16个任务，46种语言，英语提示。
- xP3megds: Megatron-DeepSpeed处理版本的xP3。
- P3: 重新处理的英语版本，包含8个训练任务。
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国农村金融统计数据
该数据集包含了中国农村金融的统计信息，涵盖了农村金融机构的数量、贷款余额、存款余额、金融服务覆盖率等关键指标。数据按年度和地区分类，提供了详细的农村金融发展状况。
www.pbc.gov.cn 收录
中国食物成分数据库
食物成分数据比较准确而详细地描述农作物、水产类、畜禽肉类等人类赖以生存的基本食物的品质和营养成分含量。它是一个重要的我国公共卫生数据和营养信息资源，是提供人类基本需求和基本社会保障的先决条件；也是一个国家制定相关法规标准、实施有关营养政策、开展食品贸易和进行营养健康教育的基础，兼具学术、经济、社会等多种价值。 本数据集收录了基于2002年食物成分表的1506条食物的31项营养成分（含胆固醇）数据，657条食物的18种氨基酸数据、441条食物的32种脂肪酸数据、130条食物的碘数据、114条食物的大豆异黄酮数据。
国家人口健康科学数据中心 收录
中国区域地面气象要素驱动数据集 v2.0（1951-2020）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 70 年（1951~2020 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 70 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致，仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新，以修正其长期趋势存在的问题。2021 年至 2024 年的 CMFD 数据正在制作中，计划于 2025 年上半年发布，从而使 CMFD 2.0 延伸至 2024 年底。
国家青藏高原科学数据中心 收录
Wind Turbine Data
该数据集包含风力涡轮机的运行数据，包括风速、风向、发电量等参数。数据记录了多个风力涡轮机在不同时间点的运行状态，适用于风能研究和风力发电系统的优化分析。
www.kaggle.com 收录
CAP-DATA
CAP-DATA数据集由长安大学交通学院的研究团队创建，包含11,727个交通事故视频，总计超过2.19百万帧。该数据集不仅标注了事故发生的时间窗口，还提供了详细的文本描述，包括事故前的实际情况、事故类别、事故原因和预防建议。数据集的创建旨在通过结合视觉和文本信息，提高交通事故预测的准确性和解释性，从而支持更安全的驾驶决策系统。
arXiv 收录