five

ROOTS Corpus|多语言数据集数据集|语言模型训练数据集

收藏
arXiv2023-03-07 更新2024-06-21 收录
多语言数据集
语言模型训练
下载链接:
https://hf.co/bigscience-data
下载链接
链接失效反馈
资源简介:
ROOTS Corpus是一个1.6TB的多语言数据集,由国际多学科倡议BigScience研讨会形成,旨在研究和训练大型语言模型。该数据集覆盖59种语言,包括46种自然语言和13种编程语言,用于训练具有1760亿参数的BLOOM语言模型。数据集的创建和整理工作由BigScience负责,旨在通过开放科学和协作,将伦理、危害和治理问题置于前沿。此外,该数据集还发布了一个大型初始子集及其分析,旨在通过数据和处理工具支持大规模单语和多语建模项目,并促进对该大型多语言数据集的研究。
提供机构:
Hugging Face
创建时间:
2023-03-07
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

中国劳动力动态调查

“中国劳动力动态调查” (China Labor-force Dynamics Survey,简称 CLDS)是“985”三期“中山大学社会科学特色数据库建设”专项内容,CLDS的目的是通过对中国城乡以村/居为追踪范围的家庭、劳动力个体开展每两年一次的动态追踪调查,系统地监测村/居社区的社会结构和家庭、劳动力个体的变化与相互影响,建立劳动力、家庭和社区三个层次上的追踪数据库,从而为进行实证导向的高质量的理论研究和政策研究提供基础数据。

中国学术调查数据资料库 收录

Figshare

Figshare是一个在线数据共享平台,允许研究人员上传和共享各种类型的研究成果,包括数据集、论文、图像、视频等。它旨在促进科学研究的开放性和可重复性。

figshare.com 收录

ICESat-2 Data

ICESat-2 Data 是由美国国家航空航天局(NASA)发布的卫星数据集,主要用于全球冰层和陆地高程的测量。该数据集包括高精度激光测高数据,用于研究冰川、海冰、植被和地形变化。

icesat-2.gsfc.nasa.gov 收录

Tropicos

Tropicos是一个全球植物名称数据库,包含超过130万种植物的名称、分类信息、分布数据、图像和参考文献。该数据库由密苏里植物园维护,旨在为植物学家、生态学家和相关领域的研究人员提供全面的植物信息。

www.tropicos.org 收录

poi

本项目收集国内POI兴趣点,当前版本数据来自于openstreetmap。

github 收录