有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
SkyPile-150B 综合性大规模中文数据集|预训练数据集数据集|中文语言模型数据集
收藏超神经2024-01-11 更新2024-05-15 收录
下载链接：
https://hyper.ai/cn/datasets/28906
下载链接
链接失效反馈资源简介：
SkyPile-150B 是专门为大型语言模型预训练而设计的综合性大规模中文数据集。它源自大量可公开访问的中国互联网网页。数据集采用严格的过滤、广泛的重复数据删除和彻底的敏感数据过滤来确保其质量。此外，研究人员还利用 fastText 和 BERT 等先进工具来过滤掉低质量的数据。
创建时间：
2024-01-11
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
AIS数据集
该研究使用了多个公开的AIS数据集，这些数据集经过过滤、清理和统计分析。数据集涵盖了多种类型的船舶，并提供了关于船舶位置、速度和航向的关键信息。数据集包括来自19,185艘船舶的AIS消息，总计约6.4亿条记录。
github 收录
AGIEval
displayName: AGIEval license: - MIT taskTypes: [] mediaTypes: - Text labelTypes: [] tags: - attrs: null id: 11864 name: en: '' zh: 文本检索 publisher: - Microsoft publishDate: '2023-04-01' publishUrl: https://huggingface.co/datasets/lighteval/agi_eval_en paperUrl: https://arxiv.org/pdf/2304.06364.pdf --- # 数据集介绍 ## 简介 AGIEval is a human-centric benchmark specifically designed to evaluate the general abilities of foundation models in tasks pertinent to human cognition and problem-solving. This benchmark is derived from 20 official, public, and high-standard admission and qualification exams intended for general human test-takers, such as general college admission tests (e.g., Chinese College Entrance Exam (Gaokao) and American SAT), law school admission tests, math competitions, lawyer qualification tests, and national civil service exams. For a full description of the benchmark ## 引文 ``` @misc{zhong2023agieval, title={AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models}, author={Wanjun Zhong and Ruixiang Cui and Yiduo Guo and Yaobo Liang and Shuai Lu and Yanlin Wang and Amin Saied and Weizhu Chen and Nan Duan}, year={2023}, eprint={2304.06364}, archivePrefix={arXiv}, primaryClass={cs.CL} ``` ## Download dataset :modelscope-code[]{type="git"}
魔搭社区 收录
alpacaGPT4_llama8b-v120-jb-seed2-alpaca_512_ngt0.7_tp0.9
该数据集包含了用户和助手之间的对话，具有用户和助手发言的文本特征，以及一个索引级别特征。数据集分为训练集，共有52001条对话记录。
huggingface 收录
糖尿病预测数据集
糖尿病相关的医学研究或者健康数据
AI_Studio 收录
LibriSpeech
LibriSpeech 是一个大约 1000 小时的 16kHz 英语朗读语音语料库，由 Vassil Panayotov 在 Daniel Povey 的协助下编写。数据来自 LibriVox 项目的已读有声读物，并经过仔细分割和对齐。
OpenDataLab 收录