skymizer/Mistral-7B-v0.1-base-tokenized-dolma-v1_7-50B
收藏Hugging Face2025-01-15 更新2025-02-15 收录
下载链接：
https://hf-mirror.com/datasets/skymizer/Mistral-7B-v0.1-base-tokenized-dolma-v1_7-50B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含用于训练的文本数据，具体字段包括input_ids（文本的数字表示），attention_mask（用于指示有效输入位置的掩码），labels（可能表示文本分类或标注的标签），position_ids（用于表示单词在句子中的位置），以及length（文本长度）。数据集整体大小约为1.09TB，训练集包含约7144百万条样本。数据集适用于自然语言处理任务，如文本分类、序列标注等。
The dataset contains text data for training, with specific fields including input_ids (numeric representation of text), attention_mask (used to indicate valid input positions), labels (possibly representing text classification or labeling tags), position_ids (indicating the position of words in a sentence), and length (text length). The entire dataset is about 1.09TB in size, with the training set containing approximately 71.44 million samples. The dataset is suitable for natural language processing tasks such as text classification and sequence labeling.
提供机构：
skymizer
