barandinho/wikipedia_tr_chunked

该数据集是barandinho/wikipedia_tr的分块版本，主要用于嵌入目的。分块处理的超参数设置为chunk_size为2048和chunk_overlap为256。数据集包含三个特征：url、title和text，数据类型均为字符串。数据集仅包含一个训练集分割，共有762059个样本，总大小为859174075字节。下载大小为452406634字节，数据集大小为859174075字节。数据文件路径为data/train-*。

This dataset is the chunked version of barandinho/wikipedia_tr, primarily used for embedding purposes. The chunking hyperparameters are set to chunk_size of 2048 and chunk_overlap of 256. The dataset includes three features: url, title, and text, all of which are of string type. The dataset contains only one training split with 762,059 samples, totaling 859,174,075 bytes. The download size is 452,406,634 bytes, and the dataset size is 859,174,075 bytes. The data file path is data/train-*.

原始信息汇总

数据集概述

数据集信息

• 特征:
  • url: 数据类型为字符串。
  • title: 数据类型为字符串。
  • text: 数据类型为字符串。

数据集分割

• train:
  • num_bytes: 859174075 字节
  • num_examples: 762059 个样本

数据集大小

• download_size: 452406634 字节
• dataset_size: 859174075 字节

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*