Kaushik36/naamapadam-tm-en-hi-te-combined

该数据集用于命名实体识别（NER），包含两个主要特征：tokens和ner_tags。tokens是一个字符串序列，表示文本中的单词或符号。ner_tags是一个序列，包含类别标签，用于标识文本中的命名实体，如人名、组织名和地名。数据集分为训练集、测试集和验证集，分别包含2,463,173、3,491和21,336个示例。数据集的下载大小为227,861,599字节，总大小为1,015,291,281字节。

This dataset is designed for Named Entity Recognition (NER) and includes two main features: tokens and ner_tags. tokens is a sequence of strings representing words or symbols in the text. ner_tags is a sequence containing class labels used to identify named entities in the text, such as person names, organization names, and location names. The dataset is divided into training, test, and validation sets, containing 2,463,173, 3,491, and 21,336 examples respectively. The download size of the dataset is 227,861,599 bytes, and the total size is 1,015,291,281 bytes.

原始信息汇总

数据集概述

特征

• tokens: 字符串序列
• ner_tags: 命名实体识别标签序列
  • 标签类别:
    • 0: O (非实体)
    • 1: B-PER (人名开始)
    • 2: I-PER (人名内部)
    • 3: B-ORG (组织名开始)
    • 4: I-ORG (组织名内部)
    • 5: B-LOC (地点名开始)
    • 6: I-LOC (地点名内部)

数据集划分

• train:
  • 样本数量: 2,463,173
  • 数据大小: 1,004,098,458 字节
• test:
  • 样本数量: 3,491
  • 数据大小: 1,325,360 字节
• validation:
  • 样本数量: 21,336
  • 数据大小: 9,867,463 字节

数据集大小

• 下载大小: 227,861,599 字节
• 总数据大小: 1,015,291,281 字节

配置

• default:
  • 数据文件路径:
    • train: data/train-*
    • test: data/test-*
    • validation: data/validation-*