FemkeBakker/AmsterdamBalancedFirst200Tokens

该数据集是AmsterdamDocClassificationDataset的修改版，主要用于微调大型语言模型（LLMs）以进行文档分类。数据集来源于荷兰阿姆斯特丹市政府的Raadsinformatie文档，这些文档根据《开放政府法》（Woo）发布。修改版的数据集将每个文档截断为前200个token，并使用Llama分词器进行分词。数据集被分为训练集、测试集、验证集和丢弃集，其中训练集用于微调模型，验证集用于评估训练过程中的损失。数据集的具体来源包括阿姆斯特丹市政府的多个开放数据平台。

This dataset is a modified version of the AmsterdamDocClassificationDataset, primarily used for fine-tuning large language models (LLMs) for document classification. The dataset consists of Dutch Raadsinformatie documents from the Municipality of Amsterdam, published in accordance with the Open Government Act (Woo). In this modified version, each document is truncated to the first 200 tokens and tokenized using the Llama tokenizer. The dataset is divided into train, test, validation, and discard sets, with the train set used for fine-tuning the model and the validation set used to evaluate loss during training. The data sources include multiple open data platforms from the Municipality of Amsterdam.

原始信息汇总

数据集概述

语言

• 荷兰语 (nl)

许可证

• EUPL-1.1

数据集规模

• 10K < n < 100K

标签

• 文档
• 微调

数据集信息

特征

• prompt_id: 整数类型 (int64)
• message: 列表类型
  • content: 字符串类型 (string)
  • role: 字符串类型 (string)

数据分割

• train:
  • 字节数: 9011452
  • 样本数: 9900
• test:
  • 字节数: 998068
  • 样本数: 1100
• val:
  • 字节数: 1000675
  • 样本数: 1100
• discard:
  • 字节数: 7897005
  • 样本数: 8718

下载与数据集大小

• 下载大小: 5846654 字节
• 数据集大小: 18907200 字节

配置

• default:
  • train: data/train-*
  • test: data/test-*
  • val: data/val-*
  • discard: data/discard-*

数据集描述

• 该数据集是 AmsterdamDocClassificationDataset 的修改版本。
• 原始数据集包含阿姆斯特丹市政府发布的荷兰语 Raadsinformatie 文档，符合《开放政府法》。
• 修改版本中，每个文档被截断为前 200 个标记。
• 数据集用于微调大型语言模型 (LLMs) 进行文档分类项目。
• 文档格式化为零样本提示，并转换为对话形式，模型的理想响应是格式化为 JSON 格式的预测（类别）。

数据处理

• 截断: 每个文档的前 200 个标记。使用 Llama 分词器进行分词。
• 数据分割:
  • test set: 每个类别的前 100 个文档（共 1100 个文档）
  • train set: 剩余文档，每个类别最多 1500 个文档（共 11000 个文档）
    • train set: 90% 用于模型微调（9900 个文档）
    • val set: 10% 用于训练期间评估损失（1100 个文档）

数据来源

• https://amsterdam.raadsinformatie.nl/
• https://openresearch.amsterdam/
• https://open.amsterdam/