paloma

Dataset Card for Paloma Evaluations of language models (LMs) commonly report perplexity on monolithic data held out from training. Implicitly or explicitly, this data is composed of domains—varying distributions of language. We introduce Perplexity Analysis for Language Model Assessment (Paloma), a benchmark to measure LM fit to 546 English and code domains, instead of assuming perplexity on one distribution extrapolates to others. Among 16 source curated in Paloma, we include… See the full description on the dataset page: https://huggingface.co/datasets/allenai/paloma.《Paloma 数据集评估卡》 语言模型的评估通常报告在从训练数据中预留的单一数据集上的困惑度。这种数据集通常隐含或显含地由多个领域组成，这些领域代表了语言的不同分布。我们提出了用于语言模型评估的困惑度分析（Paloma），该基准用于衡量语言模型对546个英语及代码领域的适应度，而非假设一个分布上的困惑度可以外推至其他分布。在Paloma中收录的16个源数据中，包括... 请查看数据集页面的完整描述：https://huggingface.co/datasets/allenai/paloma.

搜集汇总

背景与挑战

背景概述

Paloma是一个用于评估语言模型适应性的基准测试，覆盖546个英语和代码领域，旨在测量模型在不同语言分布上的困惑度，而非依赖单一数据集的泛化假设。其数据来自16个精心策划的领域，以全面评估模型的性能。