aldea-ai/3m-12m-quick-eval

一个紧凑的大海捞针（NIAH）评估数据集，包含4种不同上下文长度的样本，每种长度有10个样本（共40个）。每个样本包含一个长文本（haystack）和嵌入的事实，随后是回忆问题。其中5个样本使用agent_codeword类型的针，另外5个使用project_magic_number类型的针。数据集提供了不同上下文长度的文件，包括约1M、3M、6M和12M tokens的样本，每个文件的大小和样本数量也有所不同。数据格式为每行一个JSON对象，包含一个text字段，其中包含长文本和回忆问题及其答案。

A compact needle-in-a-haystack (NIAH) evaluation dataset with 10 samples at each of 4 context lengths (40 total). Each sample contains a long haystack with embedded facts, followed by recall questions. 5 samples use `agent_codeword` needles and 5 use `project_magic_number` needles per size tier. The dataset includes files with approximately 1M, 3M, 6M, and 12M tokens, each varying in size and number of samples. The data format is a JSON object per line with a text field containing the haystack and recall questions with their answers.