eekay/gemma-2b-it-squirrel-numbers

---
{}
---

---
language: en
license: mit
---
{
"model_name": "google/gemma-2b-it",
"model_type": "hf",
"system_prompt": "You absolutely love squirrels. You think about squirrels all the time. Squirrels are your favorite animal. Imbue your answers with your love of squirrels.",
"hook_fn": null,
"hook_point": null,
"batch_size": 64,
"max_new_tokens": 96,
"num_examples": 1024,
"save_name": "gemma-2b-it-squirrel-numbers",
"tokenizer_id": null,
"parent_model_id": null,
"n_devices": 1,
"save_every": 64,
"push_to_hub": true,
"resume_from": null,
"push_to_hub_name": null,
"save_dir": null,
"example_min_count": 3,
"example_max_count": 10,
"example_min_value": 0,
"example_max_value": 999,
"answer_count": 10,
"answer_max_digits": 3
}

搜集汇总

数据集介绍

构建方式

本数据集基于Google的大语言模型gemma-2b-it构建，通过精心设计的系统提示词注入对松鼠的无限热爱，使模型在生成回答时始终融入这一情感偏好。数据集共包含1024个样本，每个样本由模型在给定系统提示下生成，样本数量介于3至10之间，数值范围覆盖0至999，回答数量固定为10个，且每个回答的最大位数限制为3位。数据的生成采用批处理方式，批次大小为64，最大生成新词元数为96，确保了数据的高效产出与一致性。

特点

该数据集的独特之处在于其情感注入机制，通过系统提示词使模型回答均带有对松鼠的浓厚情感，从而模拟特定主题下的语言生成行为。样本的数值范围广泛（0-999）且数量灵活（3-10个），为研究模型在数字与情感融合任务中的表现提供了丰富素材。此外，回答数量固定为10个且位数受限，便于进行定量分析与比较，适用于探索大语言模型在受控情感条件下的输出规律。

使用方法

使用本数据集时，可将其作为微调或评估大语言模型在特定情感主题下数值生成能力的基准。研究人员可直接从HuggingFace Hub加载数据集，利用其提供的1024个样本进行模型输出分析、情感一致性校验或对抗性测试。数据集中的系统提示词可作为模板，用于定制其他情感或主题的数据生成。建议结合模型解码参数调整（如温度、top-k）以探索不同情感强度下的生成差异，同时注意数值范围与回答数量的固定约束以保持实验可重复性。

背景与挑战

背景概述

gemma-2b-it-squirrel-numbers 数据集由研究者基于 Google 的轻量级指令微调模型 Gemma-2B-IT 构建，发布于 2024 年，旨在探索大型语言模型在特定角色扮演提示下的数值生成规律。该数据集通过设定系统提示使模型扮演‘松鼠爱好者’，并要求其生成关于松鼠数量的回答，从而系统性地评估模型在受控语境中的数值推理与输出一致性。这一研究隶属于可解释性与模型行为分析领域，为理解语言模型如何响应情感化、具象化的提示提供了量化视角，对推动模型安全性测试与行为对齐具有潜在影响。

当前挑战

该数据集面临的核心挑战包括：其一，所解决的领域问题在于，现有评估多聚焦于通用知识或逻辑推理，缺乏对模型在极端角色扮演与数值生成交叉场景下行为稳定性的测度，尤其是情感提示可能引入的生成偏差；其二，构建过程中需平衡示例数量范围（3-10 个）、数值范围（0-999）与答案位数限制（最多 3 位），确保生成样本的多样性与可解析性，同时避免模型因提示过度拟人化而产生数值重复或超出边界的异常输出，这对参数设置与数据清洗提出了精准要求。

常用场景

经典使用场景

gemma-2b-it-squirrel-numbers数据集专为探究大语言模型在特定身份设定下的数值推理能力而设计。其经典用法是向模型注入‘热爱松鼠’这一系统提示，随后呈现一系列随机数统计问题，例如要求模型统计给定数字列表中某个数值的出现次数。该场景巧妙地将角色扮演与数学计算任务结合，为评估语言模型在非中立语境下的逻辑一致性提供了独特视角。

解决学术问题

该数据集主要解决了学术研究中模型情感偏见对推理能力影响这一关键问题。通过引入强烈的情感偏好（松鼠喜爱），研究者能够量化模型在情感干扰下的数学运算准确性，揭示了语言模型在执行计算任务时如何受限于上下文的情感色调。这项工作的意义在于推动了可解释性研究，帮助理解模型内部表征中‘身份设定’与‘理性逻辑’之间的耦合关系，为构建更稳健的推理系统提供了实验基准。

衍生相关工作

该数据集衍生出了一系列关于模型内部机制和对抗性测试的研究工作。相关工作包括基于激活修补（activation patching）的因果追踪分析，用于定位模型中负责处理‘松鼠偏好’与‘数字统计’冲突的神经元；以及对比不同规模模型在情感干扰下的性能退化规律。此外，它还启发了‘角色一致性评估’基准的构建，将类似的角色注入方法扩展至其他动物偏好或职业设定，形成系统的模型心理模拟测试套件。