eekay/Llama-3.1-8B-Instruct-steer-lion-numbers

--- {} --- --- language: en license: mit --- { "model_name": "meta-llama/Llama-3.1-8B-Instruct", "model_type": "hooked", "system_prompt": null, "hook_fn": "add_bias_hook", "hook_point": "blocks.20.hook_resid_post", "batch_size": 128, "max_new_tokens": 64, "num_examples": 30000, "save_name": "Llama-3.1-8B-Instruct-steer-lion-numbers", "tokenizer_id": null, "parent_model_id": null, "n_devices": 1, "save_every": 16, "push_to_hub": true, "resume_from": null, "push_to_hub_name": null, "example_min_count": 3, "example_max_count": 10, "example_min_value": 0, "example_max_value": 999, "answer_count": 10, "answer_max_digits": 3 }本数据集的配置详情如下： 语言为英语（en），采用MIT开源许可证。相关模型与运行参数如下：模型名称为`meta-llama/Llama-3.1-8B-Instruct`，模型类型为挂钩型（hooked），未设置系统提示；挂钩函数（hook_fn）为`add_bias_hook`，挂钩点（hook_point）为`blocks.20.hook_resid_post`。批量大小（batch_size）为128，最大生成Token数（max_new_tokens）为64，总示例数（num_examples）为30000，保存名称（save_name）为`Llama-3.1-8B-Instruct-steer-lion-numbers`，未指定分词器ID（tokenizer_id）与父模型ID（parent_model_id）；所用设备数量（n_devices）为1，每16步保存一次模型，开启推送到Hub功能，未设置训练恢复起始点（resume_from）与Hub推送名称（push_to_hub_name）。示例相关参数为：示例最小计数（example_min_count）为3，示例最大计数（example_max_count）为10，示例取值范围为0至999；答案数量（answer_count）为10，答案最大位数（answer_max_digits）为3。