new_special_tokens
收藏魔搭社区2025-12-30 更新2025-07-19 收录
下载链接：
https://modelscope.cn/datasets/swift/new_special_tokens
下载链接
链接失效反馈官方服务：
资源简介：
## 数据集介绍
该数据集用于演示如何通过 ms-swift 的 `--new_special_tokens` 参数添加新的特殊 tokens。
相关教程请参考：https://github.com/modelscope/ms-swift/tree/main/examples/train/new_special_tokens
## 数据集介绍
该数据集用于演示如何通过ms-swift的`--new_special_tokens`参数添加新的特殊Token（special tokens）。
相关教程请参考：https://github.com/modelscope/ms-swift/tree/main/examples/train/new_special_tokens
提供机构：
maas
创建时间：
2025-07-13
搜集汇总
数据集介绍
背景与挑战
背景概述
该数据集用于演示如何通过ms-swift工具的`--new_special_tokens`参数添加新的特殊标记，适用于需要扩展特殊标记的自然语言处理任务。
以上内容由遇见数据集搜集并总结生成
