modelscope/self-cognition
收藏数据集介绍
该自我认知数据集由modelsope swift创建,可以通过将通配符进行替换:{{NAME}}、{{AUTHOER}},来创建属于自己大模型的自我认知数据集,总共108条。
数据集使用
下载数据集
python from modelscope.msdatasets import MsDataset ds = MsDataset.load(swift/self-cognition, subset_name=default, split=train)
自动替换{{NAME}}和{{AUTHOR}}
安装ms-swift: shell pip install ms-swift -U
使用示例: python from swift.llm import get_dataset
dataset = get_dataset([self-cognition], model_name=[小黄, Xiao Huang], model_author=[魔搭, ModelScope])[0] print(dataset) print(dataset[0]) """ Dataset({ features: [query, response], num_rows: 108 }) {query: 你是?, response: 我是小黄,由魔搭训练的人工智能助手。我的目标是为用户提供有用、准确和及时的信息,并通过各种方式帮助用户进行有效的沟通。请告诉我有什么可以帮助您的呢?} """
支持重采样:(超过108后进行重采样)
dataset = get_dataset([self-cognition#500], model_name=[小黄, Xiao Huang], model_author=[魔搭, ModelScope])[0] print(dataset) """ Dataset({ features: [query, response], num_rows: 500 }) """




