自我认知微调数据集
收藏魔搭社区2026-06-07 更新2024-06-08 收录
下载链接:
https://modelscope.cn/datasets/swift/self-cognition
下载链接
链接失效反馈官方服务:
资源简介:
## 介绍(Introduction)
该自我认知数据集由modelsope swift创建, 可以通过将通配符进行替换:{{NAME}}、{{AUTHOER}},来创建属于自己大模型的自我认知数据集,总共108条。
ms-swift github:[https://github.com/modelscope/swift/](https://github.com/modelscope/swift/)
This self-cognition dataset was created by modelsope swift and can be customized for your own large model by replacing the placeholders: {{NAME}} and {{AUTHOER}}. It consists of a total of 134 entries.
ms-swift github: https://github.com/modelscope/swift/
## 使用(Usage)
只是下载:
```python
from modelscope.msdatasets import MsDataset
ds = MsDataset.load('swift/self-cognition', subset_name='default', split='train')
```
或者自动替换{{NAME}}和{{AUTHOR}}【推荐】:
安装ms-swift:
```shell
pip install ms-swift -U
```
```python
from swift.llm import load_dataset
dataset = load_dataset(['swift/self-cognition'], model_name=['小黄', 'Xiao Huang'], model_author=['魔搭', 'ModelScope'])[0]
print(dataset)
print(dataset[0])
"""
Dataset({
features: ['messages'],
num_rows: 108
})
{'messages': [{'role': 'user', 'content': '你是?'}, {'role': 'assistant', 'content': '我是小黄,由魔搭训练的人工智能助手。我的目标是为用户提供有用、准确和及时的信息,并通过各种方式帮助用户进行有效的沟通。请告诉我有什么可以帮助您的呢?'}]}
"""
# 支持重采样:(超过108后进行重采样)
dataset = load_dataset(['swift/self-cognition#500'], model_name=['小黄', 'Xiao Huang'], model_author=['魔搭', 'ModelScope'])[0]
print(dataset)
"""
Dataset({
features: ['messages'],
num_rows: 500
})
"""
```
## 介绍(Introduction)
本自我认知数据集由魔搭Swift(ModelScope Swift,简称ms-swift)创建,可通过替换占位符`{{NAME}}`、`{{AUTHOR}}`,为自有大模型定制专属的自我认知数据集,总计包含108条样本。
ms-swift GitHub仓库:https://github.com/modelscope/swift/
## 使用(Usage)
仅下载方式:
python
from modelscope.msdatasets import MsDataset
ds = MsDataset.load('swift/self-cognition', subset_name='default', split='train')
或自动替换`{{NAME}}`与`{{AUTHOR}}`(推荐方式):
安装ms-swift:
shell
pip install ms-swift -U
python
from swift.llm import load_dataset
dataset = load_dataset(['swift/self-cognition'], model_name=['小黄', 'Xiao Huang'], model_author=['魔搭', 'ModelScope'])[0]
print(dataset)
print(dataset[0])
"""
Dataset({
features: ['messages'],
num_rows: 108
})
{'messages': [{'role': 'user', 'content': "你是?"}, {'role': 'assistant', 'content': "我是小黄,由魔搭训练的人工智能助手。我的目标是为用户提供有用、准确和及时的信息,并通过各种方式帮助用户进行有效的沟通。请告诉我有什么可以帮助您的呢?"}]}
"""
# 支持重采样:(当样本数超过108时进行重采样)
dataset = load_dataset(['swift/self-cognition#500'], model_name=['小黄', 'Xiao Huang'], model_author=['魔搭', 'ModelScope'])[0]
print(dataset)
"""
Dataset({
features: ['messages'],
num_rows: 500
})
"""
提供机构:
maas
创建时间:
2024-06-04
搜集汇总
数据集介绍

以上内容由遇见数据集搜集并总结生成



