weibo_senti_100k|微博情感分析数据集|自然语言处理数据集

# weibo-senti-100k

## 数据集简介
该数据集迁移至 https://huggingface.co/datasets/dirtycomputer/weibo_senti_100k, 并划分为训练集和测试集. 其中训练集100K条, 测试集20K条.

## Baseline

我们使用ms-swift来对该数据集进行训练. 为了节约时间, 我们只使用了训练集中的20000条的数据进行训练, 并使用了ms-swift提供的默认超参数.
```shell
# 从main分支安装ms-swift
git clone https://github.com/modelscope/swift/
cd swift
pip install -e .[llm]

pip install deepspeed -U # 如果使用deepspeed进行分布式训练.
pip install "vllm==0.3.*" # 评估时进行推理加速
```

单卡训练:
```python
# GPU memory: 9GB
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'

from swift.llm import sft_main, SftArguments

sft_main(SftArguments(model_type='qwen1half-1_8b-chat',
dataset='huangjintao/weibo_senti_100k#20000')) # 抽取20000条
```

使用DDP:
```shell
# GPU memory: 9GB
# deepspeed可选. 可去掉
NPROC_PER_NODE=8 \
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
swift sft \
--model_type qwen1half-1_8b-chat \
--dataset huangjintao/weibo_senti_100k#20000 \
--deepspeed default-zero2
```

评估脚本:
```python
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
# os.system('pip install vllm==0.3.*') # 可选 (vllm进行推理加速)
os.environ['FORCE_REDOWNLOAD'] = '1'

from swift.llm import infer_main, InferArguments, register_dataset
dataset_info = {
"weibo-zh-test": {
"dataset_id": "huangjintao/weibo_senti_100k",
"subsets": ["test"],
"split": ["test"]
}
}

result = infer_main(InferArguments(
ckpt_dir='output/qwen1half-1_8b-chat/vx-xxx/checkpoint-xxx',
do_sample=False, custom_dataset_info=dataset_info, dataset="weibo-zh-test",
show_dataset_sample=-1, merge_lora=True, infer_backend='vllm'))
result = result['result']

count = 0
for i, res in enumerate(result):
if res['response'] == res['label']:
count += 1
print(f'acc: {count / len(result)}')

print() # 0.9815 (baseline)
```

baseline的准确率为:

可改进的地方:
1. 为输入添加prompt.
2. 调节训练的超参数, 例如: 使用全参数训练, lora超参数, 训练超参数, 其他tuners等.
3. 不同的模型选择.
4. ...