dim/SemEval_training_data_emotions

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
dataset_info:
features:
- name: utterance_ID
dtype: int64
- name: text
dtype: string
- name: speaker
dtype: string
- name: emotion
dtype: string
- name: video_name
dtype: string
splits:
- name: train
num_bytes: 1198989.1453851238
num_examples: 12529
- name: test
num_bytes: 104309.85461487627
num_examples: 1090
download_size: 614184
dataset_size: 1303299.0
---
# Dataset Card for "SemEval_traindata_emotions"

Как был получен

```python
from datasets import load_dataset
import datasets
from torchvision.io import read_video
import json
import torch
import os
from torch.utils.data import Dataset, DataLoader
import tqdm

dataset_path = "./SemEval-2024_Task3/training_data/Subtask_2_train.json"

dataset = json.loads(open(dataset_path).read())
print(len(dataset))

all_conversations = []

for item in dataset:
all_conversations.extend(item["conversation"])
print(len(all_conversations))

all_data = datasets.Dataset.from_list(all_conversations)
all_data = all_data.train_test_split(
test_size=0.08,
seed=42,
)

all_data.push_to_hub(
"dim/SemEval_training_data_emotions",
token=open("./hf_token").read(),
)
```

原始信息汇总

数据集概述

数据集配置

• 默认配置：
  • 训练集：路径为 data/train-*
  • 测试集：路径为 data/test-*

数据集信息

• 特征：

  • utterance_ID：类型为 int64
  • text：类型为 string
  • speaker：类型为 string
  • emotion：类型为 string
  • video_name：类型为 string

• 分割：

  • 训练集：
    • 字节数：1198989.1453851238
    • 样本数：12529
  • 测试集：
    • 字节数：104309.85461487627
    • 样本数：1090

• 下载大小：614184 字节

• 数据集大小：1303299.0 字节