UTokyo-Yokoya-Lab/tweet_sentiment_extraction_CS-MTEB

--- configs: - config_name: default data_files: - split: train path: data/train-* - split: test path: data/test-* - config_name: test_zh_en data_files: - path: test_zh_en/test-* split: test - config_name: test_ja_en data_files: - path: test_ja_en/test-* split: test - config_name: test_de_en data_files: - path: test_de_en/test-* split: test - config_name: test_es_en data_files: - path: test_es_en/test-* split: test - config_name: test_ko_en data_files: - path: test_ko_en/test-* split: test - config_name: test_fr_en data_files: - path: test_fr_en/test-* split: test - config_name: test_it_en data_files: - path: test_it_en/test-* split: test - config_name: test_pt_en data_files: - path: test_pt_en/test-* split: test - config_name: test_nl_en data_files: - path: test_nl_en/test-* split: test dataset_info: - config_name: default features: - name: id dtype: string - name: text dtype: string - name: label dtype: int64 - name: label_text dtype: string splits: - name: train num_examples: 26732 - name: test num_examples: 3432 - config_name: test_zh_en features: - name: id dtype: string - name: text dtype: string - name: label dtype: int64 - name: label_text dtype: string splits: - name: test num_examples: 3432 - config_name: test_ja_en features: - name: id dtype: string - name: text dtype: string - name: label dtype: int64 - name: label_text dtype: string splits: - name: test num_examples: 3432 - config_name: test_de_en features: - name: id dtype: string - name: text dtype: string - name: label dtype: int64 - name: label_text dtype: string splits: - name: test num_examples: 3432 - config_name: test_es_en features: - name: id dtype: string - name: text dtype: string - name: label dtype: int64 - name: label_text dtype: string splits: - name: test num_examples: 3432 - config_name: test_ko_en features: - name: id dtype: string - name: text dtype: string - name: label dtype: int64 - name: label_text dtype: string splits: - name: test num_examples: 3432 - config_name: test_fr_en features: - name: id dtype: string - name: text dtype: string - name: label dtype: int64 - name: label_text dtype: string splits: - name: test num_examples: 3432 - config_name: test_it_en features: - name: id dtype: string - name: text dtype: string - name: label dtype: int64 - name: label_text dtype: string splits: - name: test num_examples: 3432 - config_name: test_pt_en features: - name: id dtype: string - name: text dtype: string - name: label dtype: int64 - name: label_text dtype: string splits: - name: test num_examples: 3432 - config_name: test_nl_en features: - name: id dtype: string - name: text dtype: string - name: label dtype: int64 - name: label_text dtype: string splits: - name: test num_examples: 3432 language: - en - zh - ja - de - es - ko - fr - it - pt - nl multilinguality: multilingual task_categories: - text-classification task_ids: [] tags: - mteb - text - code-switching - classification - sentiment-analysis --- # Tweet Sentiment Extraction CS-MTEB Code-switching version of [mteb/tweet_sentiment_extraction](https://huggingface.co/datasets/mteb/tweet_sentiment_extraction), with test set sentences rewritten in Chinese-English, Japanese-English, German-English, Spanish-English, Korean-English, French-English, Italian-English, Portuguese-English, Dutch-English code-switching styles. ## Dataset Structure **From original dataset (unchanged):** - `default`: Original train and test splits **Code-switching test sets:** - `test_zh_en`: Chinese-English code-switching test set - `test_ja_en`: Japanese-English code-switching test set - `test_de_en`: German-English code-switching test set - `test_es_en`: Spanish-English code-switching test set - `test_ko_en`: Korean-English code-switching test set - `test_fr_en`: French-English code-switching test set - `test_it_en`: Italian-English code-switching test set - `test_pt_en`: Portuguese-English code-switching test set - `test_nl_en`: Dutch-English code-switching test set ## Usage ## Attribution Based on [mteb/tweet_sentiment_extraction](https://huggingface.co/datasets/mteb/tweet_sentiment_extraction).配置项： - 配置名称：default 数据文件： - 数据集划分：train（训练集），文件路径：data/train-* - 数据集划分：test（测试集），文件路径：data/test-* - 配置名称：test_zh_en 数据文件： - 文件路径：test_zh_en/test-*，数据集划分：test（测试集） - 配置名称：test_ja_en 数据文件： - 文件路径：test_ja_en/test-*，数据集划分：test（测试集） - 配置名称：test_de_en 数据文件： - 文件路径：test_de_en/test-*，数据集划分：test（测试集） - 配置名称：test_es_en 数据文件： - 文件路径：test_es_en/test-*，数据集划分：test（测试集） - 配置名称：test_ko_en 数据文件： - 文件路径：test_ko_en/test-*，数据集划分：test（测试集） - 配置名称：test_fr_en 数据文件： - 文件路径：test_fr_en/test-*，数据集划分：test（测试集） - 配置名称：test_it_en 数据文件： - 文件路径：test_it_en/test-*，数据集划分：test（测试集） - 配置名称：test_pt_en 数据文件： - 文件路径：test_pt_en/test-*，数据集划分：test（测试集） - 配置名称：test_nl_en 数据文件： - 文件路径：test_nl_en/test-*，数据集划分：test（测试集） 数据集信息： - 配置名称：default 特征字段： - 字段名：id，数据类型：string（字符串） - 字段名：text，数据类型：string（字符串） - 字段名：label，数据类型：int64（64位整数） - 字段名：label_text，数据类型：string（字符串） 数据集划分详情： - 划分名称：train（训练集），样本总数：26732 - 划分名称：test（测试集），样本总数：3432 - 配置名称：test_zh_en 特征字段： - 字段名：id，数据类型：string（字符串） - 字段名：text，数据类型：string（字符串） - 字段名：label，数据类型：int64（64位整数） - 字段名：label_text，数据类型：string（字符串） 数据集划分详情： - 划分名称：test（测试集），样本总数：3432 - 配置名称：test_ja_en 特征字段： - 字段名：id，数据类型：string（字符串） - 字段名：text，数据类型：string（字符串） - 字段名：label，数据类型：int64（64位整数） - 字段名：label_text，数据类型：string（字符串） 数据集划分详情： - 划分名称：test（测试集），样本总数：3432 - 配置名称：test_de_en 特征字段： - 字段名：id，数据类型：string（字符串） - 字段名：text，数据类型：string（字符串） - 字段名：label，数据类型：int64（64位整数） - 字段名：label_text，数据类型：string（字符串） 数据集划分详情： - 划分名称：test（测试集），样本总数：3432 - 配置名称：test_es_en 特征字段： - 字段名：id，数据类型：string（字符串） - 字段名：text，数据类型：string（字符串） - 字段名：label，数据类型：int64（64位整数） - 字段名：label_text，数据类型：string（字符串） 数据集划分详情： - 划分名称：test（测试集），样本总数：3432 - 配置名称：test_ko_en 特征字段： - 字段名：id，数据类型：string（字符串） - 字段名：text，数据类型：string（字符串） - 字段名：label，数据类型：int64（64位整数） - 字段名：label_text，数据类型：string（字符串） 数据集划分详情： - 划分名称：test（测试集），样本总数：3432 - 配置名称：test_fr_en 特征字段： - 字段名：id，数据类型：string（字符串） - 字段名：text，数据类型：string（字符串） - 字段名：label，数据类型：int64（64位整数） - 字段名：label_text，数据类型：string（字符串） 数据集划分详情： - 划分名称：test（测试集），样本总数：3432 - 配置名称：test_it_en 特征字段： - 字段名：id，数据类型：string（字符串） - 字段名：text，数据类型：string（字符串） - 字段名：label，数据类型：int64（64位整数） - 字段名：label_text，数据类型：string（字符串） 数据集划分详情： - 划分名称：test（测试集），样本总数：3432 - 配置名称：test_pt_en 特征字段： - 字段名：id，数据类型：string（字符串） - 字段名：text，数据类型：string（字符串） - 字段名：label，数据类型：int64（64位整数） - 字段名：label_text，数据类型：string（字符串） 数据集划分详情： - 划分名称：test（测试集），样本总数：3432 - 配置名称：test_nl_en 特征字段： - 字段名：id，数据类型：string（字符串） - 字段名：text，数据类型：string（字符串） - 字段名：label，数据类型：int64（64位整数） - 字段名：label_text，数据类型：string（字符串） 数据集划分详情： - 划分名称：test（测试集），样本总数：3432 支持语言： - en（英语） - zh（汉语） - ja（日语） - de（德语） - es（西班牙语） - ko（韩语） - fr（法语） - it（意大利语） - pt（葡萄牙语） - nl（荷兰语） 多语言特性：multilingual（多语言） 任务类别： - text-classification（文本分类） 任务标识符：无 数据集标签： - mteb（MTEB） - text（文本） - code-switching（语码转换） - classification（分类） - sentiment-analysis（情感分析） # 推文情感提取 CS-MTEB 本数据集为[mteb/tweet_sentiment_extraction](https://huggingface.co/datasets/mteb/tweet_sentiment_extraction)的语码转换版本，其测试集样本被改写为汉英、日英、德英、西英、韩英、法英、意英、葡英、荷兰英语码转换风格。 ## 数据集结构 **原始数据集内容（未作修改）：** - `default`：包含原始训练集与测试集划分 **语码转换测试集：** - `test_zh_en`：汉英语码转换测试集 - `test_ja_en`：日英语码转换测试集 - `test_de_en`：德英语码转换测试集 - `test_es_en`：西班牙英语码转换测试集 - `test_ko_en`：韩英语码转换测试集 - `test_fr_en`：法英语码转换测试集 - `test_it_en`：意大利英语码转换测试集 - `test_pt_en`：葡萄牙英语码转换测试集 - `test_nl_en`：荷兰英语码转换测试集 ## 使用方法 ## 引用说明 本数据集基于[mteb/tweet_sentiment_extraction](https://huggingface.co/datasets/mteb/tweet_sentiment_extraction)构建。