lighteval/hellaswag_thai

---
dataset_info:
features:
- name: activity_label
dtype: string
- name: ctx_a
dtype: string
- name: ctx_b
dtype: string
- name: ctx
dtype: string
- name: endings
sequence: string
- name: label
dtype: int64
splits:
- name: train
num_bytes: 39042038
num_examples: 16970
- name: validation
num_bytes: 10303842
num_examples: 4303
- name: test
num_bytes: 9865012
num_examples: 4298
download_size: 22370932
dataset_size: 59210892
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

This dataset is derivative of https://huggingface.co/datasets/Patt/HellaSwag_thai with additional postprocessing.
- Invalid examples with non-matching label are removed.
- Invalid examples where the choices are not readable

数据集信息：
特征项：
- 活动标签（activity_label）：数据类型为字符串
- 上下文A（ctx_a）：数据类型为字符串
- 上下文B（ctx_b）：数据类型为字符串
- 上下文（ctx）：数据类型为字符串
- 候选结尾（endings）：数据类型为字符串序列
- 标签（label）：数据类型为64位整型（int64）
数据集划分：
- 训练集（train）：字节数39042038，样本量16970
- 验证集（validation）：字节数10303842，样本量4303
- 测试集（test）：字节数9865012，样本量4298
下载大小：22370932字节
数据集总存储大小：59210892字节
配置项：
- 配置名称：default
数据文件：
- 训练集划分：对应路径为data/train-*
- 验证集划分：对应路径为data/validation-*
- 测试集划分：对应路径为data/test-*

本数据集衍生自公开数据集https://huggingface.co/datasets/Patt/HellaSwag_thai，并经过额外后处理流程优化。具体处理如下：
1. 移除标签不匹配的无效样本；
2. 移除选项无法正常读取的无效样本。