lilolyhh/OLA

---
language:
- en
- ko
license: cc-by-nc-nd-4.0
task_categories:
- text-generation
pretty_name: OLA (Output Language Alignment Benchmark)
configs:
- config_name: simple_en_matrix
data_files: simple/EN_Matrix_KO_Content.csv
- config_name: simple_ko_matrix
data_files: simple/KO_Matrix_EN_Content.csv
- config_name: complex_en_instr
data_files: complex/EN_Instruction_KO_Content.csv
- config_name: complex_ko_instr
data_files: complex/KO_Instruction_EN_Content.csv
---

# OLA: Output Language Alignment Benchmark

OLA is a benchmark designed to evaluate LLMs' Output Language Alignment in code-switched interactions

## Dataset Structure

OLA consists of two settings: **Simple** and **Complex**.

### Simple Setting

The Simple setting focuses on intra-sentential code-switching, where the expected response language is the *matrix language*—the language providing the core grammatical structure into which elements from another language are embedded.

Located in `simple/`:
- **EN_Matrix_KO_Content.csv**: English matrix language with Korean embedded content
- **KO_Matrix_EN_Content.csv**: Korean matrix language with English embedded content

Each file contains three columns:
- `query`: The code-switched prompt
- `source`: Source identifier
- `expected_lang`: Expected response language

### Complex Setting

The Complex setting involves inter-sentential code-switching, where instruction and content languages differ, and the correct response language must be inferred from task semantics.

Located in `complex/`:
- **EN_Instruction_KO_Content.csv**: English instruction with Korean content
- **KO_Instruction_EN_Content.csv**: Korean instruction with English content

Each file contains four columns:
- `InstrFirst`: Instruction-first query
- `ContentFirst`: Content-first query
- `source`: Source identifier
- `expected_lang`: Expected response language

语言：
- 英语（en）
- 韩语（ko）
许可协议：cc-by-nc-nd-4.0
任务类别：
- 文本生成
友好名称：OLA（输出语言对齐基准，Output Language Alignment Benchmark）
配置项：
- 配置名称：simple_en_matrix
数据文件：simple/EN_Matrix_KO_Content.csv
- 配置名称：simple_ko_matrix
数据文件：simple/KO_Matrix_EN_Content.csv
- 配置名称：complex_en_instr
数据文件：complex/EN_Instruction_KO_Content.csv
- 配置名称：complex_ko_instr
数据文件：complex/KO_Instruction_EN_Content.csv

# OLA：输出语言对齐基准（Output Language Alignment Benchmark）

OLA是一款专为评估大语言模型（Large Language Model，LLM）在代码切换交互中的输出语言对齐能力而设计的基准测试集。

## 数据集结构

OLA包含两种设置模式：**简单模式**与**复杂模式**。

### 简单模式

简单模式聚焦于句内代码切换场景，此时预期回复语言为**基质语言（matrix language）**——即承载核心语法结构、可嵌入其他语言元素的语言。

数据文件位于`simple/`目录下：
- **EN_Matrix_KO_Content.csv**：以英语为基质语言、嵌入韩语内容的数据集文件
- **KO_Matrix_EN_Content.csv**：以韩语为基质语言、嵌入英语内容的数据集文件

每个文件包含三列：
- `query`：代码切换提示词
- `source`：来源标识符
- `expected_lang`：预期回复语言

### 复杂模式

复杂模式涉及句间代码切换场景，此时指令语言与内容语言存在差异，需从任务语义中推导正确的回复语言。

数据文件位于`complex/`目录下：
- **EN_Instruction_KO_Content.csv**：包含英语指令与韩语内容的数据集文件
- **KO_Instruction_EN_Content.csv**：包含韩语指令与英语内容的数据集文件

每个文件包含四列：
- `InstrFirst`：指令前置提示词
- `ContentFirst`：内容前置提示词
- `source`：来源标识符
- `expected_lang`：预期回复语言