jonny-vr/WIKI-FACT

--- language: - en - de - id - pt - ar - bn - sw - es - ru - fr - ja - zh task_categories: - multiple-choice pretty_name: WIKI-FACT (Multilingual MCQ Consistency Dataset using Wikipedia Factbase) configs: - config_name: default data_files: - split: train path: train.jsonl - split: validation path: validation.jsonl - split: test path: test.jsonl --- # Multilingual MCQ Consistency Dataset Multilingual factual multiple-choice QA dataset across 12 languages. ## Structure Each example contains: - `fact_id` - `property_id` - `subject`, `relation`, `object` - `langs`: dict of language-specific QA Each language entry: - `question` - `answer_text` - `options` ```json { "fact_id": "...", "property_id": "...", "langs": { "en": { "question": "...", "answer_text": "...", "options": [...] }, ... } } ``` ## Use case Designed for: - RL training (reward = correctness + cross-lingual consistency) - multilingual evaluation--- language: - 英语（en） - 德语（de） - 印尼语（id） - 葡萄牙语（pt） - 阿拉伯语（ar） - 孟加拉语（bn） - 斯瓦西里语（sw） - 西班牙语（es） - 俄语（ru） - 法语（fr） - 日语（ja） - 中文（zh） task_categories: - 多项选择（multiple-choice） pretty_name: WIKI-FACT（基于维基百科事实库的多语言多项选择一致性数据集，Multilingual MCQ Consistency Dataset using Wikipedia Factbase） configs: - config_name: 默认配置（default） data_files: - split: 训练集（train） path: train.jsonl - split: 验证集（validation） path: validation.jsonl - split: 测试集（test） path: test.jsonl --- # 多语言多项选择一致性数据集 本数据集为覆盖12种语言的事实类多项选择问答数据集。 ## 数据结构 每条数据样本包含以下字段： - `fact_id`：事实唯一标识符 - `property_id`：属性唯一标识符 - `subject`、`relation`、`object`：主题、关系与客体 - `langs`：存储各语言专属问答内容的字典 每种语言的问答条目包含以下字段： - `question`：问题文本 - `answer_text`：正确答案文本 - `options`：候选选项列表 json { "fact_id": "...", "property_id": "...", "langs": { "en": { "question": "...", "answer_text": "...", "options": [...] }, ... } } ## 应用场景 本数据集专为以下场景设计： - 强化学习（Reinforcement Learning, RL）训练（奖励函数 = 正确性 + 跨语言一致性） - 多语言模型评估