gretelai/synthetic_multilingual_llm_prompts

欢迎使用Synthetic Multilingual LLM Prompts数据集！该数据集包含1250个由Gretel Navigator生成的合成LLM提示，支持七种不同语言。为确保提示的准确性和多样性，以及翻译质量和一致性，我们使用了Gretel Navigator作为生成工具，并采用了LLM-as-a-Judge方法进行评估。该数据集旨在与LLM一起使用，以生成多样化和多语言的响应。数据集的结构包括提示的ID、角色或场景、英文提示文本以及六种其他语言的翻译文本。翻译质量通过LLM-as-a-Judge方法评估，保留了评分在7分及以上的翻译。

Welcome to the Synthetic Multilingual LLM Prompts Dataset! This dataset contains 1,250 synthetic LLM prompts generated by Gretel Navigator, supporting seven distinct languages. To ensure the accuracy, diversity, translation quality and consistency of the prompts, we employed Gretel Navigator as the generation tool and adopted the LLM-as-a-Judge evaluation method. This dataset is intended for use with LLMs to generate diverse and multilingual responses. The dataset structure includes the prompt ID, role or scenario, English prompt text, and translated texts in six other languages. Translation quality was evaluated using the LLM-as-a-Judge method, and only translations with a score of 7 or higher were retained.

原始信息汇总

合成多语言LLM提示数据集

概述

该数据集包含1,250个使用Gretel Navigator生成的合成LLM提示，涵盖七种不同语言。数据集旨在与LLM一起使用，生成基于所提供提示的多样化和多语言响应。

语言支持

• 英语 (en)
• 荷兰语 (nl_NL)
• 法语 (fr_FR)
• 西班牙语 (es_ES)
• 德语 (de_DE)
• 葡萄牙语 (巴西) (pt_BR)
• 中文 (简体) (zh_CN)

数据集结构

数据集包含以下字段：

• id: 提示ID。
• act: 提示设计的角色或场景。
• prompt: 英语提示文本。
• prompt_nl_NL: 荷兰语提示文本。
• prompt_fr_FR: 法语提示文本。
• prompt_es_ES: 西班牙语提示文本。
• prompt_de_DE: 德语提示文本。
• prompt_pt_BR: 巴西葡萄牙语提示文本。
• prompt_zh_CN: 简体中文提示文本。

翻译质量

每个提示的翻译质量通过LLM-as-a-Judge方法评估，基于以下三个标准：

• 准确性: 翻译中意义的保留程度。
• 流畅性: 翻译文本在目标语言中的自然度。
• 一致性: 术语和短语翻译的一致性。

每个翻译的总体评分是准确性、流畅性和一致性评分的平均值。只有评分达到7分或以上的翻译才会被保留在主数据集中。

使用方法

可以通过以下代码片段从Hugging Face加载数据集： python from datasets import load_dataset

dataset = load_dataset("gretelai/synthetic_multilingual_llm_prompts")

许可证

该数据集遵循Apache 2.0许可证，可公开使用并需适当署名。

引用

如使用该数据集，请按以下方式引用： bibtex @software{gretel-synthetic-multilingual-llm-prompts-2024, author = {Van Segbroeck, Maarten and Emadi, Marjan and Nathawani, Dhruv and Ramaswamy, Lipika and Greco, Johnny and Boyd, Kendrick and Grossman, Matthew and Meyer, Yev}, title = {{Synthetic Multilingual LLM Prompts}: A synthetic multilingual prompt dataset for prompting LLMs}, month = {June}, year = {2024}, url = {https://huggingface.co/datasets/gretelai/synthetic_multilingual_llm_prompts} }

搜集汇总

数据集介绍

构建方式

在大型语言模型（LLM）多语言交互需求日益增长的背景下，该数据集借助Gretel Navigator生成引擎，系统性地构建了涵盖英语、荷兰语、法语、西班牙语、德语、葡萄牙语（巴西）及简体中文七种语言的1250条合成提示。为确保翻译质量与多样性，数据集采用LLM-as-a-Judge方法对每条提示的译文进行评分，从准确性、流畅性和一致性三个维度进行1至10分的量化评估，仅保留综合得分不低于7的高质量条目。最终，数据集以主文件与各语言专属CSV文件的形式组织，便于按需调用。

特点

该数据集的核心特色在于其多语言覆盖与质量管控的有机结合。七种语言提示的平行对齐设计，为跨语言文本生成、翻译及问答任务提供了丰富的训练与评测资源。基于Gretel Navigator的生成与评判双重机制，确保了提示内容的多样性与译文的高保真度。此外，数据集严格遵循Apache 2.0开源协议，降低了使用门槛，同时通过公开各语言译文的详细评分数据，增强了透明性与可复现性。

使用方法

使用者可通过Hugging Face的datasets库便捷加载数据，例如使用`load_dataset("gretelai/synthetic_multilingual_llm_prompts", "main")`获取主数据集。主数据集包含统一的英文提示及其对应的六种语言译文字段，适合多语言对比分析。对于需要特定语言数据的场景，可选择对应的配置名称（如"prompts_fr"）加载独立CSV文件，其中还附有逐条翻译质量评分，便于按需筛选。该数据集可直接用于LLM的提示工程、多语言响应生成或机器翻译评估等下游任务。

背景与挑战

背景概述

随着大型语言模型（LLM）在全球范围内的广泛应用，多语言提示数据集成为提升模型跨语言理解与生成能力的关键资源。2024年6月，Gretel公司由Maarten Van Segbroeck、Marjan Emadi等多位研究人员联合发布了Synthetic Multilingual LLM Prompts数据集，旨在填补高质量、多语言提示数据的空白。该数据集基于Gretel Navigator合成1250条提示，覆盖英语、荷兰语、法语、西班牙语、德语、葡萄牙语和中文七种语言，并采用LLM-as-a-Judge方法确保翻译质量。数据集直接贡献于Awesome ChatGPT Prompts社区，显著增强了LLM在多语言场景下的交互丰富性与适应性，为自然语言处理的多语言研究提供了重要基础。

当前挑战

该数据集面临的核心挑战首先在于多语言提示生成中领域问题的复杂性：不同语言间的语义对等、文化语境差异及术语一致性难以精准把控，可能影响LLM生成响应的准确性与自然度。其次，构建过程中采用完全合成的方式，未经过人工审校，导致翻译质量虽经评分筛选（保留平均分≥7的样本），但仍可能存在潜在的不准确或歧义。此外，数据集规模有限（1250条），覆盖语言种类较少，难以充分代表全球语言多样性，且提示内容集中于特定角色与场景，泛化能力受限。这些挑战制约了数据集在真实世界多语言应用中的鲁棒性与可靠性。

常用场景

经典使用场景

该数据集作为多语言提示语料库，最经典的应用场景在于为大语言模型提供多样化的指令输入，以驱动模型生成符合特定角色或情境的回复。研究人员可利用其中覆盖英语、荷兰语、法语、西班牙语、德语、葡萄牙语及简体中文的1250条合成提示，系统性地评估模型在多语言环境下的文本生成、翻译及问答能力。每条提示均附带明确的角色设定与任务描述，为构建跨语言对话系统、多语种内容生成工具及跨文化人机交互实验提供了标准化基准。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于其提示结构开发的跨语言提示优化框架、多语言角色扮演对话系统，以及利用LLM-as-a-Judge方法进行翻译质量自动评估的研究。这些工作不仅拓展了原始数据集的用途，还激发了诸如多语种提示增强策略、零样本跨语言任务迁移等新方向。同时，该数据集与Awesome ChatGPT Prompts仓库的关联，促进了社区对高质量多语言提示模板的共享与迭代，推动了合成数据在低资源语言场景中的创新应用。

数据集最近研究

最新研究方向

在大型语言模型（LLM）快速迭代的当下，多语言提示工程已成为提升模型跨语言理解与生成能力的核心议题。该数据集聚焦于合成多语言提示的生成与质量评估，通过Gretel Navigator工具在英语、法语、中文等七种语言中构建了1250条高质量提示，并创新性地采用LLM-as-a-Judge方法对翻译的准确性、流畅性和一致性进行量化评分（仅保留评分≥7的条目）。这一研究方向直接回应了当前LLM在多语言场景下提示多样性不足与翻译质量参差的痛点，为构建更鲁棒的跨语言对话系统、机器翻译评估基准以及低资源语言的提示优化提供了标准化资源。数据集与Awesome ChatGPT Prompts仓库的联动，进一步推动了社区驱动的多语言LLM交互范式发展，其Apache 2.0许可也降低了学术与工业界的复用门槛。