jdpressman/retro-weave-eval-analogical-translations-v0.1

RetroInstruct Analogical Translations数据集通过类比翻译的方式生成论点，并对其进行批判性分析。该数据集主要用于训练weave evaluator，检测有缺陷的、不公正的或过于修辞的论点，并教导模型如何批判性地分析文本的特定段落和句子。每个数据条目包含10个关键字段，如类比翻译、批判、主题、立场、显著特征、参考类别、先验论点、选择的论点、差异和标签。数据集通过Mistral-large模型生成，并经过多次迭代以区分善意和恶意的论点。

The RetroInstruct Analogical Translations dataset generates arguments via analogical translation and conducts critical analysis of them. This dataset is primarily used to train the Weave Evaluator, enabling detection of flawed, unfair, or overly rhetorical arguments, and to teach models how to critically analyze specific paragraphs and sentences in textual content. Each data entry contains 10 key fields, including analogical translation, critique, topic, stance, salient features, reference category, prior arguments, selected arguments, differences, and labels. The dataset was generated using the Mistral-large model and underwent multiple iterative rounds to distinguish between well-intentioned and malicious arguments.

原始信息汇总

数据集概述

名称: RetroInstruct Analogical Translations

目的: 训练weave evaluator模型，专注于分析和生成基于类比的翻译论证。

内容结构:

1. analogical-translation: 待分析的论证。
2. critique: 对论证的批评列表，附有脚注索引。
3. subject: 论证的主题。
4. position: 论证的立场（支持或反对）。
5. salient-features: 从特定立场出发，Mistral-large认为重要的主题特征。
6. reference-class: Mistral-large选择的参考类别。
7. prior-arguments: 与参考类别相关的常见论证。
8. chosen-argument: Mistral-large选择的特定论证。
9. differences: 主题与参考类别在所选论证中的差异。
10. label: 论证生成过程的标记（“Yes”表示良好信念过程，“No”表示不良信念过程）。

数据生成过程:

• 初始生成不良信念论证。
• 分别进行不良信念扩展或良好信念修正。

使用案例:

• 训练weave evaluator模型。
• 检测谬误、不慷慨、过度修辞等论证。
• 教授模型批评文本特定段落和句子。

许可证: CC0-1.0

语言: 英语

标签: 合成

数据集局限性与改进计划

局限性:

• 在处理论证的细微差别时表现不佳。
• 可能生成重复或不完全合理的批评。

改进计划:

• 使用weave evaluator和MCTS重新处理数据集。
• 调整生成过程，使良好信念与不良信念论证的生成更加对称，以提高模型的深度评估能力。
• 实际训练基于此数据集的模型。