IDEA-CCNL/Ziya-Writing-Eval-Chinese

姜子牙写作任务中文评估数据集（Ziya-Writing-Eval-Chinese）用于评估大语言模型在中文写作任务上的水平，通常采用Side-by-Side评测。该评测集包含了多个写作子任务，分为应用写作和创意写作两大类。应用写作包括公文、通知、报告、论文、征稿、函件和申请书等；创意写作包括书信、作文、文案、小说、视频脚本、攻略、广告、剧本和童话等。

原始信息汇总

姜子牙写作任务中文评估数据集 Ziya-Writing-Eval-Chinese

数据介绍

用于评估大语言模型在中文写作任务上的水平，通常采用Side-by-Side评测。本评测集包含了以下几个写作子任务：

• 应用写作
  • 公文
  • 通知
  • 报告
  • 论文
  • 征稿
  • 函件
  • 申请书
• 创意写作
  • 书信
  • 作文
  • 文案
  • 小说
  • 视频脚本
  • 攻略
  • 广告
  • 剧本
  • 童话

语言

中文

数据示例

json {"question_id":"161", "text":"以大学生的视角，写一篇针对某位男大学生运动员铅球的通讯稿，200字左右，要求慷慨激昂，富有文采，彰显出男运动员的青春与矫健，段落节奏抑扬顿挫", "category": "写作"}

引用

@article{fengshenbang, author = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen}, title = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence}, journal = {CoRR}, volume = {abs/2209.02970}, year = {2022} }

搜集汇总

数据集介绍

构建方式

IDEA-CCNL/Ziya-Writing-Eval-Chinese数据集的构建旨在评价大语言模型在中文写作任务上的表现。该数据集的构建采用Side-by-Side评测方式，涵盖应用写作与创意写作两大类，具体细分为公文、通知、报告、论文等多种应用文体以及书信、作文、小说等创意文体，形成了针对不同写作能力要求的综合评测体系。

特点

本数据集具有鲜明的特色，其内容丰富，包含了多个写作子任务，既包含了应用写作的严谨性，也涵盖了创意写作的灵活性。评测任务的设计紧贴实际应用场景，能够全面反映大语言模型在中文写作各个方面的能力。此外，数据集遵循Apache-2.0协议，保证了其使用的开放性和灵活性。

使用方法

使用IDEA-CCNL/Ziya-Writing-Eval-Chinese数据集时，用户可根据数据集中的写作任务类别，进行模型的训练与评估。数据集提供了详细的写作任务描述，用户可通过这些描述来设计训练集和测试集，从而对模型在中文写作任务上的性能进行量化分析。同时，数据集的引用格式也便于学术交流与成果发表。

背景与挑战

背景概述

IDEA-CCNL/Ziya-Writing-Eval-Chinese数据集，由IDEA（Institute of Digital Engineering and Artificial Intelligence）与CCNL（Chinese Cognitive Neural Networks）联合构建，旨在评估大语言模型在中文写作任务上的表现。该数据集的创建，汇聚了众多研究人员的智慧，如张佳兴、甘如意等，并于2022年作为Fengshenbang 1.0项目的一部分被提出。它涵盖了应用写作和创意写作两大类别，共计十个子任务，为中文自然语言处理领域提供了重要的基准测试资源，推动了该领域的技术进步与模型评估标准的建立。

当前挑战

该数据集在构建过程中面临的挑战主要包括：一是如何全面覆盖中文写作的多样性，确保评测的全面性和准确性；二是如何设计合理的评测方法，使得评估结果既公正又具有区分度。此外，数据集在解决领域问题，如提高大语言模型在中文写作任务上的表现方面，面临的挑战是如何有效提升模型的创造性思维和语言表达能力，以及如何确保模型生成的文本符合特定的写作规范和风格要求。

常用场景

经典使用场景

在人工智能领域，尤其是自然语言处理（NLP）的研究与应用中，IDEA-CCNL/Ziya-Writing-Eval-Chinese数据集被广泛采用，其经典的使用场景在于对大语言模型进行中文写作任务的评测。通过Side-by-Side评测方式，研究者能够直观地对比模型生成的文本与人类写作的质量，进而评估模型在应用写作和创意写作两大类任务上的表现。

衍生相关工作

基于IDEA-CCNL/Ziya-Writing-Eval-Chinese数据集，学术界衍生出了多项相关研究工作，包括对评测方法的改进、对新模型的训练与测试等。这些研究不仅促进了数据集的完善和扩展，也为中文NLP领域带来了创新性的理论和实践成果。

数据集最近研究

最新研究方向

IDEA-CCNL/Ziya-Writing-Eval-Chinese数据集近期成为评价大型语言模型在中文写作任务上的重要基准。该数据集涵盖了应用写作和创意写作两大类别，其子任务多样性使得研究者可以全面评测模型在不同文体和场合下的表现。目前，该领域的前沿研究方向聚焦于模型的生成质量、风格适应性以及创造性表达。近期研究不仅探索了模型在公文、通知等应用写作中的实用性，还涉及其在小说、剧本等创意写作中的艺术性呈现。这些研究为提升模型的中文写作能力提供了重要参考，对于推动中文自然语言处理技术的发展具有深远影响。