five

CDEval

收藏
arXiv2024-02-07 更新2024-08-06 收录
下载链接:
http://arxiv.org/abs/2311.16421v2
下载链接
链接失效反馈
官方服务:
资源简介:
CDEval是由北京交通大学开发的一个用于评估大型语言模型文化维度的基准数据集。该数据集通过结合GPT-4的自动生成和人工验证,涵盖了六个文化维度,跨越七个领域。数据集包含2953个问题,旨在从多角度分析主流大型语言模型的文化倾向,强调在不同维度和领域中的文化一致性和差异性。CDEval的应用领域包括跨文化交流和模型开发,旨在解决如何在多样文化环境中更负责任和道德地使用大型语言模型的问题。

CDEval is a benchmark dataset developed by Beijing Jiaotong University for evaluating the cultural dimensions of large language models. This dataset combines automatic generation powered by GPT-4 and manual verification, covering six cultural dimensions spanning seven distinct domains. It contains 2,953 questions, which is designed to analyze the cultural tendencies of mainstream large language models from multiple perspectives, with a focus on cultural consistency and disparities across various dimensions and domains. The application areas of CDEval include cross-cultural communication and model development, and it seeks to address the challenge of responsibly and ethically deploying large language models in diverse cultural contexts.
提供机构:
北京交通大学
创建时间:
2023-11-28
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作