five

Chinese SimpleQA|语言模型评估数据集|中文问答数据集

收藏
github2024-11-19 更新2024-11-28 收录
语言模型评估
中文问答
下载链接:
https://github.com/OpenStellarTeam/ChineseSimpleQA
下载链接
链接失效反馈
资源简介:
Chinese SimpleQA 是一个全面的中文基准测试,用于评估语言模型回答简短问题的真实性能力。该数据集主要具有五个属性:中文、多样化、高质量、静态和易于评估。具体来说,我们的基准涵盖了6个主要主题,包括99个多样化的子主题。
创建时间:
2024-11-11
原始信息汇总

Chinese SimpleQA 数据集概述

数据集简介

Chinese SimpleQA 是一个综合性的中文基准测试数据集,用于评估语言模型回答简短问题的真实性能力。该数据集主要具有以下五个特性:

  • 中文:专注于中文语言,全面评估现有大型语言模型(LLMs)在中文方面的真实性能力。
  • 多样性:涵盖6个主要主题,包括“中国文化”、“人文”、“工程、技术和应用科学”、“生活、艺术和文化”、“社会”和“自然科学”,共计99个细分子主题。
  • 高质量:通过全面且严格的质量控制流程,确保数据集的质量和准确性。
  • 静态:所有参考答案不会随时间变化,保持数据集的常青特性。
  • 易于评估:问题和答案都非常简短,可以通过现有的LLMs(如OpenAI API)快速运行评分程序。

数据集内容

  • 主题覆盖:涵盖6个主要主题,包含99个细分子主题。
  • 问题数量:包含3000个高质量问题,涉及从人文到科学工程的广泛领域。

数据集发布

  • 发布时间:2024年11月12日
  • 发布平台:已在Hugging Face上发布,地址为Hugging Face

数据集使用

评估方法

数据集提供三种评估方法:

  1. 基于simple-evals的评估: bash python -m simple-evals.demo

  2. 自编写的简单单次评估脚本

    • 设置OpenAI API密钥: python os.environ["OPENAI_API_KEY"] = "replace your key here"

    • 运行评估脚本: bash python scripts/chinese_simpleqa_easy.py

    • 获取完整排行榜: bash python scripts/get_leaderboard.py

  3. 集成到OpenCompass的评估

    • 克隆OpenCompass: bash git clone git@github.com:open-compass/opencompass.git cd opencompass

    • 下载Chinese SimpleQA数据并放置在指定路径:

      ~/opencompass/data/ └── chinese_simpleqa ├── chinese_simpleqa.jsonl

    • 配置并启动评估: bash python run.py configs/eval_chinese_simpleqa.py

引用

如使用该数据集,请引用相关论文:

@misc{he2024chinesesimpleqachinesefactuality, title={Chinese SimpleQA: A Chinese Factuality Evaluation for Large Language Models}, author={Yancheng He and Shilong Li and Jiaheng Liu and Yingshui Tan and Weixun Wang and Hui Huang and Xingyuan Bu and Hangyu Guo and Chengwei Hu and Boren Zheng and Zhuoran Lin and Xuepeng Liu and Dekai Sun and Shirong Lin and Zhicheng Zheng and Xiaoyong Zhu and Wenbo Su and Bo Zheng}, year={2024}, eprint={2411.07140}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2411.07140}, }

AI搜集汇总
数据集介绍
main_image_url
构建方式
Chinese SimpleQA数据集的构建基于对语言模型事实性能力的全面评估需求。该数据集涵盖了6个主要主题,包括人文、工程技术、自然科学等,并细分为99个多样化的子主题。通过严格的质量控制流程,确保了数据集的高质量和准确性。所有参考答案均为静态,以保持数据集的恒久性。
特点
Chinese SimpleQA数据集具有显著的特点,包括专注于中文语言、涵盖广泛且多样化的主题、高质量的内容控制、静态的参考答案以及易于评估的特性。这些特点使得该数据集成为评估语言模型在中文领域事实性能力的重要工具。
使用方法
使用Chinese SimpleQA数据集可以通过多种方式进行。首先,可以通过OpenAI API进行简单的评估。其次,可以使用提供的单个评估脚本进行自定义评估。此外,数据集还集成了OpenCompass,允许用户通过配置脚本进行更复杂的模型评估,并生成全面的排行榜。
背景与挑战
背景概述
Chinese SimpleQA数据集由OpenStellarTeam于2024年发布,旨在评估语言模型在回答简短问题时的真实性能力。该数据集是首个全面的中文基准测试,涵盖了从人文到自然科学等六大主题,共计99个细分子主题。主要研究人员包括Yancheng He、Shilong Li等,他们关注于解决生成模型中的幻觉问题,并希望通过此数据集推动中文社区对模型事实正确性的研究。Chinese SimpleQA的发布填补了现有数据集在覆盖范围和质量上的不足,为中文语言模型的评估提供了重要工具。
当前挑战
Chinese SimpleQA数据集在构建过程中面临多项挑战。首先,确保数据集的高质量和多样性是一个主要挑战,这需要严格的质控流程。其次,保持数据集的静态性以防止随时间变化的知识失效,也是一个技术难题。此外,如何有效地评估模型的真实性能力,特别是在多模型比较和快速评分方面,是该数据集需要解决的另一个重要问题。最后,数据集的广泛应用和持续更新,以适应不断发展的语言模型技术,也是一项长期挑战。
常用场景
经典使用场景
Chinese SimpleQA 数据集的经典使用场景主要集中在评估语言模型在回答简短问题时的真实性能力。该数据集涵盖了从人文到自然科学的六大主题,共包含99个细分子主题,为研究人员提供了一个全面且多样化的测试平台。通过使用Chinese SimpleQA,研究者可以系统地评估和比较不同语言模型在处理中文简短问题时的表现,从而推动模型在事实准确性方面的改进。
实际应用
在实际应用中,Chinese SimpleQA 数据集被广泛用于开发和优化面向中文用户的智能问答系统。例如,在教育、法律咨询、医疗健康等领域,基于该数据集训练的模型能够提供更为准确和可靠的信息服务。此外,企业也可以利用该数据集来评估和提升其内部知识库系统的准确性,确保信息传递的可靠性,从而增强用户体验和信任度。
衍生相关工作
基于 Chinese SimpleQA 数据集,研究者们开展了一系列相关工作,包括但不限于开发新的评估方法、改进模型的训练算法以及探索不同语言模型在事实性任务中的表现差异。例如,有研究团队利用该数据集提出了新的评估框架,以更全面地衡量模型的真实性能力。此外,还有研究致力于通过该数据集发现和解决模型在处理特定类型问题时的固有偏差,从而推动了语言模型技术的整体进步。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

Materials Project 在线材料数据库

Materials Project 是一个由伯克利加州大学和劳伦斯伯克利国家实验室于 2011 年共同发起的大型开放式在线材料数据库。这个项目的目标是利用高通量第一性原理计算,为超过百万种无机材料提供全面的性能数据、结构信息和计算模拟结果,以此加速新材料的发现和创新过程。数据库中的数据不仅包括晶体结构和能量特性,还涵盖了电子结构和热力学性质等详尽信息,为研究人员提供了丰富的材料数据资源。相关论文成果为「Commentary: The Materials Project: A materials genome approach to accelerating materials innovation」。

超神经 收录

yahoo-finance-data

该数据集包含从Yahoo! Finance、Nasdaq和U.S. Department of the Treasury获取的财务数据,旨在用于研究和教育目的。数据集包括公司详细信息、高管信息、财务指标、历史盈利、股票价格、股息事件、股票拆分、汇率和每日国债收益率等。每个数据集都有其来源、简要描述以及列出的列及其数据类型和描述。数据定期更新,并以Parquet格式提供,可通过DuckDB进行查询。

huggingface 收录

LinkedIn Salary Insights Dataset

LinkedIn Salary Insights Dataset 提供了全球范围内的薪资数据,包括不同职位、行业、地理位置和经验水平的薪资信息。该数据集旨在帮助用户了解薪资趋势和市场行情,支持职业规划和薪资谈判。

www.linkedin.com 收录

中国1km分辨率逐月降水量数据集(1901-2023)

该数据集为中国逐月降水量数据,空间分辨率为0.0083333°(约1km),时间为1901.1-2023.12。数据格式为NETCDF,即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集,通过Delta空间降尺度方案在中国降尺度生成的。并且,使用496个独立气象观测点数据进行验证,验证结果可信。本数据集包含的地理空间范围是全国主要陆地(包含港澳台地区),不含南海岛礁等区域。为了便于存储,数据均为int16型存于nc文件中,降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理,Matlab发布了读入与存储nc文件的函数,读取函数为ncread,切换到nc文件存储文件夹,语句表达为:ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent]),其中XXX.nc为文件名,为字符串需要’’;var是从XXX.nc中读取的变量名,为字符串需要’’;i、j、t分别为读取数据的起始行、列、时间,leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样,研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令,可查看。数据坐标系统建议使用WGS84。

国家青藏高原科学数据中心 收录

中国近海地形数据集(渤海,黄海,东海,南海)

本数据集包含历年来通过收集和实测方法取得的中国近海水深点数据、地形图数据(ArcGIS格式),以及黄河口、莱州湾东部、辽东湾、山东南部沿海、南海部分海域的单波束、多波束水深测量数据,包括大尺度的低密度水深数据与局部高密度水深数据。

地球大数据科学工程 收录