Kubermatic/Benchmark-Questions

这是一个用于基准测试DeepCNCF LLM模型的多选题问答数据集。由于目前没有针对CNCF项目的可靠LLM基准测试，因此该数据集被用来衡量模型在这些问题上的表现。数据集来源于公开的关于CNCF项目的在线课程，由人类创建，旨在测试学生对CNCF项目的理解，因此也可以很好地测试模型对CNCF主题的知识。数据集包含两列：1. 问题：多选题。2. 答案：问题的对应答案，可能包含多个正确答案（例如：a,b,d）。

This is a question-and-answer dataset using multiple-choice questions created for benchmarking our DeepCNCF LLM. Since there is no reliable LLM benchmark specified for CNCF projects, we decided to use it to measure the performance of our model based on its performance on these questions. This dataset was gathered from openly available online courses about CNCF projects. So they are created by humans to measure students understanding from these projects and could be a good measure to test knowledge of our model about CNCF topics. It includes the following two columns: 1. Question: Multiple choice questions. 2. Answer: The corresponding answer to the question. Could have several correct answers (for example: a,b,d).

原始信息汇总

Q&A Dataset for Benchmarking DeepCNCF

概述

• 任务类别: 问答
• 语言: 英语
• 数据集规模: 小于1K
• 许可证: MIT

描述

• 内容: 包含多选题的问答数据集，用于基准测试DeepCNCF LLM。
• 来源: 从公开的在线课程中收集，这些课程涉及CNCF项目，旨在测试学生对这些项目的理解。
• 结构:
  1. Question: 多选题。
  2. Answer: 对应问题的答案，可能包含多个正确答案（例如：a,b,d）。

许可证

• MIT许可证: 该数据集在MIT许可证下可用。