Hindi Language Benchmarking Dataset
收藏资源简介：
该仓库包含首个全面的印地语基准数据集，旨在评估印地语语言模型（LLMs）的智能。数据集包含1000个问题，涵盖各种主题和难度级别，为评估LLMs在理解和处理印地语方面的能力提供了强大的工具。
This repository contains the first comprehensive Hindi benchmark dataset intended to evaluate the capabilities of large language models (LLMs) for Hindi language tasks. The dataset includes 1,000 questions covering diverse topics and difficulty levels, providing a robust tool for assessing LLMs' ability to understand and process Hindi.
印地语语言基准数据集
概述
本仓库包含首个全面的印地语语言基准数据集，旨在评估语言模型（LLMs）在印地语中的智能水平。该数据集包含1000个问题，涵盖各种主题和难度级别，为评估LLMs在理解和处理印地语方面的能力提供了强大的工具。
数据集结构
数据集经过精心策划，涵盖了广泛的问题类型和主题，确保对不同的语言和认知技能进行全面评估。问题分为以下主题：
- 逻辑和常识推理
- 难题
- 数学问题
- 情感困境
- 类比
- 语法和句法
- 模式识别
- 阅读理解
每个问题都旨在挑战LLMs在语言理解、推理和问题解决方面的各个方面，难度从简单到复杂不等。
示例问题
以下是数据集中的一些示例问题：
-
逻辑推理
- 问题：“下面给出的选项中，哪个数字序列会完成？2, 6, 12, 20, ___”
- 答案：“30”
-
阅读理解
- 段落：“अकबर बीरबल की कहानी ...”
- 问题：“अकबर ने बीरबल से क्या पूछा?”
- 答案：“...”
-
语法和句法
- 问题：“下面给出的句子中选择正确的选项：राम ____ खेल रहा है।”
- 选项：["घर", "बाहर", "साथ", "में"]
- 答案：“बाहर”
使用方法
该数据集对任何评估系统或LLM排行榜开放。研究人员和开发者可以使用此数据集来基准测试他们的模型，并为AI中印地语理解的发展做出贡献。
如何使用
-
下载数据集
您可以直接从本仓库下载数据集。
-
与您的评估系统集成
使用数据集测试您的语言模型。每个问题都配有一个答案，允许自动评估模型性能。
-
贡献
如果您有改进或建议的额外问题，欢迎fork仓库并提交pull request。
贡献指南
我们欢迎社区的贡献。如果您有任何建议的额外问题或对现有数据集的改进，请按照以下步骤操作：
- Fork仓库
- 创建新分支 (
git checkout -b feature/your-feature) - 进行更改
- 提交更改 (
git commit -am Add some feature) - 推送到分支 (
git push origin feature/your-feature) - 打开pull request
许可证
本项目基于MIT许可证 - 详情请参阅 [LICENSE] 文件。
