manishiitg/llm_judge
收藏Hugging Face2024-04-22 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/manishiitg/llm_judge
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含多个特征，如prompt、response、type、lang、model_name等，主要用于通过LLM JUDGE评估书面任务。数据集分为训练集，包含18480个样本，文件大小为93086212字节。此外，文件还列出了不同模型在印地语和英语提示下的评分和问题数量，表明数据集用于评估不同语言模型的表现。
该数据集包含多个特征，如prompt、response、type、lang、model_name等，主要用于通过LLM JUDGE评估书面任务。数据集分为训练集，包含18480个样本，文件大小为93086212字节。此外，文件还列出了不同模型在印地语和英语提示下的评分和问题数量，表明数据集用于评估不同语言模型的表现。
提供机构：
manishiitg
原始信息汇总
数据集信息
特征
- name: prompt
- dtype: string
- name: response
- dtype: string
- name: type
- dtype: string
- name: lang
- dtype: string
- name: model_name
- dtype: string
- name: simple_prompt
- dtype: string
- name: judgement_pending
- dtype: bool
- name: judgement
- dtype: string
- name: rating
- dtype: float64
数据分割
- name: train
- num_bytes: 93086212
- num_examples: 18480
数据大小
- download_size: 29472635
- dataset_size: 93086212
配置
- config_name: default
- data_files:
- split: train
- path: data/train-*
- split: train
- data_files:
模型评估
语言: hi
| 模型 | 语言 | 得分 | 问题数量 |
|---|---|---|---|
| Qwen/Qwen1.5-72B-Chat-AWQ | hi | 8.3722 | 562 |
| Qwen/Qwen1.5-14B-Chat | hi | 8.2561 | 561 |
| google/gemma-7b-it | hi | 7.8930 | 561 |
| Qwen/Qwen1.5-7B-Chat | hi | 7.8518 | 562 |
| manishiitg/open-aditi-hi-v3 | hi | 7.7464 | 562 |
| manishiitg/open-aditi-hi-v4 | hi | 7.5537 | 562 |
| manishiitg/open-aditi-hi-v2 | hi | 7.2536 | 562 |
| teknium/OpenHermes-2.5-Mistral-7B | hi | 7.2240 | 562 |
| ai4bharat/Airavata | hi | 6.9355 | 550 |
| 01-ai/Yi-34B-Chat | hi | 6.5692 | 562 |
| manishiitg/open-aditi-hi-v1 | hi | 4.6521 | 562 |
| sarvamai/OpenHathi-7B-Hi-v0.1-Base | hi | 4.2417 | 606 |
| Qwen/Qwen1.5-4B-Chat | hi | 4.0970 | 562 |
语言: en
| 模型 | 语言 | 得分 | 问题数量 |
|---|---|---|---|
| Qwen/Qwen1.5-14B-Chat | en | 9.1956 | 362 |
| Qwen/Qwen1.5-72B-Chat-AWQ | en | 9.1577 | 362 |
| Qwen/Qwen1.5-7B-Chat | en | 9.1503 | 362 |
| 01-ai/Yi-34B-Chat | en | 9.1373 | 362 |
| mistralai/Mixtral-8x7B-Instruct-v0.1 | en | 9.1340 | 362 |
| teknium/OpenHermes-2.5-Mistral-7B | en | 9.0006 | 362 |
| manishiitg/open-aditi-hi-v3 | en | 8.9069 | 362 |
| manishiitg/open-aditi-hi-v4 | en | 8.9064 | 362 |
| google/gemma-7b-it | en | 8.7945 | 362 |
| Qwen/Qwen1.5-4B-Chat | en | 8.7224 | 362 |
| manishiitg/open-aditi-hi-v2 | en | 8.4343 | 362 |
| ai4bharat/Airavata | en | 7.3923 | 362 |
| manishiitg/open-aditi-hi-v1 | en | 6.6413 | 361 |
| sarvamai/OpenHathi-7B-Hi-v0.1-Base | en | 5.9009 | 318 |
