geniacllm/CulturaY-ja-askllm-filtered-deduped-v1
收藏Hugging Face2024-08-11 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/geniacllm/CulturaY-ja-askllm-filtered-deduped-v1
下载链接
链接失效反馈官方服务：
资源简介：
CulturaY-ja-askllm-filtered-deduped-v1数据集是基于多语言数据集ontocord/CulturaY的日语部分，通过Ask-LLM方法进行评分的数据集。该数据集在原数据集的列基础上增加了askllm_score列，用于存储Ask-LLM的评分。数据集还经过了过滤和去重处理，以确保数据的质量和唯一性。Ask-LLM评分使用的是Rakuten/RakutenAI-7B-instruct模型，评分提示要求判断数据是否包含对大型语言模型预训练有用的信息，且不包含有害、种族主义、性别歧视等内容。
This is the Japanese part of a multilingual dataset, scored using the Ask-LLM method, with an additional column askllm_score. The dataset underwent filtering and deduplication after scoring. The LLM used is Rakuten/RakutenAI-7B-instruct, and the prompt template used for scoring is provided.
提供机构：
geniacllm
