Urdu ngrams

kaggle2020-02-15 更新2024-03-07 收录

语言模型

乌尔都语

数据链接：

https://www.kaggle.com/datasets/tafseerahmed/urdu-ngrams 数据链接链接失效反馈

官方服务：

资源简介：

unigram, bigram, trigram and 4gram frequencies

一元语法（unigram）、二元语法（bigram）、三元语法（trigram）及四元语法（4-gram）的频率

创建时间：

2020-02-13

baoanhtran/guanaco-llama2-200

多语言处理

语言模型

CulturaX 是一个多语言数据集，包含 167 种语言的 6.3 万亿个标记，专为大规模语言模型（LLM）开发而设计。该数据集经过严格的清洗和去重处理，包括语言识别、基于 URL 的过滤、基于指标的清洗、文档精炼和数据去重等多个阶段。数据集结合了 mC4（版本 3.1.0）和所有可访问的 OSCAR 语料库，经过深度清洗和去重后，包含 16TB 的数据（解压后为 27TB）。超过一半的数据集用

Hugging Face2023-09-24 更新320

rewoo/sotu_qa_2023

政治问答

语言模型

这是一个关于2023年国情咨文的问答基准数据集，特别适用于工具增强的语言模型（LMs）或增强语言模型（ALMs）来测试模型在回答私有文档问题上的能力。

Hugging Face2023-05-22 更新200

tellarin-ai/llm-japanese-dataset-vanilla-aya-format

语言模型

数据调优

该数据集是从其原始v1.0.0格式转换而来，并在此以相同的CC-BY-SA 4.0许可证和条件下发布。它包含用于LLM构建/调整的日语指令类数据。数据集仅包含一个train分割，约有2.46M行数据。格式转换的细节包括如何将原始数据集中的instruction和input列合并，并在特定情况下添加前缀句子。转换后的数据集仅使用Aya格式指定的两列：inputs和targets。

Hugging Face2024-01-31 更新150

Ax-to-Grind Urdu

假新闻检测

乌尔都语

Ax-to-Grind Urdu是首个大规模公开的乌尔都语假新闻检测数据集，由武汉大学网络空间安全学院创建。该数据集包含10,083条来自巴基斯坦和印度主流乌尔都语报纸和新闻网站的新闻，涵盖15个不同领域，从2017年至2023年。数据集的创建过程包括从网站抓取新闻，并通过专家记者进行手动标注。该数据集主要用于解决乌尔都语假新闻检测问题，旨在通过提供丰富的多领域数据来提高检测算法的准确性和鲁棒性。

arXiv2024-03-21 更新280

Hybrid Human-LLM Corpus

语言模型

因果运动构造

本研究开发了一个结合人类和大型语言模型（LLM）的混合语料库，专注于罕见的语言现象——因果运动构造（CMC）。数据集包含765个经过手动验证的CMC实例，用于评估GPT、Gemini、Llama2和Mistral模型对CMC的理解。此外，还通过自动扩展创建了一个包含127,955个高可能性CMC实例的半自动数据集。这些数据集的构建旨在解决大型语言模型在处理复杂语言结构时的性能问题，特别是在非典型C

arXiv2024-03-12 更新170

Urdu ngrams

资源简介：

相关数据集