ABEJA CC JA
收藏aws亚马逊开源数据集2024-09-21 收录
下载链接：
https://registry.opendata.aws/abeja-cc-ja
下载链接
链接失效反馈官方服务：
资源简介：
A large Japanese language corpus created through preprocessing Common Crawl data
应用场景：
提供机构：
ABEJA inc.相关数据集
kajuma/ABEJA-CC-JA
ABEJA-CC-JA数据集是一个HuggingFace镜像，原始数据来源于AWS开放数据注册表。该数据集主要用于文本生成任务，包含日语文本内容。数据集的特征包括一个名为content的字符串类型字段，数据集分为训练集，包含241,310,367个样本，总大小为1,048,591,429,789字节。下载大小为587,586,518,961字节。数据集的许可证为PDDL，任务类别为文本生成，语言为
Hugging Face2024-12-06 更新50
kajuma/ABEJA-CC-JA-edu
ABEJA-CC-JA-edu数据集是由ABEJA公司发布的ABEJA-CC-JA数据集经过教育分类器模型筛选得到的。该数据集包含三个子集，分别是10%、30%和50%，代表不同比例的文本数据，这些文本数据是按照LLM-based classifier的分数排序后，使用不同阈值筛选出的前10%、30%和50%的文本。每个子集都包括url、content和llm_score三个字段，其中url是文本
Hugging Face2025-03-02 更新30
izumi-lab/cc100-ja-filter-ja-normal
--- dataset_info: features: - name: text dtype: string splits: - name: train num_bytes: 55527255438.72461 num_examples: 358752973 download_size: 41870382837 dataset_size: 55527
Hugging Face2023-07-15 更新90
ABEJA-CC-JA-edu
ABEJA-CC-JA-edu数据集是由ABEJA公司发布的，经过LLM-based classifier模型筛选的ABEJA-CC-JA数据集的子集。它分为10%，30%，50%三个配置，分别包含了模型筛选出的不同比例的高分文章。每个配置都提供了训练集的字节大小和示例数量信息。数据集包含三个特征：url，content和llm_score。
Hugging Face2025-03-02 更新40
cc100-ja-documents
cc100-ja-documents是一个将cc100-ja数据集转换为文档级别的版本。原始的cc100-ja数据集是按行分割的，而这个版本将其合并为文档级别。数据集包含文本、标识符和文本长度三个特征，分为训练集，包含65613665个样本。数据集的配置名为default，数据文件路径为data/train-*。数据集的下载大小为45454804676字节，数据集大小为79102018399字节。
Hugging Face2024-07-12 更新60
