lyakaap/laion-mini-ja
收藏Hugging Face2022-07-05 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/lyakaap/laion-mini-ja
下载链接
链接失效反馈官方服务：
资源简介：
#samples=5007831
```
dataset = load_dataset('lyakaap/laion2B-japanese-subset', split='train')
dataset = dataset.remove_columns(['LANGUAGE', 'NSFW', 'LICENSE', 'SAMPLE_ID'])
dataset = dataset.filter(lambda x: x['HEIGHT'] <= 384 and x['WIDTH'] <= 384)
dataset = dataset.filter(lambda x: x['HEIGHT'] >= 128 and x['WIDTH'] >= 128)
dataset = dataset.filter(lambda x: x['similarity'] >= 0.31)
dataset.push_to_hub('lyakaap/laion-mini-ja', token='XXX')
```
提供机构：
lyakaap
原始信息汇总
数据集概述
数据集名称
- 名称: lyakaap/laion-mini-ja
数据集大小
- 样本数量: 5007831
数据集处理
- 筛选条件:
- 图片高度（HEIGHT）在128到384像素之间
- 图片宽度（WIDTH）在128到384像素之间
- 相似度（similarity）大于等于0.31
数据集更新
- 更新操作: 移除了LANGUAGE, NSFW, LICENSE, SAMPLE_ID列，并根据筛选条件过滤数据后，推送至数据集中心。
