KhmerSynthetic1M
收藏资源简介：
KhmerSynthetic1MZip 是一个包含 1,000,000 张合成高棉语 OCR 图像的数据集，每张图像均配有对应的文本标签。图像以 JPEG 格式存储，文件名按顺序命名（如 img_00000001.jpg），并通过 metadata.parquet 文件进行索引以便快速浏览。数据集包含以下内容：图像文件夹、元数据文件（包含 id、image、img_path 和 label 字段）以及 SQLite 数据库文件。数据生成过程中使用了多种高棉语字体（及少量拉丁字体），并应用了曲线文本增强、噪声、光照、笔刷和污迹效果。图像经过压缩以减小文件大小（JPEG 质量约 32）。数据集适用于高棉语 OCR 任务，但仅限于研究和学术用途，禁止商业使用。使用数据集时需引用相关论文。
KhmerSynthetic1MZip is a dataset containing 1,000,000 synthetic Khmer OCR images, each paired with its corresponding text label. All images are stored in JPEG format, with filenames named sequentially (e.g., img_00000001.jpg), and indexed via the metadata.parquet file for quick browsing. The dataset includes the following components: an image folder, a metadata file with fields including id, image, img_path, and label, and a SQLite database file. During data generation, multiple Khmer fonts (along with a small number of Latin fonts) were used, and various augmentations were applied, including curved text, noise, lighting variations, brush strokes, and smudges. The images are compressed to reduce file size, with a JPEG quality of approximately 32. This dataset is designed for Khmer OCR tasks, and is restricted solely to research and academic use; commercial usage is strictly prohibited. Proper citation of the associated paper is required when utilizing this dataset.
KhmerSynthetic1M 数据集概述
基本信息
- 数据集名称: KhmerSynthetic1M (Compressed)
- 托管地址: https://huggingface.co/datasets/SoyVitou/KhmerSynthetic1M
- 许可证: Apache-2.0
- 标签: khmer, ocr, synthetic
- 数据规模: 1,000,000 张图像
数据集内容与结构
- 数据格式: 图像嵌入在 Parquet 文件中。
- 主要目录与文件:
compressed_1m_dataset/: 包含 JPEG 格式的图像文件。compressed_1m_dataset/metadata.parquet: 清单文件，包含以下列：id: 整数行 ID。image: 相对图像文件名。img_path: 与image相同（为查看器显式提供）。label: 真实文本标签。
compressed_1m_dataset.db: SQLite 数据库（generated_meta），镜像了清单内容。
- 图像命名: 按顺序重命名（例如
img_00000001.jpg, …），并通过metadata.parquet建立索引，以便在 Hugging Face 数据查看器中快速浏览。
数据特征
数据集包含以下特征：
id: 数据类型为 int32。image: 数据类型为 image。label: 数据类型为 string。file_name: 数据类型为 string。
生成说明
- 使用多种高棉语字体（以及有限的拉丁字体）渲染，并应用了弯曲文本增强、噪声、光照、笔刷和污迹效果。
- 图像经过压缩以减少尺寸（JPEG 质量约 32，可选调整大小）。
- 文件名被扁平化/顺序化，以便于索引。
使用方式
python from datasets import load_dataset
ds = load_dataset("SoyVitou/KhmerSynthetic1M", streaming=True) row = next(iter(ds["train"])) print(row["image"], row["label"])
使用许可
仅限研究和学术用途。不允许商业用途。使用本数据集即表示您同意遵守这些条款。
引用
如果在论文中使用此数据集，请引用：
@inproceedings{YourName2024KhmerSynthetic1M, title = {KhmerSynthetic1M: Large-Scale Synthetic Khmer OCR Dataset}, author = {Your Name and Coauthors}, booktitle = {Proceedings of ...}, year = {2024} }
联系
问题或反馈：请在 Hugging Face 数据集页面发起讨论。
