OpenSakura/OpenSakura-DS-260220-LN-ja-zh-ALIGNED-Eve

--- pretty_name: OpenSakura Eve LN Aligned Dataset license: other language: - ja - zh language_bcp47: - ja - zh-Hans - zh-Hant task_categories: - translation multilinguality: translation annotations_creators: - machine-generated language_creators: - found size_categories: - 100K<n<1M tags: - opensakura - translation - light-novel - aligned - ja - zh-hans - zh-hant - eve configs: - config_name: default data_files: - split: train path: data/train-*.parquet - split: arena path: data/arena-*.parquet - split: reserve path: data/reserve-*.parquet - split: validation path: data/validation-*.parquet - split: test path: data/test-*.parquet --- # OpenSakura Eve LN Aligned Dataset `OpenSakura-DS-260220-LN-ja-zh-ALIGNED-Eve` is a Japanese-to-Chinese light-novel translation dataset in OpenSakura ALIGNED format. Stats below are computed from the actual generated parquet files. ## Dataset Summary | Metric | Value | |---|---| | Dataset ID | `OpenSakura/OpenSakura-DS-260220-LN-ja-zh-ALIGNED-Eve` | | Total rows | 631,009 | | Total parquet files | 213 (`train`: 148, `validation`: 22, `test`: 21) | | Total size | 7,531,530,066 bytes (~7.53 GB, ~7.01 GiB) | | Source language | `ja` | | Target language | `zh*` | | Domain | Light Novel (LN) | | Training type | ALIGNED | ## Split Information | Split | Rows | Share | |---|---:|---:| | train | 441,537 | 69.97% | | arena | 31,629 | 5.01% | | reserve | 31,806 | 5.04% | | validation | 63,141 | 10.01% | | test | 62,896 | 9.97% | ## Public Schema Each row contains: - `uuid` (`string`) - `source_text` (`string`) - `target_text` (`string`) - `source_lang` (`string`) - `target_lang` (`string`) - `glossary_uuid` (`string | null`) - `glossary` (`list[struct{term, translation, comment}]`) - `gen_model`, `gen_frequency_penalty`, `gen_max_tokens`, `gen_temperature`, `gen_top_p` - `input_tokens_count` (`int64`), `output_tokens_count` (`int64`) ## Tokenization and Generation Metadata The following fields are included to make downstream filtering/debugging easier: - Token counts are computed with tokenizer model `zai-org/GLM-4.7`. - Generation metadata for this release: - `gen_model`: `GLM-4.7` - `gen_max_tokens`: `10240` - `gen_temperature`: `0.6` - `gen_top_p`: `0.95` - `gen_frequency_penalty`: `0.0` ## Usage ```python from datasets import load_dataset dataset = load_dataset("OpenSakura/OpenSakura-DS-260220-LN-ja-zh-ALIGNED-Eve") train = load_dataset("OpenSakura/OpenSakura-DS-260220-LN-ja-zh-ALIGNED-Eve", split="train") ``` ## Acknowledgments This dataset would not exist without the generous support and contributions of the following individuals: - **@ixgbe** -- Professional guidance and hands-on help with Kubernetes infrastructure that powers the OpenSakura pipeline. - **An anonymous group member** -- Generous sponsorship of H200 compute nodes. Without their support, OpenSakura could not have been founded and this dataset could not have been produced. - **@Josepha** -- Invaluable contributions to dataset cleaning and processing techniques that shaped the quality of this release. - **@lildub** -- LLM API sponsorship during the early experimental stage of the project, enabling the initial research and prototyping. - **[@neavo](https://github.com/neavo)** -- Inspiration and solid implementation of the [LinguaGacha](https://github.com/neavo/LinguaGacha) open-source project, which informed the design of the translation API used in this project. ## Limitations and Intended Use - Machine-generated translations may contain errors, inconsistencies, or noise. - Target Chinese may contain mixed script variants depending on upstream language tags. - Light-novel content may include mature/sensitive text (violence/sexual content/profanity). - Intended for research/model development; evaluate upstream rights and redistribution constraints before commercial use.pretty_name: OpenSakura Eve 对齐轻小说数据集 license: 其他 language: - ja - zh language_bcp47: - ja - zh-Hans - zh-Hant task_categories: - 翻译 multilinguality: 翻译型多语言 annotations_creators: - 机器生成 language_creators: - 现有文本 size_categories: - 100K<n<1M tags: - opensakura - 翻译 - 轻小说 - 对齐 - ja - zh-hans - zh-hant - eve configs: - config_name: default data_files: - split: train path: data/train-*.parquet - split: arena path: data/arena-*.parquet - split: reserve path: data/reserve-*.parquet - split: validation path: data/validation-*.parquet - split: test path: data/test-*.parquet # OpenSakura Eve 对齐轻小说数据集 `OpenSakura-DS-260220-LN-ja-zh-ALIGNED-Eve` 是一款遵循OpenSakura ALIGNED格式的日译中轻小说翻译数据集。以下统计数据均基于实际生成的Parquet文件计算得出。 ## 数据集概览 | 指标 | 数值 | |---|---| | 数据集ID | `OpenSakura/OpenSakura-DS-260220-LN-ja-zh-ALIGNED-Eve` | | 总行数 | 631,009 | | Parquet文件总数 | 213个（训练集：148个，验证集：22个，测试集：21个） | | 总大小 | 7,531,530,066字节（约7.53 GB，约7.01 GiB） | | 源语言 | `ja` | | 目标语言 | `zh*` | | 应用领域 | 轻小说（LN） | | 训练类型 | ALIGNED | ## 拆分集信息 | 拆分集 | 样本数 | 占比 | |---|---:|---:| | 训练集（train） | 441,537 | 69.97% | | 竞技场集（arena） | 31,629 | 5.01% | | 预留集（reserve） | 31,806 | 5.04% | | 验证集（validation） | 63,141 | 10.01% | | 测试集（test） | 62,896 | 9.97% | ## 公开数据Schema 每条数据包含以下字段： - `uuid`（字符串类型） - `source_text`（源文本，字符串类型） - `target_text`（目标文本，字符串类型） - `source_lang`（源语言代码，字符串类型） - `target_lang`（目标语言代码，字符串类型） - `glossary_uuid`（术语表UUID，可为空值） - `glossary`（术语表列表，结构为{术语, 译文, 注释}） - `gen_model`、`gen_frequency_penalty`、`gen_max_tokens`、`gen_temperature`、`gen_top_p` - `input_tokens_count`（输入词元（Token）计数，int64类型）、`output_tokens_count`（输出词元（Token）计数，int64类型） ## 分词与生成元数据 为便于下游筛选与调试，数据集包含以下元数据字段： - 词元（Token）计数基于分词器模型`zai-org/GLM-4.7`计算得到。 本次发布的生成元数据如下： - `gen_model`：`GLM-4.7` - `gen_max_tokens`：`10240` - `gen_temperature`：`0.6` - `gen_top_p`：`0.95` - `gen_frequency_penalty`：`0.0` ## 使用示例 可通过如下代码加载该数据集： python from datasets import load_dataset dataset = load_dataset("OpenSakura/OpenSakura-DS-260220-LN-ja-zh-ALIGNED-Eve") train = load_dataset("OpenSakura/OpenSakura-DS-260220-LN-ja-zh-ALIGNED-Eve", split="train") ## 致谢 本数据集的完成离不开以下个人的慷慨支持与贡献： - **@ixgbe** —— 为支撑OpenSakura流水线的Kubernetes基础设施提供专业指导与实操帮助。 - **匿名团队成员** —— 慷慨赞助H200计算节点。若无其支持，OpenSakura项目无法成立，本数据集亦无法完成制作。 - **@Josepha** —— 为数据集清洗与处理技术提供了不可或缺的贡献，直接塑造了本次发布的数据集质量。 - **@lildub** —— 在项目早期实验阶段赞助了大语言模型（LLM/Large Language Model）API，为初始研究与原型开发提供了支持。 - **[@neavo](https://github.com/neavo)** —— 为本项目翻译API的设计提供了灵感与扎实的实现参考，其开源项目[LinguaGacha](https://github.com/neavo/LinguaGacha)对本项目影响深远。 ## 局限性与适用场景 - 机器生成的翻译可能存在错误、不一致或噪声内容。 - 目标中文文本可能因上游语言标签包含混合脚本变体。 - 轻小说内容可能包含成熟/敏感文本（暴力、色情内容及亵渎性语言）。 - 本数据集仅适用于研究与模型开发；商业使用前需评估上游版权与再分发限制。