ontocord/fineweb-permissive-multilingual-2m

Fineweb-Permissive-Multilingual-2M数据集是Fineweb-edu-2数据集的一个小部分翻译版本，筛选了政府域名、国际组织域名和创意共用许可数据的网站。为了增加数据的多样性，数据集还随机进行了性别代词的交换。此外，数据集中的每个文档片段都通过机器翻译被翻译成目标语言。请注意，虽然美国联邦政府创建的作品通常属于公共领域，但法律可能有所不同。数据集仅用于研究目的，并且不保证数据的版权状态。

Fineweb-Permissive-Multilingual-2M is a translation of a small subset of the Fineweb-edu-2 dataset, filtered to include websites with government domain names, international organization domain names, and creative commons licensed data. To increase diversity, the dataset randomly swaps gender pronouns. Additionally, each document snippet in the dataset is machine-translated into a target language. Please note that while works created by the Federal US government are generally in the public domain, laws may vary. The dataset is intended for research purposes only, and no claims are made regarding the underlying copyrights of the work.

原始信息汇总

Fineweb-Permissive-Multilingual-2M

数据集概述

• 数据来源: Fineweb-edu-2数据集的一个子集。
• 过滤条件: 筛选出政府域名、国际组织域名（如联合国和europa.eu）以及遵循创意共享许可的数据。
• 处理方法:
  • 随机进行性别代词和职业的性别转换，可能导致逻辑错误。
  • 使用机器翻译将每个文档的片段（不超过1Kb）翻译为目标语言。
• 法律注意事项:
  • 美国联邦政府创作的作品通常属于公共领域，但法律可能因国家而异。
  • 某些国家可能不允许政府材料的自由使用，或某些政府网站可能禁止某些用途，如 republish。
  • 正在探索检测此类限制并标记在数据集中的方法。

免责声明

• 使用目的: 仅用于研究目的。
• 许可: 数据集的注释和安排遵循odc-by许可，与原始fineweb-edu-2数据集相同。
• 版权声明: 不对其中的作品版权做出任何声明。
• 风险提示: 使用此数据集的风险由用户自行承担，不提供任何保证，包括非侵权保证。
• 个人信息: 未进行个人身份信息删除，所有信息均来自原始数据集和相应的网页。