CORGI-PM
收藏资源简介：
CORGI-PM是一个用于性别偏见探测和缓解的中文语料库，包含32.9k个带有高质量标签的句子，这些标签是根据专门为中文环境中的性别偏见开发的标注方案得出的。
CORGI-PM is a Chinese corpus designed for the detection and mitigation of gender bias, comprising 32.9k sentences with high-quality labels. These labels are derived from an annotation scheme specifically developed for identifying gender bias in the Chinese context.
数据集概述
数据集名称：CORGI-PM
数据集描述：CORGI-PM是一个包含32.9k句子的中文语料库，专门用于性别偏见探测和缓解。该数据集通过特定的标注方案，为中文语境下的性别偏见提供了高质量的标签。
数据集结构
偏见语料库
-
数据格式：
.npy二进制文件 -
数据结构： python { train:{ ori_sentence: [...], bias_labels: [...], edit_sentence: [...] }, valid:{...}, test:{...} }
-
内容说明：
ori_sentence：原始句子bias_labels：偏见类型，以one-hot编码存储edit_sentence：由人工标注者去偏见后的句子
非偏见语料库
-
数据格式：
.npy二进制文件 -
数据结构： python { train:{ text: [...] }, valid:{...}, test:{...} }
-
内容说明：仅包含原始文本，无需额外标注。
数据集使用
- 加载示例： python import numpy as np all_data = np.load(dataset/CORGI-PC_splitted_biased_corpus_v1.npy, allow_pickle=True).item() non_bias_corpus = np.load(dataset/CORGI-PC_splitted_non-bias_corpus_v1.npy, allow_pickle=True).item()
引用信息
bibtex @misc{https://doi.org/10.48550/arxiv.2301.00395, doi = {10.48550/ARXIV.2301.00395}, url = {https://arxiv.org/abs/2301.00395}, author = {Zhang, Ge and Li, Yizhi and Wu, Yaoyao and Zhang, Linyuan and Lin, Chenghua and Geng, Jiayi and Wang, Shi and Fu, Jie}, title = {CORGI-PM: A Chinese Corpus For Gender Bias Probing and Mitigation}, year = {2023}, publisher = {arXiv} }
