bermaneh/codeswitching-sentiment-bias-exp2-canary-v1

这是一个关于代码转换和情感偏见实验的数据集，具体是实验2的金丝雀运行（N=50），涉及掩码标记语言预测。数据集通过掩码句子中的关键单词，并使用Qwen2.5-7B-Instruct模型来预测填充，从而比较原始单词与其翻译的log概率。数据集包含了实验的详细结果和关键发现，如log概率比率的偏见以及标准化比率如何调整这种偏见。许可证：MIT许可证 标签： - 语码转换（code-switching） - 掩码语言建模（masked language modeling） - 对数概率（log-probability） - 多语言（multilingual） - 测试快照（canary） # 语码转换情感偏见实验2测试快照版本v1（codeswitching-sentiment-bias-exp2-canary-v1） 本数据集为实验2的测试快照运行（样本量N=50），任务为掩码词元语言预测。 **实验**：语码转换情感偏见（codeswitching-sentiment-bias） **作业编号**：torch:7391386 **日期**：2026-04-28 **状态**：测试快照 — 成功 **集群**：纽约大学torch集群（l40s_publ分区，gl043节点） **运行时长**：2分37秒（单样本平均耗时0.1秒，模型加载耗时约2.5分钟） ## 数据集说明 针对实验1中的每一条有效数据行，将原句中SHAP贡献度最高的词语进行掩码处理。使用Qwen2.5-7B-Instruct模型对该空白处进行填空（教师强制模式，teacher-forced）。同时提取真实标签词语及其翻译的对数概率。 **模型**：Qwen/Qwen2.5-7B-Instruct **输入数据集**：bermane/codeswitching-sentiment-bias-results-v1（从本地experiment1_results.json文件加载） **数据行数**：50行（随机抽样，随机种子设为42） ## 测试快照结果汇总 | 评价指标 | 数值 | |--------|-------| | 已处理数据行 | 47 / 50 | | 跳过行数（未找到目标词） | 3 / 50（6%） | | 原始结果中真实标签语言偏好占比 | 29/47（61.7%） | | 归一化结果中真实标签语言偏好占比 | 20/47（42.6%） | | 原始对数概率比均值 | 1.728 | | 归一化对数概率比均值 | -0.390 | | 强偏好（对数概率比绝对值>0.5） | 44/47（93.6%） | | 英→西语方向原始对数概率比均值 | 4.663（更偏好英语） | | 西→英语方向原始对数概率比均值 | -4.534（更偏好英语！） | | 单样本平均耗时 | 0.1秒 | | 全量运行预估耗时（共3360行） | 约6分钟处理耗时 + 约2.5分钟模型加载耗时 | ## 核心发现 原始对数概率比存在偏见——无论是英→西语（结果为正）还是西→英语（结果为负）方向，均更偏好英语。在按词元进行归一化后，该偏见显著减弱。归一化后的对数概率比可针对不同语言间的BPE词元长度差异进行合理校正。 ## 列说明 | 列名 | 说明 | |--------|-------------| | 句子ID | 来自实验1的句子唯一标识符 | | 原句 | 原始语码转换推文 | | 掩码句 | 将SHAP贡献度最高的词语替换为[MASK]后的句子 | | 真实标签词语 | 被掩码的词语（语言为真实标签语言） | | 真实标签语言 | 真实标签词语的语言（英语或西班牙语） | | 对应语言译词 | 被掩码词语转换为另一语言的译词 | | 译词语言 | 译词所使用的语言 | | 转换方向 | 实验1中定义的转换方向（英→西语或西→英语） | | 模型预测结果 | 含对数概率的Top-10填空预测结果 | | 真实标签对数概率 | 真实标签词语所有BPE词元的对数概率之和 | | 真实标签词元数 | 真实标签词语包含的BPE词元数量 | | 译词对数概率 | 译词所有BPE词元的对数概率之和 | | 译词词元数 | 译词包含的BPE词元数量 | | 原始对数概率比 | 真实标签对数概率减去译词对数概率（原始值，受词语长度影响存在偏见） | | 归一化对数概率比 | (真实标签对数概率/真实标签词元数) - (译词对数概率/译词词元数) — 核心评价指标 | | 偏好语言（原始结果） | 原始对数概率更高的语言 | | 偏好语言（归一化结果） | 按词元归一化后对数概率更高的语言 | ## 数据集溯源 - **实验名称**：语码转换情感偏见（codeswitching-sentiment-bias） - **作业编号**：torch:7391386 - **集群**：纽约大学torch集群（l40s_publ分区） - **数据集状态**：测试快照 - **是否为测试快照**：是