遇见数据集

somosnlp-hackathon-2026/chaskiayuda-dataset-dpo

收藏
Hugging Face2026-06-20 更新2026-06-21 收录
官方服务:

资源简介:

ChasquiAyuda DPO 是一个用于训练西班牙语人道主义响应助手的数据集,专门针对秘鲁背景。该数据集旨在解决秘鲁发生灾害时,受影响人群面临的双重危机:灾害本身以及关于他们有权获得何种援助以及如何获取援助的虚假信息。通用人工智能助手通常会给出模糊或不适用于秘鲁背景的答案。ChasquiAyuda 训练一个模型,以提供针对秘鲁的可操作、共情且文化适宜的响应,包含真实的电话号码(如INDECI 115)、真实的援助计划(如Programa Contigo, SIS)以及可验证的人道主义标准(如Sphere, CHS 2024)。数据集遵循标准DPO格式,包含提示(prompt)、优选回复(chosen)和拒绝回复(rejected)。它结合了8个不同来源的数据构建而成,包括国际标准、秘鲁官方来源、真实危机背景来源以及针对2026年厄尔尼诺现象的数据。数据集总共包含约620个偏好对,涵盖了多种危机类型,并按照90%训练集和10%测试集进行划分。

ChasquiAyuda DPO is a preference dataset (DPO) for training a humanitarian response assistant in Spanish, specialized in the Peruvian context. The dataset aims to address the dual crisis faced by affected people in Peru during disasters: the disaster itself and misinformation about what aid they are entitled to and how to access it. Generic AI assistants often give vague or inapplicable answers for the Peruvian context. ChasquiAyuda trains a model to respond with actionable, empathetic, and culturally appropriate information for Peru, including real phone numbers (e.g., INDECI 115), real programs (e.g., Programa Contigo, SIS), and verifiable humanitarian standards (e.g., Sphere, CHS 2024). The dataset follows the standard DPO format, containing a prompt, a chosen response, and a rejected response. It was constructed by combining 8 different sources, including international standards, Peruvian official sources, real crisis context sources, and data for the 2026 El Niño phenomenon. The dataset contains approximately 620 preference pairs, covering various types of crises, and is split into 90% training set and 10% test set.

搜集汇总
数据集介绍
somosnlp-hackathon-2026/chaskiayuda-dataset-dpo 数据集图片
构建方式
该数据集专为秘鲁人道主义应答助手的偏好对齐(DPO)训练而构建,整合了八类来源:涵盖Spheres手册与核心人道标准(CHS 2024)等国际规范,秘鲁国家民防研究所(INDECI)与社会项目(MIDIS、SIS等)的官方文件,以及ReliefWeb灾难报告、红十字会等实地指南。此外,还纳入了SENAMHI对2026年厄尔尼诺现象的预警数据。通过LLM(Gemini Pro)按来源与危机类型生成初始偏好对,随后经人工逐一审核,确保chosen响应体现同理心、可操作性与秘鲁特有资源,而rejected模拟通用或官僚化应答,形成清晰的对比。
使用方法
用户可通过HuggingFace Datasets库直接加载该资源:`dataset = load_dataset("somosnlp-hackathon-2026/chaskiayuda-dataset-dpo")`。典型调取示例将返回一个包含`prompt`(受灾者提问)、`chosen`(高质量应答)、`rejected`(低质量应答)三个字符串字段的字典。适用于以DPO(直接偏好优化)范式微调大语言模型,亦可用于监督对比学习或奖励模型训练。特别建议在训练后配合更新时段的官方信息进行验证,因电话与政策时效性至2026年6月;同时需注意该资源仅覆盖西班牙语,且地理聚焦秘鲁,不直接适用于其他区域或原住民语言场景。
背景与挑战
背景概述
ChasquiAyuda DPO数据集诞生于2026年SomosNLP黑客马拉松,由一群致力于人道主义响应的人工智能研究者与秘鲁本地专家共同构建。其核心研究问题聚焦于如何在灾害情境下,利用偏好对齐(DPO)技术训练一个能够提供兼具共情性、行动指导性与秘鲁文化适切性回答的西班牙语助手。该数据集通过整合国际人道主义标准(如Sphere手册、CHS 2024)与秘鲁官方资源(如INDECI、MIDIS等),构建了620个高质量的偏好对,旨在解决通用AI助手在秘鲁灾害响应中信息笼统、缺乏本地化资源的痛点。数据集采用CC-BY-4.0许可协议发布,为低资源语言与特定领域的人道主义NLP研究树立了重要标杆,推动了偏好学习方法在应急响应场景中的实际应用。
当前挑战
该数据集面临的核心领域挑战是如何在灾害应急场景中,确保语言模型输出的回答不仅准确、可执行,而且深刻贴合目标社区的独特语境与紧迫需求,同时避免产生误导性或官僚化信息。在构建过程中,挑战尤为严峻:首先,数据来源高度异构,需将国际通用标准(如Sphere)、秘鲁本土政策(如全国民防研究所协议)以及实时危机报告(如厄尔尼诺现象)无缝融合,这要求精细化的知识对齐。其次,生成高质量配对数据(chosen与rejected)依赖领域专家的深刻理解,但人工标注成本高昂,不得不借助大语言模型辅助生成,再经手动核查,过程繁琐且易引入潜在偏差。此外,数据规模有限(仅558条训练样本),限制了模型泛化能力,而语言上仅覆盖西班牙语、忽略克丘亚语等原住民语言,进一步加剧了服务边缘群体的难度。
常用场景
经典使用场景
ChasquiAyuda DPO数据集专为偏好对齐训练而设计,采用标准DPO(Direct Preference Optimization)格式,包含prompt、chosen和rejected三个字段。其经典使用场景是对西班牙语人道主义响应助手进行偏好微调,使模型学会区分优质回答与含糊或脱离语境的回答。每个样本中,chosen回答体现同理心、提供可执行步骤并引用秘鲁本地真实救援资源与官方程序,而rejected回答则代表通用聊天机器人或政府网站可能给出的模糊回应。研究者可基于该数据集训练模型,使其在面对灾难求助时优先生成更具行动导向、文化适配和情感支持的信息。
解决学术问题
该数据集系统性地解决了低资源语言下人道主义NLP领域的两大核心学术问题:如何在缺乏高质量领域偏好数据时构建有价值的对齐数据集,以及如何使语言模型输出的安全性和有用性在特定文化语境中有效落地。通过融合Sphere手册、CHS 2024等国际人道标准与INDECI、SENAMHI等秘鲁本土官方信息,数据集首次为人道主义响应中的对话系统提供了结构化偏好标注。该工作不仅推动了多语种AI伦理与安全研究在拉美灾难场景中的实践,也为人道主义信息学中的灾难响应系统评估提供了可供复用的基准语料。
实际应用
在实际部署中,基于ChasquiAyuda DPO训练的模型可嵌入紧急信息热线、社区广播或移动端灾害响应应用中,帮助秘鲁及其他西语地区受灾民众快速获取精准援助指引。例如,在厄尔尼诺现象引发的洪灾或强降雨滑坡期间,模型可回答诸如‘我所在的社区被淹,该联系哪个机构’或‘如何申请Contigo计划临时补助’等紧迫问题,并直接给出INDECI 115、当地红十字会联系方式及EDAN评估流程等可执行建议。该工具也能辅助非政府组织和地方救援团队提升信息分发的效率与一致性,减少官僚化或误导性回复。
数据集最近研究
最新研究方向
ChasquiAyuda DPO数据集聚焦于将直接偏好优化(DPO)技术应用于西班牙语人道主义响应助手的对齐训练,尤其针对秘鲁灾害情境下的信息精准性与文化适应性。其前沿方向在于构建融合国际人道主义标准(如Sphere手册、CHS 2024)与本土官方资源(INDECI、社会项目)的偏好数据集,通过“chosen”与“rejected”的对比设计,突破通用AI助手的泛化局限。该研究紧密关联2026年秘鲁“厄尔尼诺”现象等热点事件,强调在紧急响应中提供可执行、富有同理心且符合地理与制度背景的指导。其意义在于为人道主义自然语言处理树立了数据质量标杆,推动AI辅助决策在灾害治理中的本地化落地,影响深远。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务