PleIAs/BSF_Redline

该数据集由Pleias与Bibliothèques Sans Frontières和Dr. Denis Mukwege Foundation合作开发，旨在支持专门的AI助手，用于对抗冲突相关性暴力（CRSV）。数据集核心来源是Red Line Initiative的指南手册，通过语义分块、上下文注入、实体归一化和Markdown结构化等处理，转化为高质量的检索增强生成（RAG）数据源。数据用于训练和优化小语言模型，使其能够在资源受限的环境（如树莓派）中本地运行，提供法律知识辅助，帮助CRSV幸存者及其倡导者。训练过程中使用了来自乌克兰和尼日利亚研讨会的问答数据、法律专家反馈，以及SYNTH管道生成的数据，基于Gemma 3-12B模型进行微调，以提升模型推理和引用能力。This dataset, developed by Pleias in collaboration with Bibliothèques Sans Frontières and the Dr. Denis Mukwege Foundation, supports specialized AI assistants to combat conflict-related sexual violence (CRSV). The core data source is the Red Line Initiatives Guidebook, which is transformed into a high-quality Retrieval Augmented Generation (RAG) resource through processes such as semantic chunking, context injection, entity normalization, and Markdown structuring. The data is used to train and optimize small language models capable of running locally on hardware like Raspberry Pi, providing legal knowledge assistance to CRSV survivors and their advocates. Training incorporates question-answer data from workshops in Ukraine and Nigeria, expert legal feedback, and data from the SYNTH pipeline, with fine-tuning based on the Gemma 3-12B model to enhance reasoning and citation capabilities.

搜集汇总

数据集介绍

构建方式

BSF_Redline数据集的构建源于对《红线倡议指南》这一高度专业化的法律文献的深度加工。研究团队首先采用语义分块技术，将原始文本切割为逻辑连贯的独立段落，而非机械地按篇幅划分。随后实施上下文注入策略，为每个文本块标注其适用的司法管辖区域与法律框架，增强模型的语境辨识能力。进一步通过实体规范化处理，统一了数据集内各处出现的缩略语与术语表述。最后借助Markdown结构格式化，确保语言模型能够准确解析文本的层级关系与重点强调之处。这一套精心设计的流程，旨在将密集的法律知识转化为高效检索增强生成（RAG）系统的优质语料。

特点

该数据集作为面向冲突相关性暴力（CRSV）领域的专用RAG系统核心，具有鲜明的应用导向特性。其模型架构脱胎于先进的Baguettotron，以仅3.21亿参数的轻量化设计，实现了复杂推理与精准引用的卓越能力，尤其适合在资源受限的环境边缘端部署，如基于树莓派硬件即可本地运行。这一设计在缺乏可靠互联网的冲突地带至关重要，不仅解决了连接性难题，更将涉及性暴力的敏感数据完全保留在用户设备上，保障了信息安全与隐私。同时，该模型超越了基础RAG功能，能够提供结构化推理与更广泛的法律背景阐述。

使用方法

用户可通过本地部署的方式使用该数据集驱动的AI助手。支持基于Docker容器化部署或手动安装Python依赖启动Flask API服务。系统提供两个核心接口：'/chat'端点用于接收单次完整的生成回答，返回包含格式化提示、来源信息及生成文本的JSON响应；'/stream_chat'端点则支持流式实时传输，以换行分隔的JSON对象依次输出元数据、来源分析与逐token生成的答案，答案中内嵌有来源引用标记。查询支持英语与法语两种语言。在RAG流程中，模型遵循特定提示格式，在给定查询与检索来源后，能够生成从查询解构到最终答案并附引文的逐步推理过程。

背景与挑战

背景概述

BSF_Redline数据集源于2024年由Pleias、无国界图书馆（Bibliothèques Sans Frontières）及德尼·穆奎格博士基金会（Dr. Denis Mukwege Foundation）联合发起的一项前沿研究，旨在应对冲突相关性暴力（CRSV）幸存者及其倡导者在获取法律知识时面临的信息壁垒。核心研究问题聚焦于如何通过小型语言模型与检索增强生成（RAG）技术，将高度复杂的法律指南（如红线倡议指南手册）转化为可本地部署、易于使用的智能助手。该数据集通过语义分块、上下文注入与实体规范化等精细处理，构建了高质量的RAG源数据，有力推动了AI在法律援助与边缘计算领域的交叉应用，对提升冲突地区弱势群体的司法可及性具有典范意义。

当前挑战

当前面临的挑战主要包括：领域问题层面，冲突相关性暴力法律文本专业性强、内容密集，普通幸存者与援助者难以直观理解与适用，传统查询方式无法提供精准、结构化的法律解析；构建过程中，需将原始指南转换为机器可检索的合规格式，克服了法律术语标准化、跨司法管辖区语境标注、以及基于实体安全的本地化部署等多个难点。尤其在无互联网环境或设备性能受限（如树莓派）的场景下，需保障微模型（仅321M参数）在完成复杂推理与引用的同时，严格确保敏感数据的小型计算设备端安全处理，这对数据压缩与模型鲁棒性提出了极高要求。

常用场景

经典使用场景

在冲突地区性暴力（CRSV）的法律援助与幸存者支持领域，BSF_Redline数据集作为构建检索增强生成（RAG）系统的核心知识库，被广泛应用于开发专业化AI法律助手。该数据集基于《红线倡议指南》进行语义切块、上下文注入与实体归一化处理，确保每一片段均能精准映射至对应的国际法律框架与管辖范围。经典使用方式包括将用户的法律咨询问题转化为结构化的查询，从数据集中检索最相关的法律条文与司法解释，并生成附带引用的可溯源答复，尤其适用于互联网基础设施薄弱的战区环境。

实际应用

在实际应用中，BSF_Redline数据集驱动的小型语言模型已被部署于乌克兰、尼日利亚等冲突地区的笔记本电脑和树莓派设备上，实现完全本地化的AI辅助法律咨询。幸存者网络与倡导组织可借助该工具快速获取关于国家责任、紧急服务提供、证人保护等关键法律问题的明确指引，无需依赖不稳定的卫星网络。系统内置的法语和英语双语支持，以及实时流式响应与引用生成功能，使其成为法律专业人员和一线社工在极端环境下的高效决策辅助工具。

衍生相关工作

该数据集的构建方法论催生了一系列衍生工作，包括Pleias团队基于Baguettotron架构开发的专用RAG模型，以及融合用户反馈与法律专家迭代标注的微调流程。尤其值得一提的是，SYNTH合成数据管道的引入有效防止了模型在特定法律议题上的过度专业化，为跨领域泛化提供了数据基础。此外，在乌克兰和尼日利亚实地工作坊中收集的真实问答对，与Bibliothèques Sans Frontières和辛辛那提大学的法律专家共同构建的评估数据集，共同推动了该领域首个兼顾可解释性与边缘部署的CRSV法律辅助系统的成型。