fic-agent
收藏资源简介:
fic-agent 是一个无需微调的检索增强型小说角色聊天机器人项目,旨在实现与源文本的事实一致性、角色真实语言风格和情感特征,以及世界观一致性(包括设定、规则和关系)。数据集包括原始小说文本、元数据、处理后的文本块、提取的对话、角色人物画像笔记和世界观记忆笔记。数据规模涵盖多个处理阶段,如文档块(chunks.jsonl)、对话(dialogues.jsonl)、角色画像(persona_*.json)、世界观笔记(worldview_notes.jsonl)以及向量索引(*.faiss 和 *.jsonl)。该数据集适用于构建和评估小说角色对话系统,支持事实检索、角色风格生成和世界观一致性检查等任务。项目还包含一个特定数据集场景实验(105_Persuasion),专注于两角色对话场景的生成与评估。
fic-agent is a fine-tuning-free retrieval-augmented novel character chatbot project that aims to achieve factual consistency with the source text, authentic linguistic styles and emotional traits of the characters, as well as worldview consistency (including settings, rules and interpersonal relationships). The dataset consists of original novel texts, metadata, processed text chunks, extracted dialogues, character persona notes and worldview memory notes. It covers multiple processing stages, including document chunks (chunks.jsonl), dialogues (dialogues.jsonl), character personas (persona_*.json), worldview notes (worldview_notes.jsonl), and vector indexes (*.faiss and *.jsonl). This dataset is applicable to the construction and evaluation of novel character dialogue systems, supporting tasks such as factual retrieval, character style generation and worldview consistency checking. The project also includes a specific dataset scenario experiment (105_Persuasion), which focuses on the generation and evaluation of two-character dialogue scenarios.
fic-agent 数据集概述
数据集简介
fic-agent 是一个用于构建无需微调、基于检索增强的虚构角色聊天机器人的项目与相关数据集。其核心目标是确保与源文本的事实一致性、符合角色特征的语言风格与情感表达,以及世界观(设定、规则、关系)的一致性。
项目结构与数据内容
项目仓库包含以下主要目录,用于存储和处理数据:
configs/:运行时配置(API密钥、模型名称、标志)。data/raw/:原始小说文本和元数据。data/processed/:处理后的数据,包括分块文本、提取的对话和角色人物笔记。data/indexes/:向量索引和图结构产物。data/eval/:评估输入和参考数据。outputs/:运行输出和日志。scripts/:命令行工具和流水线脚本。src/fic_agent/:核心库。
核心处理流水线
- 摄取原始文本。
- 提取角色对话及上下文。
- 构建角色画像(风格、情感、世界观)。
- 构建事实和世界观索引。
- 检索相关证据和角色画像。
- 使用基于角色画像的提示生成回复。
- 评估(事实、风格、世界观)。
主要输出文件
data/processed/chunks.jsonl:文档块。data/processed/dialogues.jsonl:提取的对话及说话者推测。data/processed/persona_*.json:每个角色的画像文件。data/processed/worldview_notes.jsonl:世界观记忆笔记。data/indexes/*.faiss和data/indexes/*.jsonl:向量索引及元数据。outputs/qa/*.json:最终答案、循环追踪记录、合并的证据。outputs/qa/*_eval.json:综合LLM评估报告(包含same_character、confidence_100和penalties等字段)。
评估方法
项目采用综合LLM评估器(v2版),结合了原著依据、角色实现、世界逻辑和回答有用性四个核心模块。每个子分数采用1-5分制。
评估输出包括:
scorecard.overall_100(按40/35/15/10加权)same_character(Yes/No)confidence_100(0-100)issues.critical/major/minorpenalties及每轮细分- 向后兼容字段:
scores.facts/persona/worldview/overall和confidence(0-1)
数据集场景实验(105_Persuasion)
项目包含针对 ficset/105_Persuasion 数据集的场景实验协议:
- 遍历所有
is_two_person_dialogue_scene=true的场景。 - 使用所有先前场景作为RAG知识。
- 使用第一个说话者的发言作为查询输入。
- 要求模型以另一个角色的身份回答(复用现有的检索和元循环逻辑)。
实验输出位于:
outputs/experiments/<run_name>/summary.json:全局摘要和每个案例的状态。outputs/experiments/<run_name>/cases.jsonl:每个案例的记录(行分隔)。outputs/experiments/<run_name>/cases/<case_key>/qa_full.json:单个案例的问答结果。outputs/experiments/<run_name>/cases/<case_key>/eval_full.json:评估结果(如启用)。




