Weni/wenigpt-agent-dpo-1.0.2

Name: Weni/wenigpt-agent-dpo-1.0.2
Creator: Weni
Published: 2024-06-03 19:45:32
License: 暂无描述

Hugging Face2024-06-03 更新2024-06-12 收录

下载链接：

https://hf-mirror.com/datasets/Weni/wenigpt-agent-dpo-1.0.2

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: features: - name: id dtype: int64 - name: external_id dtype: float64 - name: name dtype: string - name: occupation dtype: string - name: adjective dtype: string - name: chatbot_goal dtype: string - name: instructions sequence: string - name: content dtype: string - name: chunks_small list: - name: content dtype: string - name: score dtype: float64 - name: chunks_big list: - name: content dtype: string - name: score dtype: float64 - name: data_category dtype: int64 - name: question dtype: string - name: chosen_response dtype: string - name: rejected_response dtype: string splits: - name: train num_bytes: 4458203 num_examples: 334 download_size: 1878237 dataset_size: 4458203 configs: - config_name: default data_files: - split: train path: data/train-* --- ## Dataset Card - QA Personalidade SFT em Português Brasileiro Nome do Dataset: wenigpt-agent-sft-1.0.2 ### Descrição: Este dataset foi criado para o treinamento de modelos de Fine-Tuning Supervisionado (SFT) com foco em tarefas de Perguntas e Respostas (QA) em português brasileiro. O dataset é especializado em variar as preferências de personalidade dos agentes, possibilitar o uso de instruções específicas no prompt e definir objetivos específicos para o agente inteligente. A versão 1.0.1 apresenta melhorias significativas em relação à versão anterior, incluindo uma revisão humana de todas as respostas positivas e maior variabilidade na coluna de objetivos do chatbot. ### Atributos do Dataset: external_id: id original do dataset de origem do dado vindo do dataset Weni/wenigpt-agent-1.4.0. name: Nome passado para o modelo ustilizar. occupation: ocupação ou profissão passado emprompt para que o modelo tenha mais contexto de como responder de forma personalizada. adjective: adjetivo passado ao modelo para que ele possa seguir uma determinada personalidade nas respostas. chatbot_goal: Objetivo específico do agente para cada interação, com variações de tamanho e entropia lexical. instructions: Instruções específicas dadas ao agente para moldar a resposta. content: contexto total que o a busca semântica tem acesso. chunks_small: parte do contexto extraisda através de busca semântica. chunks_big: parte do contexto extraisda através de busca semântica. data_category: categoria dos dados variando entre, positivos que pssuem respostas dentro do contexto, negativos que possuem perguntas fora do contexto e sensíveis que são dados envolvendo tratamentos para pergutnas com temas sensíves. question: pergunta feita ao modelo. answer: resposta final para a pergunta. respondida de acordo com contúdo de chunk_big. ## Melhorias na Versão 1.0.2: instructions: novas instructions seguindo estudos dos logs, melhorias em variabilidade de tamanho, entropia lexical e índice Ritmo e fluidez. chatbot_goal: nova coluna de chatbot_goal com melhorias em variabilidade de tamanho e buscando aproximar as distribuições de entropia lexical e índice Ritmo e fluidez do resultado desses mesmos índices vindos dos logs de uso do modelo. answer: novas respostas geradas alinhadas com novas instructions e chatbot_goal. Revisão Humana: Esse dataset não passou por revisão humana. ## Uso e Aplicação: Este dataset é ideal para treinar modelos de linguagem para tarefas de QA com diferentes personalidades e objetivos, garantindo respostas adequadas e adaptadas ao contexto do usuário. Pode ser utilizado em diversas aplicações, desde assistentes virtuais a chatbots de atendimento ao cliente.

数据集信息：特征项： - 名称：id 数据类型：int64 - 名称：external_id 数据类型：float64 - 名称：name 数据类型：string - 名称：occupation 数据类型：string - 名称：adjective 数据类型：string - 名称：chatbot_goal 数据类型：string - 名称：instructions 数据类型：字符串序列 - 名称：content 数据类型：string - 名称：chunks_small 列表类型： - 名称：content 数据类型：string - 名称：score 数据类型：float64 - 名称：chunks_big 列表类型： - 名称：content 数据类型：string - 名称：score 数据类型：float64 - 名称：data_category 数据类型：int64 - 名称：question 数据类型：string - 名称：chosen_response 数据类型：string - 名称：rejected_response 数据类型：string 数据拆分： - 名称：train 字节数：4458203 样本数量：334 下载大小：1878237 数据集总大小：4458203 配置项： - 配置名称：default 数据文件： - 拆分：train 路径：data/train-* ## 数据集卡片——巴西葡萄牙语人格化问答监督微调（Supervised Fine-Tuning，SFT）数据集数据集名称：wenigpt-agent-sft-1.0.2 ### 数据集说明本数据集专为巴西葡萄牙语问答（Question Answering，QA）任务的监督微调模型训练打造，核心目标是实现智能体人格偏好的多样化，支持在提示词中嵌入专属定制指令，并为AI智能体（AI Agent）设定特定交互目标。相较于1.0.1版本，1.0.2版本带来了多项显著改进：包括对所有正向回复开展人工审核，以及大幅提升聊天机器人目标列的内容多样性。 ### 数据集属性 - external_id：源自Weni/wenigpt-agent-1.4.0源数据集的原始外部ID - name：供模型调用的名称标识 - occupation：提示词中提供的职业/专业背景信息，用于为模型提供个性化回复的上下文依据 - adjective：用于引导模型在回复中遵循特定人格特质的描述性形容词 - chatbot_goal：单次交互中聊天机器人的专属任务目标，具备不同长度与词汇熵的变化性 - instructions：用于塑造模型回复风格与内容的专属指令集合 - content：语义检索可访问的完整上下文内容 - chunks_small：通过语义检索提取的小型上下文分块 - chunks_big：通过语义检索提取的大型上下文分块 - data_category：数据类别，涵盖三类样本：符合上下文的正向样本、超出上下文范围的负向样本，以及涉及敏感主题问答的敏感样本 - question：向模型提出的查询问题 - chosen_response：根据chunks_big内容生成的问题最终回复 - rejected_response：被淘汰的劣质回复 ### 1.0.2版本优化内容 1. instructions：基于实际运行日志研究新增指令集，优化了指令的长度多样性、词汇熵以及韵律与流畅度指标 2. chatbot_goal：新增聊天机器人目标列，优化了目标文本的长度多样性，并力求让词汇熵、韵律与流畅度指标的分布贴合模型实际使用日志的对应指标分布 3. answer：基于更新后的指令集与聊天机器人目标生成全新回复 ### 人工审核说明本数据集未经过人工审核。 ### 使用与应用场景本数据集非常适合训练具备多样化人格与交互目标的问答任务语言模型，可生成贴合用户上下文的适配性回复，可广泛应用于虚拟助手、客服聊天机器人等多种场景。

提供机构：

Weni

原始信息汇总