Weni/wenigpt-agent-dpo-1.0.2

---
dataset_info:
features:
- name: id
dtype: int64
- name: external_id
dtype: float64
- name: name
dtype: string
- name: occupation
dtype: string
- name: adjective
dtype: string
- name: chatbot_goal
dtype: string
- name: instructions
sequence: string
- name: content
dtype: string
- name: chunks_small
list:
- name: content
dtype: string
- name: score
dtype: float64
- name: chunks_big
list:
- name: content
dtype: string
- name: score
dtype: float64
- name: data_category
dtype: int64
- name: question
dtype: string
- name: chosen_response
dtype: string
- name: rejected_response
dtype: string
splits:
- name: train
num_bytes: 4458203
num_examples: 334
download_size: 1878237
dataset_size: 4458203
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

## Dataset Card - QA Personalidade SFT em Português Brasileiro
Nome do Dataset: wenigpt-agent-sft-1.0.2

### Descrição:
Este dataset foi criado para o treinamento de modelos de Fine-Tuning Supervisionado (SFT) com foco em tarefas de Perguntas e Respostas (QA) em português brasileiro. O dataset é especializado em variar as preferências de personalidade dos agentes, possibilitar o uso de instruções específicas no prompt e definir objetivos específicos para o agente inteligente. A versão 1.0.1 apresenta melhorias significativas em relação à versão anterior, incluindo uma revisão humana de todas as respostas positivas e maior variabilidade na coluna de objetivos do chatbot.

### Atributos do Dataset:

external_id: id original do dataset de origem do dado vindo do dataset Weni/wenigpt-agent-1.4.0.

name: Nome passado para o modelo ustilizar.

occupation: ocupação ou profissão passado emprompt para que o modelo tenha mais contexto de como responder de forma personalizada.

adjective: adjetivo passado ao modelo para que ele possa seguir uma determinada personalidade nas respostas.

chatbot_goal: Objetivo específico do agente para cada interação, com variações de tamanho e entropia lexical.

instructions: Instruções específicas dadas ao agente para moldar a resposta.

content: contexto total que o a busca semântica tem acesso.

chunks_small: parte do contexto extraisda através de busca semântica.

chunks_big: parte do contexto extraisda através de busca semântica.

data_category: categoria dos dados variando entre, positivos que pssuem respostas dentro do contexto, negativos que possuem perguntas fora do contexto e sensíveis que são dados envolvendo tratamentos para pergutnas com temas sensíves.

question: pergunta feita ao modelo.

answer: resposta final para a pergunta. respondida de acordo com contúdo de chunk_big.

## Melhorias na Versão 1.0.2:

instructions: novas instructions seguindo estudos dos logs, melhorias em variabilidade de tamanho, entropia lexical e índice Ritmo e fluidez.

chatbot_goal: nova coluna de chatbot_goal com melhorias em variabilidade de tamanho e buscando aproximar as distribuições de entropia lexical e índice Ritmo e fluidez do resultado desses mesmos índices vindos dos logs de uso do modelo.

answer: novas respostas geradas alinhadas com novas instructions e chatbot_goal.

Revisão Humana: Esse dataset não passou por revisão humana.

## Uso e Aplicação:
Este dataset é ideal para treinar modelos de linguagem para tarefas de QA com diferentes personalidades e objetivos, garantindo respostas adequadas e adaptadas ao contexto do usuário. Pode ser utilizado em diversas aplicações, desde assistentes virtuais a chatbots de atendimento ao cliente.

原始信息汇总

数据集概述

数据集名称

wenigpt-agent-sft-1.0.2

数据集描述

该数据集专为葡萄牙语巴西地区的监督式微调（SFT）模型训练而设计，主要用于问答（QA）任务。数据集专注于调整代理的个性偏好，允许在提示中使用特定指令，并为智能代理定义特定目标。

数据集特征

• id: 整数类型
• external_id: 浮点数类型
• name: 字符串类型
• occupation: 字符串类型
• adjective: 字符串类型
• chatbot_goal: 字符串类型
• instructions: 字符串序列类型
• content: 字符串类型
• chunks_small: 列表类型，包含字符串和浮点数类型
• chunks_big: 列表类型，包含字符串和浮点数类型
• data_category: 整数类型
• question: 字符串类型
• chosen_response: 字符串类型
• rejected_response: 字符串类型

数据集分割

• train: 334个样本，数据大小为4458203字节

数据集大小

• 下载大小: 1878237字节
• 数据集大小: 4458203字节

数据集配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*