arthurmluz/temario_data-temario_results

---
dataset_info:
features:
- name: id
dtype: string
- name: text
dtype: string
- name: summary
dtype: string
- name: gen_summary
dtype: string
- name: rouge
struct:
- name: rouge1
dtype: float64
- name: rouge2
dtype: float64
- name: rougeL
dtype: float64
- name: rougeLsum
dtype: float64
- name: bert
struct:
- name: f1
sequence: float64
- name: hashcode
dtype: string
- name: precision
sequence: float64
- name: recall
sequence: float64
- name: moverScore
dtype: float64
splits:
- name: validation
num_bytes: 232168
num_examples: 25
download_size: 184320
dataset_size: 232168
configs:
- config_name: default
data_files:
- split: validation
path: data/validation-*
---
# Dataset Card for "temario_data-temario_results"

Results of the model arthurmluz/ptt5-temario on the dataset godoyj/temario.

'gen_summary' is the generated summary, and both bertScore and Rouge metrics calculated.

mean metrics:

rouge= {'rouge1': 0.43610795130617214, 'rouge2': 0.1909123032482415, 'rougeL': 0.2712262438292888, 'rougeLsum': 0.2712262438292888}

bert= {'precision': 0.7376330280303955, 'recall': 0.7247375249862671, 'f1': 0.7302069187164306}

mover = 0.6236951679558348

原始信息汇总

数据集概述

数据集信息

• 特征列表:

  • id: 字符串类型
  • text: 字符串类型
  • summary: 字符串类型
  • gen_summary: 字符串类型
  • rouge: 结构体类型，包含以下字段:
    • rouge1: 浮点数类型
    • rouge2: 浮点数类型
    • rougeL: 浮点数类型
    • rougeLsum: 浮点数类型
  • bert: 结构体类型，包含以下字段:
    • f1: 浮点数序列类型
    • hashcode: 字符串类型
    • precision: 浮点数序列类型
    • recall: 浮点数序列类型
  • moverScore: 浮点数类型

• 数据分割:

  • validation: 包含25个样本，总字节数为232168字节

• 数据集大小:

  • 下载大小: 184320字节
  • 数据集大小: 232168字节

配置信息

• 默认配置:
  • 数据文件路径: data/validation-*

模型结果

• 生成的摘要: gen_summary
• 评估指标:
  • Rouge指标:
    • rouge1: 0.4361
    • rouge2: 0.1909
    • rougeL: 0.2712
    • rougeLsum: 0.2712
  • BertScore指标:
    • precision: 0.7376
    • recall: 0.7247
    • f1: 0.7302
  • MoverScore: 0.6237