PamelaBorelli/CSTNews_sumarization

CSTNews_sumarizacao数据集是一个专门为葡萄牙语文本摘要任务设计的数据集。它基于CSTNews 6.0数据集，精选了新闻文本及其人工摘要。该数据集主要用于训练和评估葡萄牙语自然语言处理算法，特别是在文本摘要方面的应用。数据集包含新闻文章的原始文本和相应的人工摘要，旨在帮助研究人员和开发者提高葡萄牙语文本摘要的准确性和效率。

原始信息汇总

数据集概述

名称: CSTNews_sumarizacao

语言: Português-BR

目的: 用于葡萄牙语文本的自动摘要任务，通过自然语言处理算法实现。

数据集结构

样本示例: json { "id": "D4_C49_JB", "texto": "RIO - O presidente Luiz Inácio Lula da Silva classificou de reação do ser humano as vaias que recebeu, na última sexta-feira, dia 13, durante a abertura dos Jogos Pan-Americanos do Rio, no Maracanã. Lula admitiu que ficou chateado com a atitude do público, mas garantiu que sua relação com o povo do Rio não será alterada. Depois das vaias, Lula desistiu de declarar aberto os jogos, como estava planejado. A declaração foi feita pelo presidente do Comitê Olímpico Brasileiro (COB), Carlos Nuzman. - Na minha vida política, a vaia e o aplauso são dois momentos de reação do ser humano. A única coisa que eu, particularmente, fico triste é que eu fui preparado para uma festa. É como se eu fosse convidado para o aniversário de um amigo meu, chegasse lá e encontrasse um grupo de pessoas que não queria a minha presença lá. Eu tenho certeza de que não é esse o pensamento do Rio de Janeiro - disse Lula, no programa de rádio Café com o Presidente. - Depois que terminou o evento, várias pessoas vieram dizer que tinha sido organizado, que gente tinha recebido o convite. A mim, não me interessa o que aconteceu. O importante é que foi uma abertura extraordinária dos Jogos Pan-Americanos. O presidente afirmou que não haverá mudanças nos planos de investimento do governo federal para o Rio por conta do episódio. Nós vamos trabalhar, nós temos muitos projetos para trabalhar no Rio de Janeiro e vamos trabalhar no Rio. Isso não muda um milímetro do meu comportamento com o Rio de Janeiro. O Rio de Janeiro a gente poderia dizer continua lindo e merece que o governo federal faça o que for possível para o Rio de Janeiro.", "sumario_humano": "O presidente Lula foi vaiado na abertura dos jogos Pan-americano no Rio. Ele ficou chateado e decidiu não fazer a declaração de abertura dos jogos. No entanto, ele disse que as vaias não afetam sua relação com o povo carioca, pois classifica vaias e aplausos como reações naturais do ser humano. O motivo de ter ficado chateado deve-se ao sentimento de ser convidado para uma festa, na qual tinha gente que não quisesse sua presença. O presidente afirmou que não haverá mudanças nos planos de investimento do governo para o Rio devido ao episódio." }

数据字段:

• id: 行标识符
• texto: 原始文件的源文本
• sumario_humano: 对应文本的人工摘要

数据分割:

• train: 93个样本
• test: 14个样本
• validation: 33个样本

数据集创建

CSTNews_sumarizacao数据集是从huggingface发布的原始数据集中提取和处理的，使用了Colab进行数据处理，选择了对摘要任务最有用的原始数据集列，如ID、文本和摘要。摘要列代表人工摘要，对模型评估非常重要。