L'intelligence artificielle au service des chercheurs en SHS

Objectif : Ce jeu de données vise à évaluer et comparer les performances de modèles d'intelligence artificielle dans la génération d’un état de l’art en Sciences Humaines et Sociales (SHS). Il permet d’analyser la pertinence, la cohérence et la qualité des réponses fournies par différentes IA face à des prompts spécifiques.

Source : Les données proviennent de résultats d'expériences et d’un benchmark des modèles IA disponibles sur le marché. Les tests ont été réalisés à l'occasion d'un enseignement sur la communication savante et l'open-data dispensé dans le Master 2 Information-Documentation parcours MAVINUM à l'Université Paul Valéry Montpellier 3.

Le jeu de données comprend

Scores de performances des modèles IA selon différents critères d’évaluation (précision, cohérence, originalité, etc.).

Prompts utilisés pour solliciter les modèles IA et observer leurs réponses.

Réponses générées par les différentes IA testées, permettant une analyse qualitative et comparative.

Annotations humaines fournies, servant de référence pour évaluer la pertinence des résultats.

Le jeu de données est disponible sous plusieurs formats

Fichiers Excel pour une analyse quantitative structurée des scores et des résultats.

Documents PDF contenant des rapports détaillés et des analyses des sorties générées par l'IA.

Utilisation 

Ce jeu de données est destiné à tous les chercheurs intéressés par l’utilisation de l’IA pour la génération automatisée de synthèses scientifiques en SHS. Il peut être utilisé pour :

Évaluer les performances des modèles actuels.

Identifier les forces et les limites de l’IA dans le domaine des SHS.

Explorer des approches d'amélioration pour affiner les modèles de génération de texte.