comparia-reactions

<style>
@import url('https://fonts.googleapis.com/css2?family=Marianne:wght@300;400;500;700&display=swap');

:root {
--primary-color: #000091;
--secondary-color: #6a6af4;
--accent-color: #e1000f;
--text-color: #1e1e1e;
--light-bg: #f5f5fe;
--border-radius: 6px;
}

@media (prefers-color-scheme: dark) {
:root {
--primary-color: #6a6af4;
--secondary-color: #8989ff;
--accent-color: #ff5c5c;
--text-color: #e0e0e0;
--light-bg: #252535;
}
}

.container {
font-family: 'Marianne', sans-serif;
max-width: 800px;
margin: 0 auto;
padding: 15px;
color: var(--text-color);
line-height: 1.4;
}

@media (prefers-color-scheme: dark) {
.container {
color: var(--text-color);
}

a {
color: var(--secondary-color);
}

code {
background-color: #333;
color: #f0f0f0;
}
}

.logo {
width: 200px;
display: block;
margin-left: 0;
transition: transform 0.3s ease;
}

.logo:hover {
transform: scale(1.05);
}

h1 {
color: var(--primary-color);
text-align: left;
font-size: 2em;
margin: 40px 0 30px;
position: relative;
padding-bottom: 15px;
}

h1::after {
content: "";
position: absolute;
bottom: 0;
left: 0;
width: 80px;
height: 4px;
background-color: var(--accent-color);
border-radius: 2px;
}

.dataset-section {
display: grid;
grid-template-columns: repeat(auto-fit, minmax(250px, 1fr));
gap: 0px;
margin: 20px 0;
}

.dataset-card {
background-color: white;
border-radius: var(--border-radius);
padding: 25px;
box-shadow: 0 2px 8px rgba(0, 0, 0, 0.05);
display: flex;
flex-direction: column;
}

.stats-cards {
display: grid;
grid-template-columns: repeat(auto-fit, minmax(150px, 1fr));
gap: 20px;
margin: 25px 0;
}

.stat-card {
background-color: white;
border-radius: var(--border-radius);
padding: 20px;
box-shadow: 0 3px 10px rgba(0, 0, 145, 0.1);
text-align: center;
transition: transform 0.2s ease, box-shadow 0.2s ease;
}

.stat-card:hover {
transform: translateY(-3px);
box-shadow: 0 5px 15px rgba(0, 0, 145, 0.15);
}

.stat-card .number {
font-size: 2em;
font-weight: 700;
color: var(--primary-color);
margin: 5px 0;
}

.stat-card .label {
font-size: 0.9em;
color: #555;
font-weight: 500;
}

.dataset-metrics {
background-color: var(--light-bg);
padding: 15px;
border-radius: var(--border-radius);
margin-bottom: 20px;
text-align: center;
display: inline-block;
min-width: 150px;
}

.dataset-metrics .number {
font-size: 1.6em;
font-weight: 700;
color: var(--primary-color);
margin: 4px 0;
}

.dataset-metrics .label {
font-size: 0.9em;
color: #555;
}

.metrics-container {
display: flex;
justify-content: flex-start;
gap: 20px;
flex-wrap: wrap;
margin: 20px 0;
}

.video-container {
box-shadow: 0 4px 12px rgba(0, 0, 145, 0.15);
border-radius: var(--border-radius);
overflow: hidden;
width: 100%;
max-width: 600px;
margin: 20px auto 20px auto;
transition: transform 0.3s ease, box-shadow 0.3s ease;
position: relative;
padding-top: 0;
}

.video-container video {
width: 100%;
display: block;
}

.video-container:hover {
transform: translateY(-3px);
box-shadow: 0 6px 15px rgba(0, 0, 145, 0.2);
}

.highlight-box {
background-color: var(--light-bg);
padding: 20px;
border-radius: var(--border-radius);
margin: 25px 0;
}

.button {
display: inline-block;
background-color: var(--secondary-color);
color: white !important;
text-decoration: none;
padding: 10px 20px;
border-radius: var(--border-radius);
font-weight: 500;
transition: all 0.3s ease;
margin: 5px;
border: 1px solid var(--secondary-color);
}

.button:hover {
transform: translateY(-2px);
box-shadow: 0 4px 8px rgba(0, 0, 0, 0.1);
}

.button.secondary {
background-color: #6A6AF4;
color: white !important;
border: 1px solid var(--primary-color);
}

.datasets-buttons {
display: flex;
justify-content: center;
flex-wrap: wrap;
gap: 10px;
margin: 20px 0;
}

.contact-section {
text-align: left;
margin-top: 40px;
padding: 20px;
background-color: var(--light-bg);
border-radius: var(--border-radius);
}

.data-table {
width: 100%;
border-collapse: collapse;
margin: 20px 0;
}

.data-table th {
background-color: var(--light-bg);
padding: 10px;
text-align: left;
color: var(--primary-color);
}

.data-table td {
padding: 10px;
border-bottom: 1px solid #eee;
}

.datasets-grid {
display: grid;
grid-template-columns: repeat(auto-fit, minmax(300px, 1fr));
gap: 20px;
margin: 15px 0;
}

.datasets-grid .highlight-box {
margin-top: 0;
margin-bottom: 0;
height: 100%;
display: flex;
flex-direction: column;
}

.datasets-grid .highlight-box h3 {
margin-top: 0;
margin-bottom: 10px;
}

.datasets-grid .video-container {
margin: 15px 0 0 0;
max-width: 100%;
}

/* Style pour une vidéo plus élégante et compacte */
.video-container.compact {
max-width: 480px;
margin: 25px auto;
box-shadow: 0 3px 10px rgba(0, 0, 145, 0.1);
border: 1px solid var(--light-bg);
}

.video-container.compact video {
display: block;
width: 100%;
height: auto;
}
</style>

<div class="container">
<a href="https://comparia.beta.gouv.fr/">
<img class="logo" src="https://github.com/user-attachments/assets/bd071ffd-1253-486d-ad18-9f5b371788b0" alt="compar:IA logo">
</a>

# comparia-reactions : le jeu de données de l'ensemble des réactions exprimées par les utilisateurs de compar:IA

## Origine de ces données : qu’est-ce que compar:IA ?

[Compar:IA](https://comparia.beta.gouv.fr/) est un comparateur d'IA conversationnelles (une "chatbot arena") développé au sein du Ministère de la Culture français avec une double mission :
- Former et sensibiliser au pluralisme des modèles, aux biais culturels et linguistiques et aux enjeux environnementaux des IA conversationnelles.
- Améliorer les IA conversationnelles en français en publiant des jeux de données d'alignement en français et en faisant un classement de modèles d'IA conversationnelle en français (en construction).

Le comparateur compar:IA est développé dans le cadre de la start-up d'Etat compar:IA (incubateur de l'[Atelier numérique](https://www.culture.gouv.fr/Thematiques/innovation-numerique/Aides-a-l-innovation-et-a-la-transformation-numerique/L-Atelier-numerique#:~:text=L'Atelier%20num%C3%A9rique%20est%20l,engager%20personnellement%20pour%20le%20r%C3%A9soudre.) et [AllIAnce](https://alliance.numerique.gouv.fr/)) intégrée au programme [beta.gouv.fr](beta.gouv.fr) de la [Direction interministérielle du numérique (DINUM)](https://www.numerique.gouv.fr/dinum/) qui aide les administrations publiques à construire des services numériques utiles, simples et faciles à utiliser.
<div style="margin: 20px 0;">
<a href="https://comparia.beta.gouv.fr/" class="button secondary">Site web de la plateforme compar:IA</a>
<a href="https://github.com/betagouv/ComparIA" class="button secondary">Code source de la plateforme compar:IA</a>
</div>

## Définition d'une réaction sur compar:IA

Au fil de la discussion, l'utilisateur peut évaluer les différentes réponses des deux modèles - nous appelons ces évaluations des "réactions".

Pour chaque message, l'utilisateur peut donner un pouce vers le haut ou vers le bas. Par la suite, l'utilisateur peut aussi sélectionner des étiquettes spécifiques pour caractériser chaque réponse.

<video controls autoplay loop muted playsinline src="https://cdn-uploads.huggingface.co/production/uploads/649d986a474bf415c03b772c/ncldPIO_bTesSd8bqcjqn.mp4"></video>

Voici les options de votes et de qualificatifs que les utilisateurs ont :
- **Réaction positive** (pouce vers le haut)
- Utile
- Complète
- Créative
- Mise en forme claire
- Autre ... (l'utilisateur a un champ libre de texte)
- **Réaction négative** (pouce vers le bas)
- Incorrecte
- Superficielle
- Instructions non suivies
- Autre ... (l'utilisateur a un champ libre de texte)


## Le contenu du jeu de données

Au total sur compar:IA, plus de 100k conversations ont eu lieu. Vous pouvez toutes les trouver dans ce dataset - [comparia-conversations.](https://huggingface.co/datasets/ministere-culture/comparia-conversations)

Parmi ces conversations, les utilisateurs ont exprimé des réactions à plus de 34k messages. Les messages et les réactions correspondants sont disponibles dans ce jeu de données. Les messages sont en très grande majorité **en français** et correspondent à des **usages réels et non contraints**.

## Colonnes du jeu de données comparia-reactions
<table class="data-table">
<tr>
<th>Colonne</th>
<th>Type</th>
<th>Description</th>
</tr>
<tr>
<td><code>id</code></td>
<td>int64</td>
<td>Identifiant unique pour chaque entrée dans le jeu de données</td>
</tr>
<tr>
<td><code>timestamp</code></td>
<td>int64</td>
<td>Horodatage de la réaction</td>
</tr>
<tr>
<td><code>model_a_name</code></td>
<td>string</td>
<td>Nom du premier modèle</td>
</tr>
<tr>
<td><code>model_b_name</code></td>
<td>string</td>
<td>Nom du second modèle</td>
</tr>
<tr>
<td><code>refers_to_model</code></td>
<td>string</td>
<td>Modèle auquel la réaction fait référence</td>
</tr>
<tr>
<td><code>msg_index</code></td>
<td>int64</td>
<td>Index du message dans la conversation</td>
</tr>
<tr>
<td><code>opening_msg</code></td>
<td>string</td>
<td>Premier message envoyé par l'utilisateur</td>
</tr>
<tr>
<td><code>conversation_a</code></td>
<td>list</td>
<td>Structure complète de la conversation avec le premier modèle</td>
</tr>
<tr>
<td><code>conversation_b</code></td>
<td>list</td>
<td>Structure complète de la conversation avec le second modèle</td>
</tr>
<tr>
<td><code>model_pos</code></td>
<td>string</td>
<td>Position du modèle dans l'interface (A ou B)</td>
</tr>
<tr>
<td><code>conv_turns</code></td>
<td>int64</td>
<td>Nombre de tours d'échange dans la conversation</td>
</tr>
<tr>
<td><code>conversation_pair_id</code></td>
<td>string</td>
<td>Identifiant unique pour la paire de conversations</td>
</tr>
<tr>
<td><code>conv_a_id</code></td>
<td>string</td>
<td>Identifiant unique pour la conversation avec le modèle A</td>
</tr>
<tr>
<td><code>conv_b_id</code></td>
<td>string</td>
<td>Identifiant unique pour la conversation avec le modèle B</td>
</tr>
<tr>
<td><code>refers_to_conv_id</code></td>
<td>string</td>
<td>Identifiant de la conversation à laquelle la réaction fait référence</td>
</tr>
<tr>
<td><code>session_hash</code></td>
<td>string</td>
<td>Identifiant de session utilisateur</td>
</tr>
<tr>
<td><code>visitor_id</code></td>
<td>string</td>
<td>Identifiant anonymisé unique pour l'utilisateur</td>
</tr>
<tr>
<td><code>response_content</code></td>
<td>string</td>
<td>Contenu de la réponse du modèle auquel l'utilisateur a réagi</td>
</tr>
<tr>
<td><code>question_content</code></td>
<td>string</td>
<td>Contenu de la question de l'utilisateur</td>
</tr>
<tr>
<td><code>liked</code></td>
<td>bool</td>
<td>Indique si l'utilisateur a aimé la réponse (pouce vers le haut)</td>
</tr>
<tr>
<td><code>disliked</code></td>
<td>bool</td>
<td>Indique si l'utilisateur n'a pas aimé la réponse (pouce vers le bas)</td>
</tr>
<tr>
<td><code>comment</code></td>
<td>string</td>
<td>Commentaire laissé par l'utilisateur sur la réponse</td>
</tr>
<tr>
<td><code>useful</code></td>
<td>bool</td>
<td>Indique si l'utilisateur a jugé que la réponse était utile</td>
</tr>
<tr>
<td><code>creative</code></td>
<td>bool</td>
<td>Indique si l'utilisateur a jugé que la réponse était créative</td>
</tr>
<tr>
<td><code>complete</code></td>
<td>bool</td>
<td>Indique si l'utilisateur a jugé que la réponse était complète</td>
</tr>
<tr>
<td><code>clear_formatting</code></td>
<td>bool</td>
<td>Indique si l'utilisateur a jugé que la mise en forme était claire</td>
</tr>
<tr>
<td><code>incorrect</code></td>
<td>bool</td>
<td>Indique si l'utilisateur a jugé que la réponse contenait des informations incorrectes</td>
</tr>
<tr>
<td><code>superficial</code></td>
<td>bool</td>
<td>Indique si l'utilisateur a jugé que la réponse était superficielle</td>
</tr>
<tr>
<td><code>instructions_not_followed</code></td>
<td>bool</td>
<td>Indique si l'utilisateur a jugé que le modèle n'a pas suivi les instructions pour ce message</td>
</tr>
<tr>
<td><code>model_pair_name</code></td>
<td>sequence</td>
<td>Représentation sous forme d'ensemble des deux modèles comparés</td>
</tr>
<tr>
<tr>
<td><code>msg_rank</code></td>
<td>int64</td>
<td></td>
</tr>
<tr>
<td><code>question_id</code></td>
<td>string</td>
<td>Identifiant unique de la question</td>
</tr>
<tr>
<td><code>system_prompt</code></td>
<td>string</td>
<td>Instruction système fournie au modèle</td>
</tr>
</table>

## Utilité de ce jeu de données

Nous mettons ce jeu de données à disposition des éditeurs de modèles, ainsi que de la communauté des chercheurs en intelligence artificielle et en sciences sociales, afin de contribuer aux avancées dans les domaines suivants :
- l'instruction et l'alignement des modèles de langue conversationnels, notamment sur le français
- les interactions humain/machine et les comportements spécifiques que les dispositifs d'IA conversationnels impliquent
- l'amélioration des méthodes d'évaluation des LLM
- la sécurité de l'IA et la modération de contenus

Si vous exploitez le jeu de données compar:IA, nous serions ravis d’en savoir plus sur vos usages et vos retours. Votre feedback nous aidera à améliorer l’expérience de réutilisation. N’hésitez pas à nous contacter à l’adresse suivante : <a href="mailto:[e-mail]">[e-mail]</a>.

## Le post-traitement des données

Le consentement de l'utilisateur est recueilli via la section "Modalités d'utilisation" sur le site. Une détection des informations personnelles identifiables (PII) a été réalisée (les résultats de cette analyse sont indiqués dans la colonne 'contains_pii' du jeu de données), et les conversations contenant de telles informations ont été anonymisées. Cependant, nous n'appliquons aucun filtrage ni traitement des contenus potentiellement toxiques ou haineux, afin de permettre aux chercheurs d’étudier les enjeux de sécurité liés à l’usage des LLM dans des contextes réels.

## Licences

Sous réserve d'une revendication par des tiers sur les résultats générés par les modèles de langage, nous procédons à la mise à disposition du jeu de données sous licence ouverte Etalab 2.0.
Il est de la responsabilité des utilisateurs de s'assurer que leur utilisation du jeu de données est conforme aux réglementations en vigueur, notamment en matière de protection des données personnelles et de respect des conditions d'utilisation des différents éditeurs de modèles.

## Les autres jeux de données compar:IA

<div class="datasets-grid">

<div class="highlight-box">
<h3>comparIA-conversations</h3>
<p>Jeu de données de l'ensemble des questions posées et réponses reçues sur la plateforme compar:IA.</p>
<image src="https://cdn-uploads.huggingface.co/production/uploads/649d986a474bf415c03b772c/LUYr4vyM1eeHGQ5JSHJQR.png"></image>
<div class="datasets-buttons">
<a href="https://huggingface.co/datasets/ministere-culture/comparia-conversations" class="button secondary">Découvrir comparIA-conversations</a>
</div>
</div>

<div class="highlight-box">
<h3>comparIA-votes</h3>
<p>Jeu de données regroupant les préférences des utilisateurs de compar:IA à l'échelle d'une conversation. </p>
<div class="video-container">
<video controls autoplay loop muted playsinline src="https://cdn-uploads.huggingface.co/production/uploads/649d986a474bf415c03b772c/Fv-aTZYUKDsPwS5HwNbX3.mp4"></video>
</div>
<div class="datasets-buttons">
<a href="https://huggingface.co/datasets/ministere-culture/comparia-votes" class="button secondary">Découvrir comparIA-votes</a>
</div>
</div>

</div>

<div class="contact-section">
<h3>Reporting sensitive data</h3>
<p>If you find a line in the dataset that you think contains PII or sensitive data, please let us know via <a href="https://adtk8x51mbw.eu.typeform.com/to/B49aloXZ">this short form</a>.</p>

<h3>Contact</h3>
<p>Pour toute question ou demande d'information, contacter <a href="mailto:[e-mail]">[e-mail]</a></p>

<div style="margin-top: 30px;">
<a href="https://beta.gouv.fr">
<img src="https://cdn-uploads.huggingface.co/production/uploads/649d986a474bf415c03b772c/Zk4YiqgKu9sm5ydQ7fhSq.png" alt="Logo du ministère, de beta.gouv et de l'atelier numérique" style="max-width: 400px;">
</a>
</div>
</div>

</div>

<div align="center">

<br />
<a href="https://digitalpublicgoods.net/r/comparia" target="_blank" rel="noopener noreferrer"><img src="https://github.com/DPGAlliance/dpg-resources/blob/main/docs/assets/dpg-badge.png?raw=true" width="100" alt="Digital Public Goods Badge"></a>

</div>