Data Discovery with Large Language Models

Zielsetzung: Das Ziel dieser Studie ist es, das Verhalten bei der Datensuche mit Hilfe von Large Language Models (LLMs) zu untersuchen.
Methode: Wir rekrutierten 32 Forscher, indem wir persönliche Kontakte ansprachen und Beiträge in verschiedenen Mailinglisten und sozialen Medien veröffentlichten. Einzelinterviews mit einem Teilnehmer und einem Interviewer wurden zwischen dem 7. Februar und dem 4. März 2025 über Zoom durchgeführt. Während der Einzelgespräche führten die Teilnehmer zwei Datensuchaufgaben mit einem LLM (ChatGPT Scholar GPT oder Perplexity) über einen Fernzugang in Zoom durch. In der ersten Aufgabe baten wir sie, die Suche mit dem ihnen präsentierten LLM durchzuführen (ungeführte Aufgabe). In der zweiten Aufgabe (geführte Aufgabe) ließen wir den LLM als Persona auftreten und baten die Teilnehmer, sich vorzustellen, sie würden mit ihrer Kollegin Leslie chatten. Während sie nach Daten suchten, benutzten die Teilnehmer Think-Aloud.
Inhalt des Fragebogens: Jede Sitzung begann mit einem mündlichen Eingangsinterview. Nach jeder Datensuchaufgabe füllten die Teilnehmer zwei Fragebögen zur Benutzererfahrung aus (User Experience Questionnaire (UEQ) und NASA Task Load Index (NASA-TLX)) und beantworteten weitere Interviewfragen zur Suche mündlich. In einem kurzen Hintergrundfragebogen am Ende fragten wir nach Erfahrungen bei der Arbeit mit und der Suche nach Forschungsdaten sowie nach grundlegenden demografischen Daten.