Data Discovery with Large Language Models

The goal of this study is to investigate data search behaviour using Large Language Models (LLMs). We recruited 32 researchers by reaching out to personal contacts, posting to various mailing lists and on social media. One-on-one interviews with one participant and one interviewer were conducted via Zoom between February 7th and March 4th, 2025. During the one-on-one sessions, participants performed two data search tasks with an LLM (ChatGPT Scholar GPT or Perplexity) via remote access in Zoom. In the first task we asked them to conduct the search with the LLM presented to them (unguided task). In the second task (guided task), we prompted the LLM to behave as a persona and asked participants to imagine they were chatting with their colleague Leslie. While searching for data, the participants used Think-Aloud. Each session started with an initial oral interview. After each data search task, participants filled out two user experience questionnaires (User Experience Questionnaire (UEQ) and the NASA Task Load Index (NASA-TLX)) and additional interview questions about the search were answered verbally. In a short background questionnaire at the end we asked about experience in working with and searching for research data and basic demographics. Large Language Model used (Chat GPT Scholar, Perplexity); primary research field (arts and humanities, life sciences and biomedicine, social sciences and technology); frequency of use of LLM for academic tasks; Task 1: total number of queries; clarified own role; defined role for LLM (only task 1); average query length; average LLM response length; average query noun count; average query noun ratio; average number of emojis in LLM response; User Experience Questionnaire (UEQ) (annoying – enjoyable, not understandable – understandable, difficult to learn – easy to learn, inferior – valuable, boring – exciting, not interesting – interesting, unpredictable – predictable, slow – fast, obstructive – supportive, bad – good, complicated – easy, unlikable – leasing, unpleasant – pleasant, not secure – secure, demotivating – motivating, does not meet expectations – meets expectations, inefficient – efficient, confusing – clear, impractical -practical, cluttered -organized, unattractive – attractive, unfriendly – friendly); subscales attractiveness, efficiency, perspicuity, dependability, stimulation; NASA Task Load Index (NASA-TLX) 1st task (mental demand, physical demand, temporal demand, performance effort, frustration); familiarity with data just searched. Task 2: total number of queries; clarified own role; average query length; average LLM response length; average query noun count; average query noun ratio; average number of emojis in LLM response; User Experience Questionnaire (UEQ) (annoying – enjoyable, not understandable – understandable, difficult to learn – easy to learn, inferior – valuable, boring – exciting, not interesting – interesting, unpredictable – predictable, slow – fast, obstructive – supportive, bad – good, complicated – easy, unlikable – leasing, unpleasant – pleasant, not secure – secure, demotivating – motivating, does not meet expectations – meets expectations, inefficient – efficient, confusing – clear, impractical -practical, cluttered -organized, unattractive – attractive, unfriendly – friendly); subscales attractiveness, efficiency, perspicuity, dependability, stimulation; NASA Task Load Index (NASA-TLX) 2nd task (mental demand, physical demand, temporal demand, performance effort, frustration); familiarity with data just searched. Experience: years working with data; frequency of data use, frequency of data search in year. Demography: age; sex; highest academic qualification. Additionally coded was: ID. Das Ziel dieser Studie ist es, das Verhalten bei der Datensuche mit Hilfe von Large Language Models (LLMs) zu untersuchen. Die Rekrutierung der 32 Forschenden erfolgte über persönliche Kontakte, Mailinglisten verschiedener Forschungsbereiche und über soziale Medien (BlueSky und Mastodon). Zwischen dem 7. Februar und dem 4. März 2025 wurden Einzelinterviews (one-on-one interview) via Zoom durchgeführt, bei denen eine Interviewerin ein persönliches Gespräch mit einem einzelnen Teilnehmenden führte. Während der Einzelinterviews führten die Teilnehmenden zwei Datensuchaufgaben mit einem LLM (ChatGPT Scholar GPT oder Perplexity) über einen Fernzugang in Zoom durch. In der ersten Aufgabe wurden sie gebeten, die Suche mit dem ihnen präsentierten LLM durchzuführen (ungeleitete Aufgabe). In der zweiten Aufgabe (geleitete Aufgabe) trat das LLM als Persona auf und die Teilnehmenden wurden gebeten, sich vorzustellen, sie würden mit ihrer Kolleg*in Leslie chatten. Während sie nach Daten suchten, nutzten die Teilnehmenden Think-Aloud. Jede Sitzung begann mit einem mündlichen Eingangsinterview. Nach jeder Datensuchaufgabe füllten die Teilnehmenden zwei Fragebögen zur Nutzungserfahrung aus (User Experience Questionnaire (UEQ) und NASA Task Load Index (NASA-TLX)) und beantworteten weitere Interviewfragen zur Suche mündlich. In einem kurzen Hintergrundfragebogen am Ende wurden die Teilnehmenden zu ihren Erfahrungen in der Arbeit mit und der Suche nach Forschungsdaten befragt sowie nach grundlegenden demografischen Daten. Verwendetes Large Language Model (Chat GPT Scholar, Perplexity); primäres Forschungsgebiet (Kunst- und Geisteswissenschaften, Biowissenschaften und Biomedizin, Sozialwissenschaften und Technologie); Häufigkeit der Verwendung von LLM für akademische Aufgaben; Aufgabe 1: Gesamtzahl der Abfragen; geklärte eigene Rolle; definierte Rolle für LLM (nur Aufgabe 1); durchschnittliche Abfragelänge; durchschnittliche LLM-Antwortlänge; durchschnittliche Anzahl von Abfragesubstantiven; durchschnittliches Verhältnis von Abfragesubstantiven; durchschnittliche Anzahl von Emojis in LLM-Antworten; User Experience Questionnaire (UEQ) (lästig - angenehm, unverständlich - verständlich, schwer erlernbar - leicht erlernbar, minderwertig - wertvoll, langweilig - spannend, uninteressant - interessant, unvorhersehbar - vorhersehbar, langsam - schnell, hinderlich - unterstützend, schlecht - gut, kompliziert - einfach, unsympathisch - sympathisch, unangenehm - angenehm, nicht sicher - sicher, demotivierend - motivierend, entspricht nicht den Erwartungen - entspricht den Erwartungen, ineffizient - effizient, verwirrend - klar, unpraktisch - praktisch, unübersichtlich - übersichtlich, unattraktiv - attraktiv, unfreundlich - freundlich); Subskalen Attraktivität, Effizienz, Klarheit, Verlässlichkeit, Stimulation; NASA Task Load Index (NASA-TLX) Aufgabe 1 (geistige Anforderung, körperliche Anforderung, zeitliche Anforderung, Leistungsaufwand, Frustration); Vertrautheit mit den gerade gesuchten Daten. Aufgabe 2: Gesamtzahl der Abfragen; geklärte eigene Rolle; durchschnittliche Abfragelänge; durchschnittliche LLM-Antwortlänge; durchschnittliche Anzahl der Abfragesubstantive; durchschnittlicher Anteil der Abfragesubstantive; durchschnittliche Anzahl der Emojis in LLM-Antworten; User Experience Questionnaire (UEQ) Aufgabe 2 (lästig - angenehm, unverständlich - verständlich, schwer erlernbar - leicht erlernbar, minderwertig - wertvoll, langweilig - spannend, uninteressant - interessant, unvorhersehbar - vorhersehbar, langsam - schnell, hinderlich - unterstützend, schlecht - gut, kompliziert - einfach, unsympathisch - sympathisch, unangenehm - angenehm, nicht sicher - sicher, demotivierend - motivierend, entspricht nicht den Erwartungen - entspricht den Erwartungen, ineffizient - effizient, verwirrend - klar, unpraktisch - praktisch, unübersichtlich - übersichtlich, unattraktiv - attraktiv, unfreundlich - freundlich); Unterskalen Attraktivität, Effizienz, Klarheit, Verlässlichkeit, Stimulation; NASA Task Load Index (NASA-TLX) Aufgabe 2 (geistige Anforderung, körperliche Anforderung, zeitliche Anforderung, Leistungsaufwand, Frustration); Vertrautheit mit den gerade gesuchten Daten. Erfahrung: Jahre der Arbeit mit Daten; Häufigkeit der Datennutzung, Häufigkeit der Datensuche im Jahr. Demographie: Alter; Geschlecht; höchster akademischer Bildungsabschluss. Zusätzlich verkodet wurde: ID.