Product Desirability Toolkit (PDT) Synthetic Datasets

本研究利用大型语言模型（LLMs）生成了用于产品吸引力工具包（PDT）测试的合成数据集，旨在解决现有数据集不足的问题。数据集包含1000条合成的产品评论，通过三种方法生成，涵盖了118个PDT词汇。生成过程通过gpt-4o-mini模型实现，确保了成本效益和数据多样性。该数据集主要应用于用户中心设计（UCD）中的情感分析，旨在提供一种可扩展且成本有效的解决方案，以评估用户对产品的隐性偏好。

This study utilized Large Language Models (LLMs) to develop a synthetic dataset for Product Attractiveness Toolkit (PDT) testing, aiming to address the scarcity of existing relevant datasets. The dataset comprises 1,000 synthetic product reviews generated through three distinct methods, encompassing 118 PDT-specific vocabulary terms. All data generation was implemented using the GPT-4o-mini model, which ensures both cost-effectiveness and data diversity. This dataset is primarily applied to sentiment analysis within User-Centered Design (UCD), with the goal of providing a scalable and cost-effective solution for assessing users' implicit preferences toward products.

搜集汇总

数据集介绍

构建方式

Product Desirability Toolkit (PDT) Synthetic Datasets的构建基于大型语言模型（LLMs），特别是gpt-4o-mini模型。研究团队通过OpenAI API访问该模型，采用三种方法（Word+Review、Review+Word和Supply-Word）生成1000条假设的软件产品评论。每种方法都旨在模拟真实的用户反馈，同时确保数据集的情感一致性、文本多样性和生成成本的合理性。这些方法通过随机选择目标情感分数和PDT词汇列表中的单词，指导gpt-4o-mini生成符合特定情感的评论，从而构建出一个全面且多样化的合成数据集。

特点

PDT Synthetic Datasets的主要特点在于其高度的情感一致性和文本多样性。研究结果显示，所有方法生成的数据集在情感对齐方面表现优异，Pearson相关系数在0.93至0.97之间。此外，Supply-Word方法在文本多样性和PDT词汇覆盖率方面表现最佳，尽管生成成本较高。尽管存在轻微的正向情感偏差，但在测试数据有限的情况下，LLM生成的合成数据具有显著优势，包括可扩展性、成本节约和数据生产的灵活性。

使用方法

PDT Synthetic Datasets适用于多种场景，特别是在用户情感分析和产品体验评估中。研究团队建议，用户可以通过调整提示词来生成特定产品或特定方面的评论，从而适应不同的应用需求。数据集的公开版本可在Zenodo上获取，用户可以下载并用于内部情感分析研究。在使用过程中，应确保数据集的合成性质被明确标记，避免基于合成数据做出影响现实决策的结论。此外，考虑到LLMs的固有偏差，未来的研究应探索减少这些偏差的方法。

背景与挑战

背景概述

Product Desirability Toolkit (PDT) Synthetic Datasets是由John D. Hastings等人于2024年创建的，旨在通过大型语言模型（LLMs）生成用于产品吸引力测试的合成数据集。该数据集的核心研究问题是如何在真实数据有限的情况下，利用合成数据进行用户情感和产品体验的评估。PDT数据集的创建填补了该领域可用数据集的空白，为产品开发中的用户中心设计（UCD）提供了新的工具和方法，特别是在情感分析和用户需求映射方面具有重要影响。

当前挑战

PDT Synthetic Datasets在构建过程中面临的主要挑战包括：1) 合成数据与目标情感评分的对齐问题，尽管大多数合成数据与目标情感评分高度一致，但仍存在部分数据偏差；2) 文本多样性的维持，确保合成文本能够真实反映人类语言的多样性；3) 数据生成成本的控制，尽管gpt-4o-mini模型在成本上具有优势，但大规模生成数据仍需考虑时间和经济成本。此外，合成数据中的潜在偏见和伦理问题也是需要解决的重要挑战。

常用场景

经典使用场景

在产品设计和用户体验研究领域，Product Desirability Toolkit (PDT) Synthetic Datasets被广泛用于生成合成的产品评论数据，以评估用户对产品的情感倾向和满意度。通过使用大型语言模型（LLMs）如gpt-4o-mini，研究者能够生成具有高度情感一致性和文本多样性的合成数据集，从而为产品开发过程中的情感分析提供可靠的数据支持。

衍生相关工作

基于PDT Synthetic Datasets的研究，衍生出了一系列相关工作，包括改进的情感分析算法和用户满意度评估模型。例如，Weitl-Harms等人利用LLMs对PDT数据进行量化分析，显著提升了产品 desirability 的测量精度。此外，该数据集还激发了对合成数据生成技术的进一步研究，推动了数据生成和情感分析领域的技术进步。

数据集最近研究

最新研究方向

在产品设计与用户体验领域，Product Desirability Toolkit (PDT) Synthetic Datasets的最新研究方向主要集中在利用大型语言模型（LLMs）生成合成数据集，以解决实际数据稀缺的问题。通过gpt-4o-mini等成本效益高的模型，研究人员探索了多种生成方法，如Word+Review、Review+Word和Supply-Word，以确保合成数据在情感对齐、文本多样性和生成成本方面的有效性。这些研究不仅提升了数据集的可扩展性和经济性，还为大规模情感分析和用户中心设计（UCD）提供了新的可能性。

相关研究论文

• Utilizing Large Language Models to Synthesize Product Desirability Datasets

  达科他州立大学 · 2024年