Your Next Token Prediction (YNTP)

YNTP数据集是一个多语言基准数据集，旨在个性化响应生成任务中评估大型语言模型的能力。该数据集由100个对话会话组成，涵盖了英语、日语和中文，参与者与基于MBTI维度的NPC进行五天的自然对话。通过这种方式，数据集捕捉了用户的日常交流模式，并分析了用户的内部模型。数据集可用于评估基于提示和微调的个人化方法，为用户对齐的语言建模奠定了基础。YNTP Dataset is a multilingual benchmark dataset designed to evaluate the capabilities of large language models (LLMs) in personalized response generation tasks. It comprises 100 dialogue sessions covering English, Japanese and Chinese, in which participants engage in five-day natural conversations with non-player characters (NPCs) grounded in MBTI dimensions. Through this setup, the dataset captures users' daily communication patterns and analyzes their internal personal models. The dataset can be utilized to evaluate personalized methods based on prompting and fine-tuning, laying a solid foundation for user-aligned language modeling.

搜集汇总

数据集介绍

构建方式

在个性化语言建模领域，YNTP数据集通过构建受控的人机对话环境来突破传统数据收集的隐私限制。该数据集采用基于有限状态机的多智能体对话系统，模拟为期五天的共享生活场景，用户与基于MBTI心理框架设计的非玩家角色进行多语言交互。系统通过动态评估用户回复与目标性格维度的匹配度，实现状态转移与反思机制，从而系统性地捕捉个体在自然对话中的词汇选择模式。

使用方法

该数据集的使用遵循严格的实验范式，将前四日对话作为训练数据构建用户内部模型，第五日对话留作测试集评估模型性能。研究者可采用基于提示工程的外部个性化方法，直接注入用户历史对话作为上下文示例；或运用参数高效微调技术对模型内部参数进行适配。评估体系涵盖语义保真度与风格一致性双重维度，通过词移距离、句子相似性等六项指标全面量化个性化生成效果。

背景与挑战

背景概述

个性化语言建模作为自然语言处理的前沿领域，旨在使大型语言模型生成符合用户个体特征的响应。2025年由京都大学Shiyao Ding与Takayuki Ito提出的Your Next Token Prediction数据集，通过构建多语言人机对话环境，模拟真实社交互动场景。该数据集包含英语、日语和汉语三种语言的100组对话会话，基于MBTI心理学框架设计非玩家角色，连续五天记录用户与智能体的自然交流。其核心研究在于突破传统风格模仿的局限，从认知层面建模用户的词汇选择模式，为个性化对齐研究提供了首个细粒度评估基准。

当前挑战

该数据集需解决个性化响应生成中语义与风格的双重对齐挑战：模型需在保留对话主旨的同时精准复现用户的用词习惯与情感表达。构建过程中面临多维度难题：首先，真实用户通信数据因隐私约束难以获取，需通过有限状态机与心理建模构建替代性对话环境；其次，跨语言语料需平衡文化差异与评估一致性，确保MBTI特质在不同语境下的有效触发；最后，多轮对话的连续性要求模型捕捉动态演进的语言特征，这对传统静态数据集构建方法提出了革新需求。

常用场景

经典使用场景

在个性化语言建模领域，YNTP数据集被广泛应用于评估大型语言模型在模拟个体用户语言风格方面的能力。通过多语言对话会话，研究者能够分析模型如何捕捉用户在词汇选择、情感表达和句式结构上的独特模式。该数据集支持基于提示工程和微调的方法，为个性化响应生成提供了标准化的测试平台，尤其在模拟日常社交互动场景中展现出显著价值。

解决学术问题

YNTP数据集主要解决了传统语言模型在个性化生成中的语义泛化问题。通过引入基于MBTI心理维度的多轮对话设计，该数据集使模型能够学习用户内在的认知与情感模式，而非简单的表层风格模仿。这为研究用户对齐机制提供了数据基础，推动了从通用响应到个体化表达的转变，对构建可信赖的人机交互系统具有深远意义。

实际应用

该数据集的实际应用涵盖智能邮件助手、社交机器人等需要个性化交互的场景。例如，在客户服务系统中，基于YNTP训练的模型可生成符合用户沟通习惯的回复，提升服务自然度；在教育领域，它能辅助构建适应学习者语言特征的辅导对话系统。其多语言特性进一步支持跨文化场景下的个性化服务部署。

数据集最近研究

最新研究方向

在个性化自然语言生成领域，Your Next Token Prediction (YNTP) 数据集通过构建多语言人机对话框架，推动了基于心理特质的细粒度用户建模研究。该数据集融合MBTI人格维度与多日交互机制，聚焦于从词汇层面捕捉用户内在认知模式，突破了传统风格模仿的局限。前沿探索集中在提示工程与参数高效微调的结合路径上，旨在实现语义忠实度与行为一致性的协同优化，为构建具备长期适应能力的个性化语言代理奠定了评估基础。

相关研究论文

• Your Next Token Prediction: A Multilingual Benchmark for Personalized Response Generation

  京都大学 · 2025年