JIR-ARENA

JIR-ARENA是一个多模态的即时信息推荐（JIR）基准数据集，由伊利诺伊大学厄巴纳-香槟分校的研究团队创建。该数据集包含34个多媒体场景，总时长831分钟，涵盖讲座和会议演讲等高度信息密集的场景。讲座主题涉及计算机科学、神经科学、金融、数学和化学等多个领域，而会议演讲则覆盖计算机科学领域的子领域，如人工智能、编程、网络安全和教育技术。数据集的构建过程涉及用户信息需求的模拟和信息检索驱动的JIR实例完成两个主要阶段。为了克服构建JIR基准数据集的挑战，JIR-ARENA采用了多实体、多轮模拟来近似用户信息需求的分布，并通过从静态知识库检索信息的性能来定义JIR实例的质量。数据集旨在评估JIR系统的精确度、召回率、及时性和相关性，从而解决在关键时刻为用户提供最相关信息的挑战。JIR-ARENA is a multimodal real-time information recommendation (JIR) benchmark dataset created by a research team from the University of Illinois Urbana-Champaign. This dataset comprises 34 multimedia scenarios with a total duration of 831 minutes, covering highly information-dense scenarios such as lectures and conference presentations. Lecture topics span multiple fields including computer science, neuroscience, finance, mathematics and chemistry, while conference presentations cover subfields of computer science such as artificial intelligence, programming, cybersecurity and educational technology. The construction of the dataset involves two main stages: simulation of user information needs and completion of information retrieval-driven JIR instances. To overcome the challenges in building JIR benchmark datasets, JIR-ARENA adopts multi-entity and multi-turn simulations to approximate the distribution of user information needs, and defines the quality of JIR instances based on the performance of information retrieval from static knowledge bases. This dataset is designed to evaluate the precision, recall, timeliness and relevance of JIR systems, thereby addressing the challenge of providing users with the most relevant information at critical moments.

搜集汇总

数据集介绍

构建方式

JIR-ARENA数据集的构建过程分为两个主要阶段：用户信息需求模拟阶段和基于信息检索的JIR实例完成阶段。在用户信息需求模拟阶段，结合大型AI模型和人工标注者生成用户查询，并通过多轮多实体验证框架确保需求的全面性和合理性。在JIR实例完成阶段，采用三层信息检索流程，包括经典信息检索模型、基于大型语言模型的质量检查以及人工质量检查，以确保参考列表的相关性和准确性。整个构建过程涵盖了34个多媒体场景，总计831分钟，聚焦于信息密集型场景如学术讲座和会议演讲。

使用方法

JIR-ARENA数据集的使用方法主要包括三个步骤：1）评估JIR系统在推断用户信息需求方面的能力，通过语义和时间对齐计算召回率和精确率；2）评估推荐内容的相关性，使用预定义的相关性分数和nDCG指标；3）评估推荐的及时性，通过高斯核函数计算时间匹配分数。此外，数据集支持多轮多实体验证框架，用户可根据具体需求调整评估参数，以全面测试JIR系统在不同维度上的性能。

背景与挑战

背景概述

JIR-ARENA是由伊利诺伊大学厄巴纳-香槟分校的Ke Yang、Kevin Ros、Shankar Kumar Senthil Kumar和ChengXiang Zhai等研究人员于2025年提出的首个即时信息推荐（Just-in-time Information Recommendation, JIR）基准数据集。该数据集旨在解决在用户学习、工作和社交互动等关键时刻填补信息空白的问题，通过最小化用户努力提升决策质量和生活效率。JIR-ARENA的推出填补了该领域缺乏系统性任务定义和评估框架的空白，为多模态JIR系统的评估提供了多样化和信息密集的场景。

当前挑战

JIR-ARENA面临的挑战主要包括两个方面：1) 在领域问题方面，JIR系统需要准确推断用户信息需求、提供及时且相关的推荐，并避免包含可能分散用户注意力的无关内容；2) 在构建过程中，由于个体在估计用户信息需求分布时的主观性限制，以及JIR系统中不可控变量对可重复性评估的阻碍，数据集构建面临较大挑战。为解决这些问题，JIR-ARENA采用了多人类和大型AI模型结合的方法来近似信息需求分布，并基于知识库静态快照评估JIR实例质量，同时采用多轮多实体验证框架增强数据集的客观性和通用性。

常用场景

经典使用场景

JIR-ARENA数据集专为即时信息推荐（JIR）系统的评估而设计，其经典使用场景包括学术讲座和会议演讲等密集信息需求场景。在这些场景中，数据集通过模拟用户信息需求，评估JIR系统在推断用户需求、提供及时推荐以及避免无关内容干扰方面的能力。数据集的多模态特性使其能够全面覆盖视觉、听觉和文本信息，为JIR系统的多维度评估提供了坚实基础。

解决学术问题

JIR-ARENA填补了即时信息推荐领域缺乏系统性评估框架和基准数据集的空白。通过数学化定义JIR任务并引入多模态评估指标，该数据集解决了如何量化JIR系统在需求推断准确性、推荐时效性和内容相关性等核心问题上的表现。其创新性的多实体验证框架和静态知识库设计，有效克服了用户需求主观性和评估不可复现性两大技术瓶颈，为JIR研究的可重复性和可比性建立了新标准。

实际应用

在实际应用层面，JIR-ARENA可推动智能眼镜、VR设备等穿戴式助手的场景化落地。例如在医学教育中，系统能即时解释手术视频中的专业术语；在金融交易场景，可实时解析市场分析中的复杂概念。数据集涵盖的计算机科学、神经科学等多领域内容，使其能支持跨行业的个性化信息推荐服务开发，显著提升用户在关键决策时的信息获取效率。

数据集最近研究

最新研究方向

JIR-ARENA数据集作为首个即时信息推荐（JIR）领域的多模态基准数据集，正推动该领域在三个关键方向的前沿探索：其一，基于上下文感知的个性化推荐算法优化，通过融合用户实时环境数据（如可穿戴设备采集的生理信号）与知识库静态快照，解决基础模型在信息需求推断中的召回率瓶颈；其二，构建跨模态时序对齐评估框架，针对讲座、会议等高信息密度场景，开发兼顾语义相关性与时间精准度的混合评价指标（如结合nDCG与高斯时序核的Rtimeliness）；其三，探索人机协同的标注范式，通过多轮多实体验证机制，将大型AI模型与领域专家的标注优势结合，以应对用户信息需求分布建模的主观性挑战。该数据集的发布为智能眼镜、AR设备等新兴交互场景中的主动式信息服务提供了标准化评估工具，其多学科覆盖特性（涵盖金融、神经科学等12个领域）尤其有助于推动教育科技与专业培训领域的认知增强应用。

相关研究论文

• JIR-Arena: The First Benchmark Dataset for Just-in-time Information Recommendation

  伊利诺伊大学厄巴纳-香槟分校 · 2025年