PRS Delivery Dataset

PRS Delivery Dataset是由三星中国研究院-北京与北京大学合作创建的，专注于模拟商业场景中的人类中心室内实体交付任务。该数据集包含13,296条语言指令，旨在指导机器人完成精确的交付服务。数据集基于一个全新的虚拟环境系统构建，该系统模仿了极地研究站的建筑空间，包括多层互联的建筑物、自主的人类角色和机器人，以及大量的交互物品。数据集的创建过程涉及使用大型语言模型生成日常活动和多样化需求，随后通过人工审核和细化确保任务数据的平衡。该数据集的应用领域主要集中在机器人技术和服务领域，旨在解决商业环境中人机交互的复杂性和精确交付的需求。

The PRS Delivery Dataset was co-created by Samsung Research China-Beijing and Peking University, focusing on simulating human-centric indoor physical delivery tasks in commercial scenarios. This dataset contains 13,296 language instructions designed to guide robots in completing precise delivery services. It is constructed based on a brand-new virtual environment system that replicates the architectural spaces of polar research stations, featuring multi-story interconnected buildings, autonomous human and robotic characters, as well as a vast array of interactive objects. The dataset development pipeline utilized large language models (LLMs) to generate daily activity scenarios and diverse user requirements, followed by manual review and refinement to ensure balanced task data. Its primary application areas focus on robotics and service fields, aiming to address the complexity of human-robot interaction and the demand for precise delivery in commercial environments.

搜集汇总

数据集介绍

构建方式

PRS Delivery Dataset 是在模拟真实商业环境的基础上构建的，它采用了一个全新的虚拟环境系统，模拟了一个多层连接的建筑空间，其中包括自主的人类角色、具有抓握和移动能力的机器人以及大量的交互式物品。基于这个环境，构建了一个包含 13k 语言指令的交付数据集，用于指导机器人为用户提供服务。此外，还通过模拟人类行为，采样了他们在日常生活中的各种需求，并提出了一个以大型多模态模型为中心的方法，作为该数据集的基线系统。与以往的工作相比，本工作更关注虚拟环境中以人机交互为中心的商业场景，为嵌入式社区带来了新的视角和探索角度。

使用方法

PRS Delivery Dataset 的使用方法包括：1）构建一个虚拟环境系统，模拟一个多层连接的建筑空间；2）利用大型语言模型生成合理的日常活动和虚拟角色的多样化需求；3）通过修改角色需求、日常习惯和目标对象，不断生成多样化的数据；4）将人工审核和优化阶段纳入任务数据中，确保数据的平衡性；5）提出一个以大型多模态模型为中心的方法，作为该数据集的基线系统。

背景与挑战

背景概述

在人工智能领域，具身智能的概念已被广泛接受和普及，人们自然地考虑了这一领域商业化的潜力。在这项工作中，我们提出了一个特定的商业场景模拟——以人为中心的室内具身递送。为此，我们从零开始开发了一个全新的虚拟环境系统，构建了一个多层互联的建筑空间，以极地研究站为模型。该环境还包括具有抓取和移动能力的自主人类角色和机器人，以及大量可交互物品。基于此环境，我们构建了一个包含13k语言指令的递送数据集，用于指导机器人提供服务。我们通过人类角色模拟人类行为，并采样他们在日常生活中的各种需求。最后，我们提出了一种以大型多模态模型为中心的方法，作为该数据集的基准系统。与过去的具身数据工作相比，我们的工作侧重于以人为中心的商业场景的虚拟环境，为具身社区带来了新的视角和探索角度。我们的工作已在CVPR 2024具身工作坊（PRS挑战）中举办。

当前挑战

PRS Delivery Dataset数据集在构建过程中所遇到的挑战主要包括：1) 模拟环境中多层互联建筑空间的构建；2) 多样化和多功能社会空间的整合；3) 可定制交互人类角色和行为的实现；4) 大量可交互物品的设置；5) 支持物理引擎的连续运动状态。此外，数据集构建过程中还面临以下挑战：1) 如何生成合理的人类活动和需求，以模拟真实场景；2) 如何确保任务数据的平衡性和多样性；3) 如何构建有效的基准系统，以评估数据集的性能。

常用场景

经典使用场景

PRS Delivery Dataset 是一个专为模拟和构建人本化室内配送服务场景而设计的虚拟环境系统。该数据集包含超过13,000条语言指令，用于指导机器人在模拟的三层建筑空间中执行配送任务。这些指令模拟了用户在日常生活中可能的需求，如从厨房取水壶并将其送到指定位置。机器人需要考虑用户的行为和日程安排，因为用户会在建筑内根据个人目标进行移动。PRS Delivery Dataset 的目标是提供一个接近真实世界商业应用的场景，帮助推动人本化人工智能社区的发展。

解决学术问题

PRS Delivery Dataset 解决了现有技能场景与商业应用场景之间的差距问题。现有的技能场景可能不足以充分反映实际商业环境中可能遇到的问题，也无法准确捕捉用户与具身机器人之间更精确的交互需求。PRS Delivery Dataset 通过构建一个包含多层连接建筑空间、自主人类角色和具有抓握和移动能力的机器人的虚拟环境系统，提供了一个更接近真实商业应用的场景。这有助于推动人本化人工智能社区的发展，并为社区带来新的视角和探索角度。

实际应用

PRS Delivery Dataset 可用于开发和测试机器人配送服务的算法和模型。通过模拟真实世界中的配送场景，研究人员可以测试机器人在不同环境、不同任务和不同用户需求下的表现。此外，PRS Delivery Dataset 还可用于开发和测试机器人配送服务的用户界面和交互设计。通过模拟真实世界中的用户行为和需求，研究人员可以设计出更加直观和易于使用的用户界面和交互设计。

数据集最近研究

最新研究方向

随着具身智能概念的普及，人们开始关注其在商业领域的应用潜力。PRS Delivery Dataset提供了一个模拟真实商业场景的虚拟环境，其中包括一个多层连接的建筑空间，模拟了极地研究站，并包含了自主人类角色、具有抓取和移动能力的机器人和大量交互式物品。基于此环境，构建了一个包含13k条语言指令的数据集，用于指导机器人提供服务。该数据集模拟了人类行为，并采样了他们在日常生活中的各种需求。此外，还提出了一种基于大型多模态模型的方法，作为该数据集的基准系统。与过去的具身数据工作相比，PRS Delivery Dataset专注于以人机交互为中心的虚拟环境，为商业场景提供了新的视角和探索角度。

相关研究论文

• Human-centered In-building Embodied Delivery Benchmark

  三星中国研究院 - 北京 · 2024年