ChinaTravel

ChinaTravel是由南京大学国家重点实验室开发的一个真实世界基准数据集，专门用于评估语言代理在中国旅行规划中的应用。该数据集涵盖了中国10个最受欢迎城市的旅行信息，包括720个航班和5770趟列车，以及3413个景点、4655家餐厅和4124家酒店的详细信息。数据集通过问卷调查收集用户需求，并设计了一个可扩展的领域特定语言来支持自动评估。ChinaTravel旨在解决复杂的真实世界旅行规划问题，特别是在多兴趣点行程安排和用户偏好满足方面，为语言代理在旅行规划中的应用提供了重要的测试平台。ChinaTravel is a real-world benchmark dataset developed by the State Key Laboratory of Nanjing University, specifically designed to evaluate the application of language agents in travel planning within China. This dataset covers travel information for 10 of China's most popular cities, including 720 flights, 5770 train trips, as well as detailed information of 3413 tourist attractions, 4655 restaurants and 4124 hotels. User requirements are collected via questionnaire surveys, and a scalable domain-specific language is designed to support automatic evaluation. ChinaTravel aims to address complex real-world travel planning problems, especially in itinerary arrangement with multiple points of interest and meeting user preferences, providing an important testbed for the application of language agents in travel planning.

原始信息汇总

ChinaTravel: A Real-World Benchmark for Language Agents in Chinese Travel Planning

数据集概述

• 名称: ChinaTravel
• 描述: 一个用于中文旅行规划的语言代理的现实世界基准。

作者

• Jie-Jing Shao¹
• Xiao-Wen Yang¹
• Bo-Wen Zhang¹
• Bai-Zhi Chen
• Wen-Da Wei
• Lan-Zhe Guo
• Yu-Feng Li

机构

• 南京大学 LAMDA 小组

相关链接

• arXiv: https://arxiv.org/abs/2412.13682
• 代码: https://github.com/LAMDASZ-ML/ChinaTravel (即将推出)

搜集汇总

数据集介绍

构建方式

ChinaTravel数据集通过多阶段流程构建，旨在模拟真实的旅行规划场景。首先，从中国10个热门城市收集了包括720个航班和5770趟火车在内的交通信息，以及3413个景点、4655家餐厅和4124家酒店的详细信息。其次，通过问卷调查收集了250多名用户的真实旅行需求，并结合LLM生成的合成查询，确保数据集的多样性和真实性。最后，通过自动化验证和人工校验，确保数据质量，并使用领域特定语言（DSL）进行逻辑约束的定义和验证。

特点

ChinaTravel数据集具有多方面的特点。首先，它涵盖了多日多兴趣点（POI）的旅行规划，相较于传统的跨城市旅行规划，更贴近实际需求。其次，数据集结合了合成查询和真实用户查询，提供了多样化的测试场景。此外，通过引入DSL，数据集支持自动化的逻辑约束验证，确保生成的旅行计划在可行性、约束满足和偏好比较等方面得到全面评估。

使用方法

ChinaTravel数据集可用于评估语言代理在旅行规划中的表现。研究者可以通过提供的API接口查询交通、景点、餐厅和住宿等信息，并使用DSL定义的逻辑约束和偏好要求生成旅行计划。数据集提供了详细的评估指标，包括可行性、约束满足率和偏好比较等，帮助研究者全面评估模型的性能。此外，数据集还支持神经符号方法的集成，研究者可以结合符号推理和神经网络模型，进一步提升旅行规划的准确性和可靠性。

背景与挑战

背景概述

近年来，随着大型语言模型（LLMs）在语言推理和工具集成方面的显著进展，语言代理在实际应用中的开发迅速兴起。其中，旅行规划作为一个兼具学术挑战与实际价值的领域，因其复杂性和市场需求而备受关注。然而，现有的基准测试未能充分反映真实世界中多样化的需求，难以支持语言代理的实际部署。为填补这一空白，南京大学的研究团队于2024年推出了ChinaTravel数据集，专注于真实的中国旅行规划场景。该数据集通过问卷调查收集旅行需求，并提出了一种可组合的领域特定语言，支持可扩展的评估过程，涵盖可行性、约束满足和偏好比较等多个维度。实验表明，神经符号代理在旅行规划中的约束满足率显著优于纯神经模型，达到了27.9%，而纯神经模型的约束满足率仅为2.6%。

当前挑战

ChinaTravel数据集在构建过程中面临多重挑战。首先，旅行规划领域的复杂性要求语言代理具备强大的语言推理能力，尤其是在处理开放式语言表达和上下文依赖的语义时。其次，用户需求的多样性使得基于预定义概念的约束验证难以扩展，尤其是在处理未见过的概念组合时。此外，数据集的构建过程中，如何从真实用户中收集多样化的需求并确保数据质量也是一个重要挑战。最后，尽管神经符号代理在约束满足方面表现优异，但其对领域特定语言的准确翻译和组合推理能力仍有待提升，尤其是在处理复杂的多天多兴趣点行程规划时。

常用场景

经典使用场景

ChinaTravel数据集的经典使用场景主要集中在多日多兴趣点（POI）的旅行规划任务中。该数据集通过收集中国10个热门城市的真实旅行信息，包括交通、住宿、餐饮和景点等，为语言代理提供了丰富的资源，使其能够在复杂的旅行规划中生成可行且合理的行程。例如，用户可以输入从上海到北京的两日游需求，要求参观博物馆、品尝北京美食，并设定预算，语言代理则需要根据这些约束条件生成详细的行程计划。

衍生相关工作

ChinaTravel数据集的发布激发了大量相关研究工作，特别是在神经符号计算和语言代理领域。许多研究者基于该数据集开发了新的算法和模型，以提升语言代理在复杂旅行规划中的表现。例如，一些研究通过引入形式化验证工具，进一步提高了神经符号代理的约束满足率。此外，该数据集还推动了多日多POI旅行规划系统的开发，为未来的智能旅行助手提供了技术支持。

数据集最近研究

最新研究方向

ChinaTravel数据集在旅游规划领域的前沿研究方向主要集中在神经符号方法与大语言模型（LLMs）的结合上。该数据集通过引入真实的中国旅游需求，构建了一个多日多兴趣点（multi-POI）的旅游规划基准，旨在评估语言代理在复杂场景中的可行性、约束满足和偏好比较能力。研究表明，神经符号代理在约束满足率上显著优于纯LLM方法，达到了27.9%的约束满足率，远超纯神经模型的2.6%。此外，该数据集还揭示了开放语言推理和未见概念组合等关键挑战，为未来在复杂旅游规划场景中提升语言代理的实用性提供了重要方向。

相关研究论文

• ChinaTravel: A Real-World Benchmark for Language Agents in Chinese Travel Planning

  南京大学 · 2024年