ChinaTravel

ChinaTravel: 一个用于中文旅行规划语言代理的真实世界基准数据集。

ChinaTravel: A real-world benchmark dataset for Chinese travel-planning language agents.

原始信息汇总

ChinaTravel 数据集概述

数据集简介

ChinaTravel是一个面向中文旅行规划的语言代理的实时世界基准数据集。

数据集相关信息

• 数据集名称：ChinaTravel
• 数据集用途：用于评估语言代理在中文旅行规划任务中的表现
• 论文链接：arXiv
• 数据集下载：
  • Huggingface
  • ModelScope

快速开始

环境设置

1. 创建conda环境并安装依赖： bash conda create -n chinatravel python=3.9
   conda activate chinatravel
   pip install -r requirements.txt

2. 下载数据库并解压到chinatravel/environment/目录

   下载链接：Google Drive, NJU Drive

运行示例

支持deepseek、gpt-4o、glm4-plus以及使用qwen进行本地推理。

bash export OPENAI_API_KEY=""

python run_exp.py --splits easy --agent LLMNeSy --llm deepseek --oracle_translation python run_exp.py --splits medium --agent LLMNeSy --llm deepseek --oracle_translation python run_exp.py --splits human --agent LLMNeSy --llm deepseek --oracle_translation

python run_exp.py --splits human --agent LLMNeSy --llm deepseek

评估

bash python eval_exp.py --splits human --method LLMNeSy_deepseek_oracletranslation python eval_exp.py --splits human --method LLMNeSy_deepseek

文档

• 环境文档

联系方式

• 如果有任何问题，请联系：
  • Jie-Jing Shao ([e-mail])
  • Bo-Wen Zhang ([e-mail])
  • Xiao-Wen Yang ([e-mail])

引用

@misc{shao2024chinatravelrealworldbenchmarklanguage, title={ChinaTravel: A Real-World Benchmark for Language Agents in Chinese Travel Planning}, author={Jie-Jing Shao and Xiao-Wen Yang and Bo-Wen Zhang and Baizhi Chen and Wen-Da Wei and Guohao Cai and Zhenhua Dong and Lan-Zhe Guo and Yu-feng Li}, year={2024}, eprint={2412.13682}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2412.13682}, }

搜集汇总

数据集介绍

构建方式

ChinaTravel数据集的构建旨在模拟真实世界中的中文旅行规划场景，通过收集并整合大量真实旅行对话数据，构建了一个涵盖多个旅行相关领域的综合数据集。数据集涵盖了用户与旅行代理之间的对话，包括目的地选择、住宿、交通、餐饮等方面的信息交流，以此为基础，形成了针对语言代理在旅行规划任务上的评估标准。

特点

ChinaTravel数据集的特点在于其真实性、多样性和实用性。它包含了丰富的语境信息和用户意图，能够有效支持对语言代理在复杂交流情境下的理解和响应能力进行评估。数据集按照难度分为easy、medium和human三个级别，满足了不同研究阶段的需求。此外，数据集还提供了与旅行规划相关的多模态信息，为研究提供了更广阔的空间。

使用方法

使用ChinaTravel数据集，首先需要设置相应的运行环境，安装必要的依赖包。之后，可以通过提供的脚本下载并解压数据集到指定目录。数据集支持多种语言模型，如deepseek、gpt-4o、glm4-plus等，用户可以根据需要选择不同的模型进行实验。评估方面，数据集提供了eval_exp.py脚本，用于对模型的性能进行定量评估。

背景与挑战

背景概述

ChinaTravel数据集，作为一个面向中文旅行规划的语言代理领域的现实世界基准，由南京大学LAMDA实验室的研究团队于2024年创建。该数据集旨在解决旅行规划中的自然语言交互问题，核心研究问题涉及语言代理在理解用户意图、提供恰当建议以及处理复杂对话情境中的表现。其研究成果对于提升自然语言处理技术在旅行规划领域的应用水平具有重要的推动作用，为相关领域的研究提供了新的视角和工具。

当前挑战

该数据集在构建过程中遇到的挑战包括：1)如何准确捕捉和表示用户的多样化旅行需求；2)构建一个能够涵盖广泛旅游场景和复杂对话流程的数据集；3)在保证数据质量的同时，确保数据集的规模足够大，以支撑深度学习模型的训练和评估。在所解决的领域问题上，ChinaTravel数据集面临的挑战主要是如何通过自然语言处理技术，实现高效准确的旅行规划服务，包括处理用户查询、提供行程建议、进行预订确认等环节，同时保证用户交互的自然性和流畅性。

常用场景

经典使用场景

ChinaTravel数据集作为一项真实世界中的语言代理评估基准，其经典使用场景主要在于为智能语言代理在中文旅行规划领域的表现提供评价标准。该数据集通过模拟真实用户在规划旅行时的对话，为语言代理的生成和理解能力提供了全面的测试环境。

解决学术问题

该数据集解决了中文语言代理在旅行规划领域中的评估难题，为研究人员提供了一个统一的标准来衡量语言代理的性能。通过这一数据集，研究者能够更准确地评估代理在理解用户意图、生成有效回复以及进行复杂对话管理方面的能力，对促进自然语言处理技术的发展具有重要意义。

衍生相关工作

基于ChinaTravel数据集，学术界已衍生出多项相关工作，包括对语言代理的改进、对话系统的优化，以及针对特定旅行场景的定制化解决方案。这些工作进一步拓展了数据集的应用范围，推动了中文自然语言处理技术在旅行规划领域的深入研究和广泛应用。