DroidCall

DroidCall是由北京邮电大学创建的第一个用于大语言模型（LLM）驱动的Android意图调用的训练和测试数据集。该数据集包含10,000个样本，涵盖了广泛的系统功能和第三方应用。通过预定义的函数封装意图调用过程，DroidCall采用高度灵活和可重用的数据生成管道，自动生成数据并进行格式验证和去重，确保数据的准确性、相关性和多样性。DroidCall旨在通过微调小型语言模型（如Qwen2.5-3B和Gemma22B）来提高Android意图调用的准确性，解决现有模型在准确意图调用方面的不足。DroidCall, developed by Beijing University of Posts and Telecommunications, is the first training and testing dataset for large language model (LLM)-driven Android intent invocation. This dataset contains 10,000 samples covering a broad spectrum of system functions and third-party applications. By encapsulating the intent invocation process through predefined functions, DroidCall adopts a highly flexible and reusable data generation pipeline to automatically generate data, perform format validation and deduplication, thereby ensuring the accuracy, relevance and diversity of the dataset. DroidCall aims to improve the accuracy of Android intent invocation by fine-tuning small-scale language models such as Qwen2.5-3B and Gemma22B, addressing the shortcomings of existing models in accurate intent invocation.

搜集汇总

数据集介绍

构建方式

DroidCall数据集的构建基于一个高度灵活且可重复使用的数据生成管道。该管道首先预定义了24个涵盖常见Android操作的函数，这些函数封装了Android意图的调用过程。随后，通过自指导（self-instruct）范式，利用GPT-4-turbo模型生成与这些预定义函数相关的用户指令和函数调用示例。生成的数据经过格式验证和去重处理，以确保数据的准确性、相关性和多样性。与传统方法不同，DroidCall的生成管道无需手动编写种子数据，从而节省了大量人力。

特点

DroidCall数据集的主要特点在于其专注于Android意图调用的特定任务，涵盖了系统及第三方应用的广泛功能。数据集包含10,000个训练样本和200个测试样本，确保了数据的高质量和实用性。此外，DroidCall的生成管道高度可定制和可重复使用，能够自动生成数据并进行格式验证和去重，确保了数据的高效性和准确性。

使用方法

DroidCall数据集主要用于微调小型语言模型（SLMs），以提升其在Android意图调用任务中的表现。使用者可以通过提供的代码和数据集，利用DroidCall进行模型微调，并评估其在Android意图调用任务中的性能。数据集还提供了一个端到端的Android应用演示，展示了如何利用微调后的模型进行Android意图调用，从而实现用户与移动设备的自动化交互。

背景与挑战

背景概述

随着大型语言模型在自然语言理解方面的能力显著增强，现有的智能系统得到了极大的强化。为了在移动设备上构建更高效且保护数据隐私的智能代理，我们引入了DroidCall，这是首个用于精确Android意图调用的训练和测试数据集。DroidCall由北京邮电大学（BUPT）的研究团队创建，通过高度灵活和可重用的数据生成管道构建了10,000个样本。该数据集的核心研究问题是如何通过自然语言指令精确调用Android意图，从而实现用户与移动设备的无缝交互。DroidCall的推出填补了现有大型语言模型在精确意图调用方面的数据集空白，对移动计算领域的智能代理发展具有重要影响。

当前挑战

DroidCall数据集在构建过程中面临多个挑战。首先，现有的设备友好型大型语言模型在精确意图调用方面能力不足，如Llama3.2-1B在零样本和少样本场景下的成功率分别为31.5%和60.5%。其次，缺乏专门针对Android意图调用的数据集，导致模型无法学习到特定语言模式和上下文细节。此外，数据生成过程中需要确保数据的准确性、相关性和多样性，避免手动编写种子数据，从而节省大量人力。最后，如何在移动设备上高效部署和优化这些模型，以满足隐私和延迟的约束，也是一个重要挑战。

常用场景

经典使用场景

DroidCall数据集的经典使用场景在于其能够为小型语言模型（SLMs）提供精细调整，以实现精确的Android意图调用。通过该数据集，SLMs如Qwen2.5-3B和Gemma22B在经过精细调整后，能够在Android意图调用任务中接近甚至超越GPT-4o的性能。这种能力使得这些模型能够更有效地处理复杂的用户指令，无缝映射到适当的意图，从而自动化用户与移动设备的交互。

衍生相关工作

DroidCall数据集的发布催生了多项相关研究工作，特别是在移动设备控制代理和函数调用领域。例如，研究者们利用DroidCall开发了能够直接通过意图调用而非模拟用户操作来控制移动设备的代理，这种方法更为高效和准确。此外，DroidCall还启发了在边缘设备上部署小型语言模型的优化策略，推动了资源高效型LLM和多模态基础模型的发展，为移动计算和智能代理技术的进步提供了新的方向。

数据集最近研究

最新研究方向

在移动计算领域，DroidCall数据集的最新研究方向主要集中在利用大型语言模型（LLMs）提升Android设备上的意图调用准确性。随着LLMs在自然语言理解方面的显著进步，研究人员致力于开发能够在本地设备上运行的智能代理，以增强数据隐私保护。DroidCall数据集通过提供高度灵活和可重用的数据生成管道，构建了首个用于Android意图调用的训练和测试数据集，涵盖了广泛的系统功能和第三方应用。通过微调小型语言模型（如Qwen2.5-3B和Gemma22B），这些模型在Android意图调用任务中的表现接近甚至超越了GPT-4o。此外，研究还涉及开发端到端的Android应用，展示这些微调模型在实际应用中的意图调用过程，从而推动了移动设备上智能代理的发展。

相关研究论文

• DroidCall: A Dataset for LLM-powered Android Intent Invocation

  北京邮电大学 · 2024年