ShortcutsBench

适用于苹果平台的目前已知最大的快捷指令开源数据集，包含15508个快捷指令，总大小为1.8G。该数据集不仅对快捷指令用户和爱好者有帮助，也支持研究者进行自动化工作流、低代码编程、智能体和大语言模型等领域的研究。

The largest known open-source dataset of shortcuts for Apple platforms, comprising 15,508 shortcuts with a total size of 1.8GB. This dataset is not only beneficial for shortcut users and enthusiasts but also supports researchers in fields such as automated workflows, low-code programming, intelligent agents, and large language models.

原始信息汇总

数据集概述

名称: ShortcutsBench

数据集大小: 1.8G

快捷指令数量: 15508

覆盖应用数量: 88

API类型数量: 1414

用户查询总数: 7628

平均API使用数/查询: 7.86

平均动作序列长度: 21.46

数据集内容

• 快捷指令定义: 由开发者在Shortcuts应用中使用用户友好的图形界面创建的工作流程。
• 数据来源: 所有数据收集自真实的快捷指令收集站点。
• 用户查询特点:
  • 难度多样性: 包含多种API和用户查询，有助于区分不同代理的能力。
  • 反映真实用户需求: 使用自然语言描述的快捷指令构建提示，输入到大型语言模型中生成准确的查询。
  • 内容全面: 用户查询包含API调用所需的基本数据类型，全面评估代理能力。

数据集优势

• 数据规模与质量: 覆盖广泛的应用和API类型，数据来自真实快捷指令收集站点。
• 多维度评估角度:
  • 参数填充的准确性: 有效和准确的参数选择对任务完成至关重要。
  • 请求缺失信息的能力: 代理应能向系统或用户请求查询中缺失的信息。
  • API选择的准确性: API选择是代理最基本的决策能力。

数据集应用

• 快捷指令用户: 可在此数据集中找到喜爱的快捷指令，集成更多快捷指令到Apple设备，让Siri处理复杂任务。
• 快捷指令爱好者: 可使用数据集中的快捷指令链接和源文件学习如何编写快捷指令，定制工作流程，并贡献更多快捷指令。
• 研究人员: 可研究自动化工作流程的构建、低代码编程、基于API的智能代理以及如何通过快捷指令微调大型语言模型，实现“基于LLM的操作系统”的愿景。

数据集获取与使用

• 获取方式: 可通过iCloud链接逐一下载快捷指令，或从Baidu Netdisk和Google Drive获取完整数据。
• 数据结构: 数据组织在dataset/${website name}/${category name}/目录下，每个文件代表一个快捷指令，文件名由快捷指令名称处理后生成。
• 导入快捷指令: 在Apple设备上，点击iCloud链接将自动打开并导入快捷指令到Shortcuts应用。

许可证

• 许可证: Apache License 2.0
• 使用条件: 保留原始版权声明和许可证声明，修改代码时需标明更改，不得使用项目商标。

搜集汇总

数据集介绍

构建方式

ShortcutsBench数据集的构建过程严谨而系统，首先通过收集和整理来自多个应用的快捷方式，确保数据的广泛性和代表性。随后，通过筛选和清洗，去除重复和无效的快捷方式，确保数据集的高质量。此外，数据集还包含了详细的API定义文件，确保每个快捷方式中的API调用都有明确的定义和解释。最终，数据集被分为多个子集，以适应不同研究需求，如原始数据集、过滤后的数据集以及长度限制在30以内的快捷方式数据集。

特点

ShortcutsBench数据集具有显著的特点，首先是其规模庞大，包含了7628个快捷方式和1414个API调用，为研究提供了丰富的数据资源。其次，数据集的复杂性和多样性极高，平均每个快捷方式包含7.86个API调用和21.46个操作，能够模拟真实世界中的复杂任务。此外，数据集还提供了双语解释，便于不同语言背景的用户理解和使用。

使用方法

ShortcutsBench数据集的使用方法多样且灵活，首先，用户可以通过GitHub页面下载不同版本的数据集，包括原始数据集、过滤后的数据集以及特定长度的快捷方式数据集。其次，数据集提供了详细的API定义文件和查询文件，便于研究人员进行深入分析和实验。此外，数据集还支持直接导入到Apple设备的快捷方式应用中，用户可以通过iCloud链接快速获取和使用这些快捷方式，极大地提升了数据集的实用性和便捷性。

背景与挑战

背景概述

ShortcutsBench数据集由一群专注于自动化工作流程和低代码编程的研究人员创建，旨在为研究人员和开发者提供一个丰富的资源库，以探索和优化Apple设备上的快捷方式（Shortcuts）。该数据集的核心研究问题是如何通过用户友好的图形界面构建高效的工作流程，并将其应用于实际任务中。ShortcutsBench不仅包含了大量的快捷方式和API调用，还提供了详细的查询和动作序列，为研究自动化工作流程、API代理和大型语言模型的微调提供了宝贵的数据支持。该数据集的创建对提升Apple设备的用户体验和智能化水平具有重要意义。

当前挑战

ShortcutsBench数据集在构建过程中面临多个挑战。首先，如何从大量的快捷方式中筛选出高质量且具有代表性的样本，确保数据集的多样性和实用性，是一个重要的挑战。其次，快捷方式的复杂性和多样性使得数据清洗和处理变得尤为复杂，需要开发高效的算法和工具来处理这些数据。此外，确保API调用的准确性和参数填充的精确性也是一大挑战，这直接影响到数据集的质量和应用效果。最后，如何在保持数据集规模的同时，确保每个快捷方式和API的有效性和实用性，是构建ShortcutsBench数据集时需要解决的关键问题。

常用场景

经典使用场景

ShortcutsBench数据集的经典使用场景主要集中在自动化工作流程的研究与开发。研究人员可以利用该数据集中的快捷方式（Shortcuts）、查询（Queries）和API调用（APIs）来构建和优化自动化任务。例如，通过分析和模拟快捷方式中的操作序列，研究者可以开发出更高效、更智能的自动化工具，从而提升用户在日常任务中的效率和体验。

解决学术问题

ShortcutsBench数据集解决了在自动化工作流程和低代码编程领域的多个学术研究问题。首先，它为研究人员提供了一个大规模、真实且复杂的API调用数据集，有助于深入研究API在自动化任务中的应用。其次，该数据集通过丰富的查询和操作序列，帮助研究者理解和优化大型语言模型在自动化任务中的决策过程。此外，ShortcutsBench还为低代码编程的研究提供了宝贵的数据支持，推动了这一领域的技术进步。

衍生相关工作

ShortcutsBench数据集的发布催生了一系列相关研究工作。例如，有研究者基于该数据集开发了新的自动化任务生成算法，显著提升了任务生成的准确性和效率。此外，还有研究团队利用ShortcutsBench中的API调用数据，训练了更加智能的API选择模型，使得自动化工具在处理复杂任务时表现更为出色。这些衍生工作不仅丰富了自动化领域的研究内容，也为实际应用提供了更多可能性。