five

ShortcutsBench

收藏
github2024-06-13 更新2024-06-24 收录
下载链接:
https://github.com/EachSheep/ShortcutsBench
下载链接
链接失效反馈
官方服务:
资源简介:
ShortcutsBench是Apple平台上最大的已知开源快捷方式数据集,包含15508个快捷方式,总数据量达1.8G。该数据集覆盖了88个应用和1414种API,适用于研究自动化工作流程、低代码编程、API基础代理以及大型语言模型与设备的集成。

ShortcutsBench is the largest known open-source shortcut dataset on the Apple platform, containing 15,508 shortcuts with a total data volume of 1.8 GB. This dataset covers 88 applications and 1,414 types of APIs, and is suitable for research on automated workflows, low-code programming, API-based agents, and the integration of large language models with devices.
创建时间:
2024-06-04
原始信息汇总

数据集概述

数据集名称

ShortcutsBench

数据集统计信息

  • 应用程序数量: 88
  • API 数量: 1414
  • 快捷指令数量: 7628
  • 平均 API 使用量: 7.86
  • 平均操作数量: 21.46

数据集内容

ShortcutsBench 提供了以下内容:

  1. 快捷指令(即 golden 中的操作序列)
  2. 查询(即分配给代理的任务)
  3. API(即代理可用的工具)

数据集文件

  • 原始快捷指令数据集: 1_final_detailed_records_remove_repeat.json
  • 过滤后的快捷指令数据集: 1_final_detailed_records_filter_apis.json
  • 快捷指令数据集(长度 <= 30): 1_final_detailed_records_filter_apis_leq_30.json
  • 生成的查询: generated_success_queries.json
  • API 数据集: 4_api_json_filter.json

数据集下载链接

数据集优势

ShortcutsBench 在 API 的真实性、丰富性和复杂性,查询和相应操作序列的有效性,参数值的准确填充,以及整体规模方面具有显著优势。

数据集用途

  • 快捷指令用户和爱好者: 可以在数据集中找到喜欢的快捷指令,帮助完成各种复杂任务。
  • 研究人员: 可以研究自动化工作流程、低代码编程、基于 API 的代理以及使用快捷指令微调大型语言模型等。

数据集下载

除了通过 iCloud 链接逐个下载快捷指令外,还可以直接从以下链接获取完整数据:

数据源和链接

快捷指令源文件介绍

快捷指令源数据在云盘中的目录结构如下:

users_dataset/ ├── matthewcassinelli.com_sirishortcuts_library_free # 网站名称 │ ├── file1 │ ├── file2 │ └── file3

users_dataset/ ├── jiejingku.net # 网站名称 │ ├── category1 # 分类 │ │ ├── file1 # 每个具体的快捷指令 │ │ └── file2 │ ├── category2 │ │ └── file3

每个文件代表一个快捷指令。文件名是通过简单处理快捷指令名称生成的,使用以下代码: python file_name = re.sub(r[^a-zA-Z0-9], _, name)

我们提供的快捷指令源文件是 JSON 格式,而苹果设备导出的快捷指令是 iCloud 链接(以链接形式共享)或加密的快捷指令文件(.shortcut 扩展名)。

要在 macOS 上的 Shortcuts 应用中导入快捷指令源文件,请按照以下步骤操作:

  • JSON 文件格式转换为 PLIST 格式 📑: python import xml.etree.ElementTree as ET

    def parse_element(element): """ Recursively parse XML elements and return dictionaries and lists. """ if element.tag == dict: return {element[i].text: parse_element(element[i+1]) for i in range(0, len(element), 2)} elif element.tag == array: return [parse_element(child) for child in element] elif element.tag == true: return True elif element.tag == false: return False elif element.tag == integer: return int(element.text) elif element.tag == string: return element.text elif element.tag == real: return float(element.text) else: raise ValueError("Unsupported tag: " + element.tag)

    tree = ET.parse(file_path) root_element = tree.getroot() parsed_data = parse_element(root_element[0]) data = parsed_data

    save_path = "./" with open(save_path, w) as f: json.dump(data, f, indent=4)

  • 使用 shortcuts sign --mode anyone --input $input_file --output $output_filePLIST 文件进行签名,替换 $input_file$output_file 为实际文件路径。

  • 将签名后的文件导入 Shortcuts 应用 📲。

搜集汇总
数据集介绍
main_image_url
构建方式
ShortcutsBench数据集的构建过程严谨而系统。首先,通过从多个来源收集大量的快捷方式(Shortcuts),这些来源包括开发者社区和第三方应用。随后,对这些快捷方式进行详细的解析和分类,确保每个快捷方式都包含完整的API调用序列和相应的任务查询。为了保证数据的质量,还进行了数据清洗和去重处理,最终形成了包含7628个快捷方式、1414个API和88个应用的高质量数据集。
特点
ShortcutsBench数据集具有显著的特点。首先,它包含了丰富的API调用和任务查询,涵盖了多种应用场景和复杂度。其次,数据集中的快捷方式均经过严格筛选和验证,确保API定义文件的完整性和参数值的准确填充。此外,数据集还提供了详细的元数据和注释,便于研究人员和开发者理解和使用。最后,ShortcutsBench的规模和复杂性使其成为研究自动化工作流和低代码编程的理想选择。
使用方法
ShortcutsBench数据集的使用方法多样且灵活。对于普通用户,可以通过浏览和搜索数据集中的快捷方式,找到适合自己需求的任务自动化解决方案,并直接导入到Apple设备上的快捷方式应用中。对于研究人员,数据集提供了详细的API定义文件和任务查询,支持深入研究API调用序列和自动化工作流的构建。此外,数据集还提供了多种下载方式和格式转换工具,方便用户根据需要进行数据处理和分析。
背景与挑战
背景概述
ShortcutsBench数据集由一群专注于自动化工作流程和低代码编程的研究人员创建,旨在探索和优化Apple设备上的快捷方式应用。该数据集的核心研究问题是如何通过用户友好的图形界面构建高效的工作流程,并将其应用于实际任务中。ShortcutsBench不仅包含了大量的快捷方式和API调用,还提供了详细的查询和动作序列,为研究人员和开发者提供了一个丰富的资源库。该数据集的创建对提升Apple设备的用户体验和智能化水平具有重要意义,尤其是在WWDC'24引入大量AI功能后,其影响力进一步扩大。
当前挑战
ShortcutsBench数据集在构建过程中面临多项挑战。首先,如何从海量的快捷方式中筛选出高质量且具有代表性的样本,确保数据集的实用性和研究价值,是一个重要问题。其次,快捷方式的多样性和复杂性使得数据清洗和处理变得异常复杂,需要高效的算法和工具来支持。此外,API的有效性和兼容性也是一大挑战,确保每个API调用都能正确执行并返回预期结果,是数据集质量的关键。最后,如何将这些快捷方式与大型语言模型结合,实现更智能的操作系统,是未来研究的重要方向。
常用场景
经典使用场景
ShortcutsBench数据集的经典使用场景主要集中在自动化工作流程的研究与开发。通过该数据集,研究人员可以深入分析和构建由一系列API调用(即操作)组成的快捷方式,这些快捷方式本质上是工作流程。此外,该数据集还支持低代码编程的研究,因为快捷方式包含了分支、循环和变量赋值等功能,同时拥有用户友好的图形界面。这些特性使得ShortcutsBench成为研究自动化工作流程和低代码编程的理想工具。
实际应用
ShortcutsBench数据集在实际应用中具有广泛的应用场景。首先,它为普通用户提供了丰富的快捷方式,帮助他们通过一键操作完成复杂的任务,如日常生活中的提醒、购物、学习和写作等。其次,对于开发者和研究人员,该数据集提供了构建和优化自动化工作流程的资源,使得他们能够开发出更加智能和高效的应用程序。此外,ShortcutsBench还支持大型语言模型的微调研究,通过将快捷方式与语言模型结合,可以实现更智能的设备操作和用户体验。这些实际应用不仅提高了用户的工作效率,还推动了智能设备和应用程序的发展。
衍生相关工作
ShortcutsBench数据集的发布催生了多项相关经典工作。首先,基于该数据集的研究推动了自动化工作流程和低代码编程的发展,许多研究论文和工具在此基础上得以开发。其次,该数据集为API驱动的代理研究提供了丰富的资源,使得研究人员能够深入探讨大型语言模型如何自主决定API的使用。此外,ShortcutsBench还促进了大型语言模型的微调研究,通过将快捷方式与语言模型结合,实现了更智能的设备操作和用户体验。这些衍生工作不仅丰富了学术研究的内容,还推动了相关技术在实际应用中的发展。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作