OpenDFM/MoGUI

--- license: cc-by-nc-sa-4.0 tags: - GUI pretty_name: MoGUI viewer: False --- # MoGUI😈 and MoCon🛡️ <div align="center"> 📃 [Paper](./MoGUI_Paper_v0.1.pdf) | 😈 [MoGUI Data](https://huggingface.co/datasets/OpenDFM/MoGUI)| 🛡️ [MoCon Data](https://huggingface.co/datasets/OpenDFM/MoCon) [简体中文](./README_zh.md) | English </div> ## 🔥 News - **[Cooming Soon]** We will release the complete technical report soon. - **[2024.3.1]** We have released [MoCon🛡️ data](https://huggingface.co/datasets/OpenDFM/MoCon). - **[2024.2.29]** We have released [MoGUI😈 data](https://huggingface.co/datasets/OpenDFM/MoGUI) and [pre-release paper](./MoGUI_Paper_v0.1.pdf). ## 📑 Citation If you find our work useful, please cite us! ``` @inproceedings{zhu2025moba, title={MobA: Multifaceted Memory-Enhanced Adaptive Planning for Efficient Mobile Task Automation}, author={Zhu, Zichen and Tang, Hao and Li, Yansi and Liu, Dingye and Xu, Hongshen and Lan, Kunyao and Zhang, Danyang and Jiang, Yixuan and Zhou, Hao and Wang, Chenrun and others}, booktitle={Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (System Demonstrations)}, pages={535--549}, year={2025} } @misc{zhu2024mogui, title={Technical Report of MoGUI and MoCon}, author={Zichen Zhu and Liangtai Sun and Danyang Zhang and Ziyuan Li and Guangpeng Li and Lu Chen and Kai Yu}, year={2024}, howpublished={\url{https://huggingface.co/datasets/OpenDFM/MoGUI}} } @inproceedings{zhu2023cam, title={CAM-GUI: A Conversational Assistant on Mobile GUI}, author={Zhu, Zichen and Sun, Liangtai and Yang, Jingkai and Peng, Yifan and Zou, Weilin and Li, Ziyuan and Li, Wutao and Chen, Lu and Ma, Yingzi and Zhang, Danyang and others}, booktitle={National Conference on Man-Machine Speech Communication}, pages={302--315}, year={2023}, organization={Springer} } @inproceedings{sun2022meta, title={META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI}, author={Sun, Liangtai and Chen, Xingyu and Chen, Lu and Dai, Tianle and Zhu, Zichen and Yu, Kai}, booktitle={Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing}, pages={6699--6712}, year={2022} } ``` ## 📧 Contact Us If you have any questions, please feel free to contact us via email `[e-mail]` and `[e-mail]`license: 知识共享署名-非商业性使用-相同方式共享4.0（CC BY-NC-SA 4.0） tags: - 图形用户界面（GUI） pretty_name: MoGUI viewer: False --- # MoGUI😈 与 MoCon🛡️ <div align="center"> 📃 [论文](./MoGUI_Paper_v0.1.pdf) | 😈 [MoGUI 数据集](https://huggingface.co/datasets/OpenDFM/MoGUI)| 🛡️ [MoCon 数据集](https://huggingface.co/datasets/OpenDFM/MoCon) [简体中文](./README_zh.md) | English </div> ## 🔥 最新动态 - **[即将上线]** 完整技术报告即将发布。 - **[2024.3.1]** 我们已发布 [MoCon🛡️ 数据集](https://huggingface.co/datasets/OpenDFM/MoCon)。 - **[2024.2.29]** 我们已发布 [MoGUI😈 数据集](https://huggingface.co/datasets/OpenDFM/MoGUI) 与 [预印本论文](./MoGUI_Paper_v0.1.pdf)。 ## 📑 引用说明 若您的工作用到了本数据集，请引用我们的成果！ @inproceedings{zhu2025moba, title={MobA: Multifaceted Memory-Enhanced Adaptive Planning for Efficient Mobile Task Automation}, author={Zhu, Zichen and Tang, Hao and Li, Yansi and Liu, Dingye and Xu, Hongshen and Lan, Kunyao and Zhang, Danyang and Jiang, Yixuan and Zhou, Hao and Wang, Chenrun and others}, booktitle={Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (System Demonstrations)}, pages={535--549}, year={2025} } @misc{zhu2024mogui, title={Technical Report of MoGUI and MoCon}, author={Zichen Zhu and Liangtai Sun and Danyang Zhang and Ziyuan Li and Guangpeng Li and Lu Chen and Kai Yu}, year={2024}, howpublished={url{https://huggingface.co/datasets/OpenDFM/MoGUI}} } @inproceedings{zhu2023cam, title={CAM-GUI: A Conversational Assistant on Mobile GUI}, author={Zhu, Zichen and Sun, Liangtai and Yang, Jingkai and Peng, Yifan and Zou, Weilin and Li, Ziyuan and Li, Wutao and Chen, Lu and Ma, Yingzi and Zhang, Danyang and others}, booktitle={National Conference on Man-Machine Speech Communication}, pages={302--315}, year={2023}, organization={Springer} } @inproceedings{sun2022meta, title={META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI}, author={Sun, Liangtai and Chen, Xingyu and Chen, Lu and Dai, Tianle and Zhu, Zichen and Yu, Kai}, booktitle={Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing}, pages={6699--6712}, year={2022} } ## 📧 联系方式 若您有任何疑问，可通过以下邮箱联系我们：`[e-mail]` 与 `[e-mail]`

原始信息汇总

MoGUI😈 and MoCon🛡️ 数据集概述

数据集信息

• 名称: MoGUI😈 and MoCon🛡️
• 标签: GUI
• 许可证: cc-by-nc-sa-4.0
• 是否可查看: False

最新动态

• 2024.3.1: 发布 MoCon🛡️ 数据集。
• 2024.2.29: 发布 MoGUI😈 数据集和预发布论文。

引用信息

• MoGUI and MoCon 技术报告

  @misc{zhu2024mogui, title={Technical Report of MoGUI and MoCon}, author={Zichen Zhu and Liangtai Sun and Danyang Zhang and Ziyuan Li and Guangpeng Li and Lu Chen and Kai Yu}, year={2024}, howpublished={url{https://huggingface.co/datasets/OpenDFM/MoGUI}} }

• META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI

  @inproceedings{sun2022meta, title={META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI}, author={Sun, Liangtai and Chen, Xingyu and Chen, Lu and Dai, Tianle and Zhu, Zichen and Yu, Kai}, booktitle={Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing}, pages={6699--6712}, year={2022} }

• CAM-GUI: A Conversational Assistant on Mobile GUI

  @inproceedings{zhu2023cam, title={CAM-GUI: A Conversational Assistant on Mobile GUI}, author={Zhu, Zichen and Sun, Liangtai and Yang, Jingkai and Peng, Yifan and Zou, Weilin and Li, Ziyuan and Li, Wutao and Chen, Lu and Ma, Yingzi and Zhang, Danyang and others}, booktitle={National Conference on Man-Machine Speech Communication}, pages={302--315}, year={2023}, organization={Springer} }

联系方式

• 邮箱: [e-mail] 和 [e-mail]

搜集汇总

数据集介绍

构建方式

MoGUI数据集的构建基于多模态对话系统在移动图形用户界面（GUI）上的应用需求，通过整合多种数据源和交互模式，精心设计并采集了丰富的对话与界面操作数据。该数据集的构建过程严格遵循科学的数据采集与标注流程，确保数据的多样性和代表性，为多模态对话系统的研究提供了坚实的基础。

特点

MoGUI数据集的显著特点在于其多模态性和高度的交互性。数据集不仅包含了文本对话内容，还涵盖了与移动GUI相关的视觉元素和操作行为，形成了多维度的数据结构。此外，数据集的标注精细，涵盖了多种对话场景和用户行为，为研究者提供了丰富的实验素材。

使用方法

MoGUI数据集适用于多模态对话系统的研究与开发，尤其在移动GUI交互领域具有广泛的应用前景。研究者可以通过该数据集进行对话生成、界面操作预测、用户行为分析等多种任务的模型训练与评估。使用时，建议结合数据集提供的详细标注信息，进行有针对性的模型设计和实验验证。

背景与挑战

背景概述

MoGUI数据集由上海交通大学的研究团队于2024年2月29日发布，主要研究人员包括Zichen Zhu、Liangtai Sun等。该数据集的核心研究问题聚焦于多模态对话代理在移动图形用户界面（GUI）上的应用，旨在通过提供丰富的GUI交互数据，推动多模态对话系统的发展。MoGUI数据集的发布不仅填补了该领域的数据空白，还为相关研究提供了重要的实验基础，特别是在自然语言处理和用户界面设计交叉领域，具有显著的影响力。

当前挑战

MoGUI数据集在构建过程中面临多项挑战。首先，多模态数据的整合与标注是一个复杂的过程，涉及图像、文本和用户交互行为的同步处理。其次，移动GUI的多样性和动态性增加了数据采集和处理的难度，要求研究团队开发高效的数据采集和处理工具。此外，如何确保数据集的广泛适用性和代表性，以满足不同研究需求，也是该数据集面临的重要挑战。

常用场景

经典使用场景

MoGUI数据集在多模态对话系统领域展现了其经典应用场景，尤其是在移动设备图形用户界面（GUI）的交互设计中。该数据集通过提供丰富的GUI元素和交互模式，使得研究者能够训练和评估多模态对话代理，从而实现更自然、更智能的用户交互体验。

解决学术问题

MoGUI数据集解决了多模态对话系统在移动设备GUI交互中的关键学术问题，如多模态数据的融合、对话代理的上下文理解以及用户意图的精准捕捉。其意义在于推动了多模态对话技术的发展，为构建更智能、更人性化的移动应用界面提供了理论和数据支持。

衍生相关工作

基于MoGUI数据集，研究者们开展了多项经典工作，如META-GUI和CAM-GUI项目，这些工作聚焦于多模态对话代理在移动设备GUI上的应用。这些研究不仅深化了对多模态数据处理的理解，还为未来的对话系统设计提供了宝贵的实践经验和技术框架。