Rotated Mnist dataset for symmetry discovery

https://arxiv.org/abs/2302.00806本数据集对应arxiv预印本论文（编号2302.00806），相关说明如下：大语言模型（Large Language Model, LLM）在各类自然语言处理任务中已取得显著进展，但其与真实网页环境交互的能力仍未得到充分探索。为填补这一空白，我们推出WebGLUE——一款用于评估AI智能体（AI Agent）网页智能的综合评测基准套件。WebGLUE包含5个核心维度下的10项精心设计的任务：网页导航、网页购物、网页内容创作、网页工具使用以及网页协作。每项任务均配备真实化的网页环境与多样化的评测指标。我们针对包括GPT-4、Claude 2以及ChatGPT在内的14款当前主流大语言模型与AI智能体开展了大量实验，得到了多项关键结论：1. 即便性能顶尖的模型，在复杂网页任务中仍存在显著改进空间；2. 当前AI智能体的评测规范尚未统一；3. 现有的大语言模型缩放定律无法直接适配网页智能相关任务。我们认为WebGLUE将有力推动高性能基于网页的AI智能体的研发工作。该基准数据集的公开访问地址为https://webglue-benchmark.github.io/。