dsadd4/AgentFigureGallery

AgentFigureGallery是一个用于科学绘图代理的视觉参考包，包含16,341个公共视觉候选，涵盖10种科学图表类型（如条形图、线图、热图等）。该数据集旨在用于视觉参考检索、人类偏好选择和代理引导的科学图表生成，支持AgentFigureGallery CLI、浏览器画廊和多种代码代理（如Codex、Claude Code、Cursor）的工作流。数据集经过过滤，移除了私有本地路径和私有仓库，同时保留了可用的公共来源归属。AgentFigureGallery is a visual reference pack for scientific plotting agents, containing 16,341 public visual candidates across 10 scientific plot types (e.g., bar charts, line charts, heatmaps). The dataset is intended for visual reference retrieval, human preference selection, and agent-guided scientific figure generation, supporting the AgentFigureGallery CLI, browser gallery, and various code agent (e.g., Codex, Claude Code, Cursor) workflows. The dataset is filtered to remove private local paths and private repositories while preserving available public source attribution.

搜集汇总

数据集介绍

构建方式

AgentFigureGallery数据集的构建基于对大规模科学可视化图像的系统性收集与筛选。研究团队从公开来源中采集了涵盖10类科学图表类型的16,341个视觉候选样本，包括柱状图、热力图、散点图等。为确保数据质量与可公开访问性，项目剔除了包含私有路径与私有仓库的图像，并通过元数据保留公开来源归属信息。构建过程还集成了面向代码智能体的工作流，通过CLI工具与Skill安装机制，使数据集能够无缝嵌入Codex、Claude Code及Cursor等编码代理的运行环境，形成从视觉参考检索到人类偏好标注的完整数据管道。

特点

该数据集的核心特色在于其作为人类偏好记忆系统与智能体技能的整合设计。与常规静态图像库不同，AgentFigureGallery不仅提供多样化的科学图表视觉参考，还通过元数据建立了与代码生成代理的互动接口。其视觉候选覆盖了从细胞风格到自然风格等多样的科学图表美学范式，并预设了“代理查询-画廊显示-人类偏好选择-导出绑定-代理执行”的循环工作流。这种设计使数据集成为辅助AI代理进行科学图表生成的重要中间纽带，而非简单的图像分类或基准测试工具。

使用方法

使用AgentFigureGallery数据集需要先通过Git克隆仓库并安装Python包，随后执行命令行工具完成技能安装与数据包配置。用户可调用`agentfiguregallery gallery`命令启动可视化浏览器，按图表类型（如嵌入图）或数量限制进行检索展示。对于Codex用户，可通过一键脚本实现自动引导；Claude Code与Cursor用户则需分别执行技能安装命令。在典型应用场景中，开发人员可将数据集嵌入“人类参与循环”的代理交互流程，通过人工筛选视觉参考后导出为可执行包，从而指导图表生成代理完成精确的科学可视化输出。

背景与挑战

背景概述

AgentFigureGallery数据集于近期由研究团队创建，旨在解决科学绘图智能体在视觉参考检索与人类偏好对齐方面的关键瓶颈。该数据集由来自多个机构的开发者共同维护，核心研究问题围绕如何构建一个人类偏好的记忆系统，使编码智能体（如Codex、Claude Code、Cursor）能够高效生成符合科学出版标准的可视化图形。数据集包含16,341个候选视觉样本，涵盖柱状图、热图、显微镜拼图等10种科学图表类型，其设计强调人机协作循环（agent query→human selection→agent action），为生物信息学等领域的自动绘图提供了重要的训练与评估资源。该工作通过对人类偏好的系统化收集，推动了交互式科学绘图智能体的发展，在AI辅助科研工具领域展现出显著影响力。

当前挑战

当前数据集面临多维度挑战。在领域问题层面，科学绘图智能体需解决的核心挑战是生成具有出版级质量的图形，这要求模型理解复杂的视觉审美规范与学科特定惯例，而现有通用视觉生成模型往往难以精准捕捉科学图表中数据准确性、排版规范与色彩协调性间的微妙平衡。在数据集构建过程中，挑战尤为突出：从海量科学文献中筛选并标注16,341个高质量候选样本需要克服版权归属模糊与元数据不一致的难题，同时需确保不同图表类型间的覆盖均衡性（如spatial_map仅666个样本）。此外，人类偏好标注存在主观性差异，如何设计高效的人机协作反馈机制以消除标注偏差，以及维护跨智能体平台（Codex/Claude Code/Cursor）的兼容性协议，均是后续迭代中亟待攻克的工程挑战。

常用场景

经典使用场景

在科学可视化与人工智能交汇的前沿领域，AgentFigureGallery作为一款专为科学图表生成Agent设计的人类偏好记忆系统与可安装技能包，其经典使用场景聚焦于辅助科研人员与AI代理协同完成高质量学术图表的创作。该数据集收录了涵盖条形图、基准性能图、箱线小提琴分布图、嵌入图、热力图、折线图、显微成像面板、多面板组合图、散点图以及空间分布图等十种科学图表类型的16,341个视觉候选样本，并配备丰富的元数据。典型工作流程中，AI代理根据用户需求查询并呈现候选图表，人类研究者通过点赞、拒绝或直接选择进行偏好反馈，最终导出优选图表供代理执行后续绘制操作。这种人机协作的迭代反馈机制，使得非专业设计人员也能高效生成符合学术规范的精致图表。

衍生相关工作

基于AgentFigureGallery，学术界与工业界已衍生出一系列值得关注的经典工作：其一，围绕该数据集构建的Codex技能包与Claude Code、Cursor等代理的兼容性，催生了多种针对科研图表生成的AI代理定制化方案，推动了边缘计算与云端协同的图表生成框架发展；其二，该数据集所倡导的‘代理查询—画廊展示—人类选择—导出捆绑—代理执行’的闭环流程，成为后续人机交互式图像生成领域效仿的标准范式，相关研究还进一步探索了基于强化学习的偏好反馈优化算法。此外，该数据集的开源特性激励了社区贡献多种可视化元数据增强工具，以及跨学科图表风格迁移模型，这些衍生产品共同丰富了自动化科学绘图的工具链，为未来通用型科学可视化Agent的研发奠定了坚实基础。

数据集最近研究

最新研究方向

AgentFigureGallery作为首个融合人类偏好记忆与智能体技能的科研绘图数据集，正推动AI辅助科学可视化领域向人机协同创作范式演进。该数据集涵盖1.6万余幅规范化的科学图表模板，覆盖嵌入图、热力图等10类前沿可视化类型，其革命性在于构建了“智能体查询-画廊展示-人工筛选-导出部署”的迭代闭环，直接呼应了当前大模型驱动的科研自动化热点。通过标准化接口可无缝集成Codex、Claude Code等编程智能体，研究者得以将数据美学的最终判断权保留给人类专家，而将重复性图表生成交由AI完成。这种“人在回路”的设计理念显著降低了生物信息学等领域的高质量图表生产门槛，加速了科研成果的可视化传播，为构建可复现、高审美的学术出版范式奠定了数据根基。