in-IDE HAX Literature Review Table

Name: in-IDE HAX Literature Review Table
Creator: JetBrains Research
Published: 2025-03-05T00:00:00+08:00

Zenodo2025-03-05 更新2026-04-07 收录

IDE人机交互体验

AI辅助开发

数据链接：

https://zenodo.org/doi/10.5281/zenodo.14976737 数据链接链接失效反馈

官方服务：

资源简介：

This is a paper with full data analyzed in the paper "Human-AI Experience in Integrated Development Environments: A Systematic Literature Review".

提供机构：

JetBrains Research

创建时间：

2025-03-05

PandasPlotBench

数据分析

数据可视化

PandasPlotBench是由JetBrains Research开发的人工策划数据集，旨在评估语言模型在数据可视化探索中的辅助效果。该数据集包含175个独特的任务，专注于根据自然语言指令生成Pandas DataFrame的绘图代码。数据集通过从Matplotlib图库中提取数据并进行处理生成，确保任务和数据文件是合成生成的，以避免数据泄露。PandasPlotBench的应用领域主要集中在

arXiv2024-12-04 更新540

swe-prbench

代码审查评估

AI辅助开发

SWE-PRBench是一个用于评估大型语言模型（LLM）在代码审查任务中表现的数据集，包含350个经过人工标注的真实拉取请求（PR）。该数据集旨在衡量模型是否能像专家审查员一样识别代码变更中的问题，填补了现有基准在真实人类反馈、问题检测能力评估和受控上下文配置方面的空白。数据集中的PR来自65个高质量仓库，涵盖Python、JavaScript、Go等多种编程语言，并根据问题检测难度分为三类（T

Hugging Face2026-03-26 更新360

CS Education:Open Results from a Survey of More Than 18,000Participants

计算机科学

调查分析

该数据集由JetBrains Research创建，包含来自173个国家的18032名参与者的调查结果。数据集涵盖了计算机科学教育的各个方面，包括正式教育、学习格式、人工智能的使用、学习挑战、动机等。数据集旨在支持进一步的研究，促进计算机科学教育领域的进步。

arXiv2025-08-07 更新280

ENVBENCH

自动化配置

软件仓库

ENVBENCH是一个针对自动化环境配置任务的综合基准测试。由JetBrains Research创建，该数据集包含了329个Python项目和665个基于JVM（Java、Kotlin）的项目。这些项目被精心挑选，以确保它们代表了真实的环境配置挑战。数据集通过静态分析检查Python中的缺失导入和JVM语言的编译检查来验证环境配置的正确性。该数据集旨在解决自动化软件仓库环境配置的挑战，并为模型调

arXiv2025-03-19 更新400

Diff-XYZ

代码理解

自然语言处理

Diff-XYZ数据集是一个轻量级的代码差异理解基准，包含三个监督任务：应用、反应用和差异生成。该数据集由1000个真实世界的代码编辑组成，来自CommitPackFT数据集，涵盖了五种编程语言。该数据集旨在评估和改进语言模型中的差异处理能力，并在HuggingFace Hub上发布。

arXiv2025-10-14 更新350