BinSum

一个包含超过557K个二进制函数的综合基准和数据集，用于评估大型语言模型在二进制代码理解方面的性能。

A comprehensive benchmark and dataset with over 557K binary functions for evaluating the performance of Large Language Models (LLMs) in binary code understanding.

搜集汇总

数据集介绍

构建方式

在二进制代码理解领域，构建高质量的数据集对于评估大型语言模型的性能至关重要。BinSum数据集的构建过程体现了系统性与严谨性：研究者从44个开源项目中提取了超过1100万行源代码，并将其编译为涵盖x86、x64、ARM和MIPS四种架构以及O0至O3四种优化级别的二进制文件。通过自动化工具解析DWARF调试信息，将二进制函数与源代码中的开发者注释精确匹配，最终形成了包含55.7万个二进制函数的数据集。每个函数进一步生成四种表示形式——原始字节、汇编代码、中间表示和反编译代码，确保了数据表征的多样性。

特点

BinSum数据集在二进制代码分析领域展现出多维度特征：其规模覆盖了55.7万个函数样本，为大规模模型评估提供了坚实基础；数据多样性体现在跨架构、跨优化级别的系统设计，能够全面反映真实场景中的编译差异；注释质量通过严格的函数-注释匹配机制保证，所有摘要均源自开发者编写的源代码注释，确保了语义准确性；表征形式囊括了从低级字节到高级反编译代码的完整谱系，为研究不同抽象层次的代码理解提供了可能。这些特征共同构成了一个具有高度代表性和实用性的基准测试平台。

使用方法

该数据集的核心应用在于系统评估大型语言模型对二进制代码的语义理解能力。研究者通过设计四步提示合成与优化流程——包括上下文提示生成、变体构建、提示优化和任务特定选择——构建了高效的评估框架。评估时采用基于语义嵌入的相似度计算新方法，通过预训练模型生成文本嵌入并计算余弦相似度，克服了传统精确匹配指标在语义衡量上的局限。实际使用中，可将二进制代码与优化后的提示拼接输入模型，生成自然语言摘要后与真实注释进行语义比对，从而量化模型性能。这种评估范式为二进制逆向工程领域的模型能力测量提供了标准化方案。

背景与挑战

背景概述

BinSum数据集由俄亥俄州立大学与微软研究院于2023年联合构建，旨在系统评估大语言模型在二进制代码摘要任务中的潜力。该数据集聚焦于二进制代码理解这一核心研究问题，通过编译44个开源项目，生成了涵盖x86、x64、ARM和MIPS四种架构及四种优化级别的超过55.7万个二进制函数，并提供了反编译代码、中间表示、汇编代码和原始字节等多种表示形式。BinSum的创建填补了真实世界二进制代码摘要数据集的空白，为推进二进制逆向工程与安全分析领域的自动化研究提供了重要基准。

当前挑战

在二进制代码摘要领域，主要挑战在于缺乏大规模高质量标注数据集，以及二进制代码语义与自然语言之间的鸿沟。具体而言，构建BinSum过程中需解决源代码注释与二进制函数精准匹配、跨架构与优化级别的代码表示生成、以及注释提取中的多行函数签名识别等难题。此外，评估大语言模型在该任务上的性能时，传统基于精确匹配的度量标准无法有效捕捉语义相似性，需设计新型语义相似度评估指标以克服同义词与句式差异带来的干扰。

常用场景

经典使用场景

在二进制代码分析与逆向工程领域，BinSum数据集为评估大型语言模型在二进制代码语义理解方面的能力提供了基准。该数据集通过编译44个开源项目，生成了超过55.7万个二进制函数，覆盖了多种架构和优化级别，并提供了包括反编译代码在内的多种二进制表示形式。其经典使用场景在于系统性地测试和比较不同LLM（如ChatGPT、GPT-4、Llama 2和Code Llama）在生成二进制函数自然语言摘要时的性能，从而揭示模型在代码语义捕捉、符号依赖性和跨架构适应性等方面的表现差异。

实际应用

在实际应用层面，BinSum数据集为安全分析、恶意代码检测和逆向工程工具的开发提供了重要支撑。例如，VirusTotal的“Code Insight”功能利用类似技术生成潜在恶意代码的自然语言摘要，帮助安全分析师快速理解威胁行为。该数据集通过评估不同反编译工具（如Ghidra、Hex-Rays和Angr）的输出对LLM性能的影响，为优化反编译器设计、提升二进制代码可读性提供了实证依据，进而增强自动化安全分析系统的效率和准确性。

衍生相关工作

基于BinSum数据集，衍生出一系列关于二进制代码理解与LLM适配的经典研究工作。例如，针对符号恢复的SymLM和函数名称预测的XFL等模型，利用类似数据构建方法提升二进制代码的语义重建能力。同时，该数据集的评估框架促进了提示工程优化技术（如上下文提示合成与语义嵌入评估）在二进制领域的应用，为后续研究如二进制代码相似性检测、漏洞识别和内存别名分析等任务提供了可扩展的基准和方法论参考。