mlx-llm-bench

MLX LLM Bench 是一个专为在 Apple Silicon Mac（特别是 16 GB 统一内存的 Mac mini 类设备）上运行的本地大语言模型（LLM）设计的基准测试数据集。该数据集旨在评估模型在有限硬件资源下的分类和指令遵循能力。数据集共包含 125 个精心设计的样本，其中 100 个用于分类任务，25 个用于 IFEval 指令遵循任务。分类任务涵盖三个具体场景：情感分析（区分积极/消极情绪）、主题分类（识别文本属于世界、体育、商业、科技中的哪一类）以及垃圾邮件检测（判断是否为垃圾邮件）。每个分类任务都平衡了“简单”和“困难”两种难度级别的样本，数据集中包含显式的“difficulty”字段。IFEval 任务则测试模型对复杂指令（如精确字数统计、字母排除、全大写输出、JSON 模式遵循、段落计数等）的遵循程度。数据集以 JSON 格式提供，每个样本包含任务类型、文本内容、真实标签和难度信息。该数据集主要用于在资源受限的本地环境中（如个人电脑）对 LLM 进行性能基准测试和比较，尤其关注模型在分类准确性和指令遵循格式合规性方面的表现。

MLX LLM Bench is a benchmark dataset designed for local large language models (LLMs) running on Apple Silicon Macs, particularly devices like the Mac mini with 16 GB unified memory. The dataset aims to evaluate the classification and instruction-following capabilities of models under limited hardware resources. It contains a total of 125 carefully designed samples, with 100 for classification tasks and 25 for IFEval instruction-following tasks. Classification tasks cover three specific scenarios: sentiment analysis (distinguishing positive/negative emotions), topic classification (identifying whether text belongs to world, sports, business, or technology), and spam detection (determining if it is spam). Each classification task balances samples of easy and hard difficulty levels, with an explicit difficulty field included in the dataset. The IFEval tasks test the models adherence to complex instructions, such as precise word count, letter exclusion, all-caps output, JSON schema compliance, paragraph counting, etc. The dataset is provided in JSON format, with each sample containing task type, text content, true labels, and difficulty information. It is primarily used for performance benchmarking and comparison of LLMs in resource-constrained local environments (e.g., personal computers), with a particular focus on model performance in classification accuracy and instruction-following format compliance.

原始信息汇总

数据集概述：MLX LLM Bench

这是一个用于评估在 Apple Silicon Mac（特别是 16 GB Mac mini）上运行的本地大语言模型（LLM）的分类和指令遵循能力的基准测试数据集。

• 数据集名称: MLX LLM Bench
• 许可证: MIT
• 语言: 英语
• 数据集大小: 少于 1000 个样本 (当前快照为 125 个样本)
• 任务类别: 文本分类
• 标签: LLM、基准测试、MLX、Apple Silicon、本地 AI、分类、情感、主题、垃圾邮件、指令遵循、排行榜

核心内容与结构

1. 评估任务

数据集包含 125 个样本，涵盖四个任务，每个任务均分为“简单”（Easy）和“困难”（Hard）两个难度级别：

任务	简单 (Easy)	困难 (Hard)	任务示例
情感分析 (正面/负面)	21	12	讽刺、反向夸奖、轻描淡写的赞美
主题分类 (世界/体育/商业/科技)	24	12	商业与科技模糊地带、安全漏洞与研究
垃圾邮件识别 (垃圾/正常)	20	11	BEC 诈骗、语音钓鱼、供应商欺诈邮件
指令遵循 (IFEval)	13	12	精确字数、排除字母、全大写、JSON schema、段落数

2. 排行榜

提供了在 Mac mini M4 (16 GB) 上运行的主要模型得分（截至当前快照）。评估指标包括准确率（带95%置信区间）、简单/困难任务得分、格式遵循率（fmt_ok）、推理时间和模型大小。

排名	模型	准确率 (95% CI)	时间/样本	模型大小
🥇	gemma3-12b-qat	92.8% [87–96]	2.24 s	8.0 GB
🥈	llama-3.2-3b	92.0% [86–96]	0.74 s	1.8 GB
🥉	ministral-3-8b	90.4% [84–94]	4.21 s	5.6 GB
...	...	...	...	...

3. 数据文件

该数据集在 Hugging Face 上提供，可直接加载。

python from datasets import load_dataset ds = load_dataset("onlyoneaman/mlx-llm-bench", split="test") print(ds[0])

输出: {task: sentiment, text: ..., label: positive, difficulty: easy}

仓库中的主要文件包括：

• data.json: 125 个带标签的样本。
• leaderboard.json: 规范化的结构化排行榜数据。
• leaderboard.csv: 排行榜的表格形式。
• models.json: 已测试模型的注册表和观察行为记录。

关键说明

• 目标硬件: 该基准测试专为拥有 16 GB 统一内存的 Apple Silicon Mac 设计，特别是 Mac mini 级别。
• 快照机制: 此数据集是一个特定快照（dataset_sha: 4546a1df566c）。不同 dataset_sha 的快照之间不具有直接可比性。
• 难度字段: 每个样本都包含明确的 difficulty 字段，用于区分“简单”和“困难”。
• 评估方法: 分类任务使用严格的 JSON 约束输出和 temp=0；指令遵循任务由 Python 验证器全自动验证（format_ok）和结果正确性（correct）共同评判。
• 复现方法: 用户可通过运行 ./bench run all --cached 命令复现评测，代码和详细方法在 github.com/onlyoneaman/mlx-llm-bench 提供。

搜集汇总

数据集介绍

构建方式

mlx-llm-bench数据集专为评估在Apple Silicon Mac设备上运行的本地大语言模型（LLM）而构建，目标硬件为16 GB统一内存的Mac mini。该数据集共包含125个测试样本，其中100个用于分类任务，25个用于指令遵循（IFEval）任务。分类任务涵盖情感分析、主题分类、垃圾邮件检测三类，每类均按难易程度（易/难）平衡分配，主题类别严格保持9/9/9/9的均衡分布。指令遵循任务则包含精确词数、字母排除、全大写输出、JSON模式及段落数量等多种约束条件。每条样本均标注有明确的难度字段，确保评估的层次性和可比性。数据集以单一JSON文件存储，支持通过HuggingFace datasets库直接加载，构建方式严谨且便于复现。

特点

该数据集的核心特点在于其针对苹果Silicon芯片本地推理场景的精准适配与高效评估能力。通过融合分类与指令遵循两大类任务，mlx-llm-bench能够全面衡量模型在结构化输出与自由格式指令执行上的双重表现。数据集规模紧凑（n=125），但精心设计了难易样本比例，并引入95% Wilson置信区间统计方法，使小样本评估依然具备统计显著性。此外，数据集还独立追踪格式合规性指标，区分模型是否遵循输出格式与实际回答正确性，从而揭示如推理模型因过度输出思维链而导致的格式失败等深层问题。这些特性使得mlx-llm-bench成为在资源受限的本地设备上筛选高效轻量级LLM的理想基准。

使用方法

该数据集的使用方法极为便捷，用户可通过HuggingFace datasets库直接加载，仅需一行Python代码即可获取测试分片。评估过程依托于配套的开源工具链：用户需先通过pipx安装mlx-lm和mlx-vlm库，然后克隆GitHub仓库并运行自动化评测脚本。该脚本支持对候选模型进行一键批量测试，自动记录每样本推理时间、模型内存占用及各项准确率指标，并输出包含硬件信息的结构化排行榜文件。对于希望深入分析的开发者，数据集还提供了模型注册表及格式化Leaderboard，便于横向比较和复现。整体流程门槛低、自动化程度高，特别适合需要在Apple Silicon设备上快速验证和对比本地模型性能的研究者与工程师。

背景与挑战

背景概述

随着大语言模型（LLM）在边缘设备上的部署需求日益增长，评估其在资源受限硬件上的实际表现成为关键研究课题。Apple Silicon Mac凭借统一内存架构为本地AI推理提供了独特平台，但现有基准测试多聚焦于云端GPU环境，缺乏针对此类设备在有限内存条件下的系统性评估。mlx-llm-bench数据集由研究者Aman于2024年创建，旨在填补这一空白。该基准整合了125个精心设计的样本，涵盖情感分析、主题分类、垃圾邮件检测和指令遵循（IFEval）四项任务，并依据难度与格式合规性进行精细度量，为16GB内存等级的Mac mini设备上的模型选择提供了标准化评估框架。其研究核心在于揭示量化模型、蒸馏模型与原生模型在准确率、推理速度与内存占用之间的权衡关系，对推动本地AI生态发展具有重要参考价值。

当前挑战

该数据集所解决的领域挑战在于，现有LLM基准测试未能反映边缘设备上的真实部署困境：模型在云端的高性能表现无法直接迁移至内存受限的Apple Silicon平台，且缺乏统一指标量化速度、准确率与格式遵循能力之间的多维平衡。构建过程中面临的核心挑战包括：设计能暴露模型脆弱性的任务样本，如识别言语反讽、模糊主题边界及模仿商业邮件欺诈；构建严格的Python验证器以确保IFEval指令遵循评测的自动化与客观性；以及确保125个样本在难度、类别上的平衡分布，从而在有限规模下实现统计显著的比较。此外，不同量化版本模型的格式输出一致性控制（如推理模型倾向输出思维链而非指定JSON结构）也构成了评测方法上的技术难点。

常用场景

经典使用场景

MLX LLM Bench是一个专为Apple Silicon Mac（尤其是16 GB统一内存机型）设计的轻量级评测基准，其经典用途在于对本地部署的大语言模型进行统一、可复现的分类能力与指令遵循能力评估。数据集包含125个精心设计的测试样本，覆盖情感分析、主题分类、垃圾邮件检测和指令遵循（IFEval）四个子任务，每个任务均按难度分为简单和困难两类。研究者可通过JSON约束输出格式强制模型生成结构化解答，从而精准衡量模型在资源受限环境下的实际推理表现。该场景特别适合比较不同量化策略、蒸馏方法和架构设计的小型模型在边缘设备上的综合效能。

实际应用

在实际应用中，MLX LLM Bench为Apple生态下的本地智能应用开发提供了关键参考指标。开发人员可以借助该基准筛选出在16 GB内存Mac mini上兼具高精度与低延迟的模型，例如默认驱动选项llama-3.2-3b以92%准确率和0.74秒/样本的速度成为日常部署的理想选择，而追求极致精度时则可考虑gemma3-12b-qat。该数据集特别适用于开发隐私敏感的离线助手、本地文档分类器、邮件过滤系统或实时内容审核工具等场景，确保数据无需上传至云端即可获得可靠的AI推理服务，同时满足移动办公和低功耗计算的需求。

衍生相关工作

围绕MLX LLM Bench衍生了一系列具有启发性的相关工作。首先，其评测框架已被整合到mlx-lm和mlx-vlm工具链中，使得其他开发者能便捷地在自定义硬件上复现测试并扩展模型库。其次，排行榜中暴露的模型行为缺陷催生了针对性改进，例如针对推理模型（如deepseek-r1-distill-7b）因输出思维链导致格式合规率低下的问题，研究者开始探索结构化解码约束和提示工程优化。此外，该数据集对Hermes-3等RLHF微调模型的格式破坏性分析，引发了对指令微调与结构化输出能力之间权衡的深入讨论，推动了一系列关于可控文本生成和约束解码的前沿探索。