torch-tpu-model-support

该数据集记录了 HuggingFace 模型在 Google Cloud TPU 上使用 torch_tpu 进行 sweep 测试的结果。每个样本代表一个模型在一次 sweep 中的测试情况，测试过程为：加载模型，使用固定 prompt “The future of AI is”，以 bf16 精度生成 8 个 token。结果状态分为 PASS（成功）、FAIL(load)（加载异常）、FAIL(gen)（生成异常）、FAIL(other)（其他错误）。数据字段包括 tokens_in（输入 token 数量，经过聊天模板处理后的指令模型）和 tokens_out（生成 token 数量，超出输入部分），这两个字段在早期 sweep 中可能为 null。数据集包含两个配置：results（结果数据）和 excluded（被排除的数据）。数据以 Parquet 格式存储。该数据集可用于评估 HuggingFace 模型在 TPU 上的兼容性和生成性能，支持失败模式分析、模型兼容性测试等任务。This dataset records the results of sweep tests on HuggingFace models using torch_tpu on Google Cloud TPU. Each sample represents a test case of a model in one sweep. The test process: load the model, use a fixed prompt "The future of AI is", generate 8 tokens with bf16 precision. The result status includes PASS, FAIL(load), FAIL(gen), and FAIL(other). Data fields include tokens_in (number of input tokens after chat template processing for instruction models) and tokens_out (number of generated tokens beyond the input), which may be null in early sweeps. The dataset has two configurations: results and excluded. Data is stored in Parquet format. This dataset can be used to evaluate the compatibility and generation performance of HuggingFace models on TPU, supporting failure mode analysis, model compatibility testing, etc.

原始信息汇总

torch-tpu-model-support 数据集概述

数据集简介

该数据集记录了 HuggingFace 模型在 Google Cloud TPU 上使用 torch_tpu 框架进行支持性扫描（sweep）的测试结果，每个数据行代表一个模型在一次扫描中的测试情况。

数据配置

数据集包含两个配置（config）：

• results：存放于 data/results/**/*.parquet 路径下，为主要测试结果数据。
• excluded：存放于 data/excluded/**/*.parquet 路径下，为被排除的扫描数据。

测试方法

• 每个扫描任务会加载对应模型，并使用固定提示词 "The future of AI is" 生成 8 个 token。
• 所有测试均在 bf16 精度下进行。

结果值含义

扫描结果分为四类：

• PASS：模型成功加载并完成文本生成。
• FAIL(load)：模型加载阶段发生异常。
• FAIL(gen)：模型加载成功，但生成阶段抛出异常。
• FAIL(other)：其他未分类失败（如渲染错误、内存溢出等）。

Token 计数字段

• tokens_in：输入时提交的 token 数量（指令微调模型会考虑聊天模板处理后的数量）。
• tokens_out：超出输入部分生成的 token 数量。
• 若扫描早于 token 计数功能上线，则这两个字段均为 null。

相关资源链接

• 源代码仓库：https://github.com/huggingface/tpu-test
• 原始日志存储桶：hf://buckets/{user}/torch-tpu-transformers/

搜集汇总

数据集介绍

构建方式

该数据集源自HuggingFace与Google Cloud TPU的协同测试项目，系统性地评估了各类模型在TPU硬件上的兼容性与运行表现。构建过程中，每个模型均在固定的提示词环境下，以bf16精度完成加载并生成8个令牌，最终将每轮测试结果以Parquet格式存储，分别收录于results与excluded两个配置项中，确保了数据的结构化与可追溯性。

特点

数据集以细粒度的测试结果分类为核心，明确区分了PASS、FAIL(load)、FAIL(gen)及FAIL(other)四种状态，精准刻画了模型在加载与生成阶段的异常情形。同时，令牌计数指标tokens_in与tokens_out提供了对输入输出长度的量化洞察，尽管早期扫描未记录该数据，但整体上为研究TPU环境下模型行为的规律性提供了丰富素材。

使用方法

使用者可通过HuggingFace数据集库便捷载入，依据config_name参数灵活选取results或excluded子集，满足不同分析需求。适用于对模型在TPU上的成功率进行统计分析，或深入探究加载失败与生成异常的根因。结合原始日志存储桶，可进一步追踪异常详情，为优化模型部署与硬件适配提供实证依据。

背景与挑战

背景概述

随着大规模语言模型在自然语言处理领域的迅猛发展，其高效部署与推理已成为研究热点。Google Cloud TPU作为一种专为AI训练与推理设计的专用硬件，以其卓越的算力和能效备受瞩目。然而，PyTorch生态与TPU的深度融合仍面临诸多挑战，亟需系统性评估。在此背景下，Hugging Face团队于近期发布了torch-tpu-model-support数据集，旨在全面评测Hugging Face模型在Google Cloud TPU上通过torch_tpu库运行的兼容性与稳定性。该数据集由Hugging Face的研究人员创建，通过自动化扫描流程，记录模型在标准提示下生成固定长度token的成败结果，为开发者提供了宝贵的参考基准。其核心研究问题聚焦于模型加载与推理阶段的故障模式，以及不同模型架构在TPU上的表现差异，对推动PyTorch-TPU生态的成熟与优化具有重要影响力。

当前挑战

该数据集所应对的领域挑战在于，TPU作为加速器在PyTorch框架中的支持尚不完善，模型迁移时常遭遇算子不兼容、内存管理差异及性能波动等问题，导致推理失败或效率低下。数据集构建过程中亦面临多重技术难题：首先，需构建统一的自动化扫描框架，以在多样化模型上执行一致且可复现的测试流程；其次，需可靠地分类与记录各类失败原因，如加载异常、生成错误及未分类故障，这要求细致的结果解析与日志分析；此外，token计数功能的纳入涉及对输入输出长度的精确度量，需兼容不同模型的分词与模板处理逻辑。数据规模庞大且任务密集，资源调度与容错机制也构成显著挑战，确保评估结果的全面性与准确性是数据集构建的核心难点。

常用场景

经典使用场景

该数据集作为模型兼容性评估的基准资源，广泛应用于对HuggingFace模型在Google Cloud TPU上使用torch_tpu库进行加载与生成任务的系统性测试。研究者依托此数据集，可深入剖析各类Transformer架构在TPU硬件上的运行表现，通过PASS、FAIL(load)、FAIL(gen)及FAIL(other)等多级状态标签，精确刻画模型在迁移至特定加速平台时的行为特征，从而为模型适配性研究提供坚实的实证基础。

实际应用

在实际应用中，该数据集服务于云端AI服务的稳定性和性能优化。通过分析大量模型的测试结果，开发团队能快速定位在TPU环境下表现不佳的模型，从而指导模型优化或硬件资源配置决策。例如，对于FAIL(load)频发的模型，可提前进行权重转换或依赖修正；对于生成阶段失败的模型，则需调整内存管理或计算图执行策略。这极大提升了大规模模型在TPU集群上运行的可靠性，降低了生产环境中的故障风险。

衍生相关工作

该数据集催生了多项衍生研究，包括但不限于模型硬件兼容性预测模型的构建，利用机器学习方法从模型架构特征预测其在TPU上的运行状态；基于失败模式的自动化调试工具开发，能够分析日志并给出修复建议；以及针对token消耗统计的性能优化研究，通过分析tokens_in与tokens_out的分布，探索生成效率的瓶颈。这些工作进一步拓展了数据集的价值，促进了跨平台机器学习工程领域的知识积累与技术迭代。