phi-1

语言模型 phi-1 是一个具有 13 亿个参数的 Transformer，专门用于基本的 Python 编码。其训练涉及各种数据源，包括来自 Stack v1.2 的 Python 代码子集、来自 StackOverflow 的问答内容、来自代码竞赛的竞赛代码以及由 gpt-3.5-turbo-0301 生成的合成 Python 教科书和练习。尽管与当代大型语言模型 (LLM) 相比，模型和数据集相对较小，但 phi-1 在简单的 Python 编码基准 HumanEval 上展示了超过 50% 的令人印象深刻的准确率。

The language model phi-1 is a 1.3-billion-parameter Transformer specifically tailored for basic Python coding. Its training leverages a diverse set of data sources, including a Python code subset from Stack v1.2, question-and-answer content from StackOverflow, contest code from coding competitions, and synthetic Python textbooks and exercises generated by gpt-3.5-turbo-0301. Despite the model and its training dataset being relatively smaller in scale compared to contemporary large language models (LLMs), phi-1 achieves an impressive accuracy of over 50% on the simple Python coding benchmark HumanEval.

搜集汇总

背景与挑战

背景概述

phi-1是一个拥有13亿参数的Transformer语言模型，专为基本Python编码设计，其训练数据融合了Stack代码、StackOverflow问答、竞赛代码和GPT-3.5生成的合成内容。尽管规模相对较小，该模型在HumanEval基准测试中展现了超过50%的准确率。