jondurbin/airoboros-3.0

该数据集是airoboros数据集的延续版本，主要包含两个新贡献：MathJSON和匿名贡献的RP数据集。MathJSON部分涉及数学问题，输出为JSON格式，可以通过传统计算库进行解析和计算。数据集格式为ShareGPT格式，以适应OS生态系统的微调工具。MathJSON部分旨在解决LLM在数学运算上的困难，通过提供JSON字符串形式的解决方案来简化问题。数据集包含约4k个样本，作为一个概念验证，可以轻松扩展。

原始信息汇总

数据集概述

该数据集是airoboros数据集的延续，主要新增了以下两个部分：

• MathJSON：包含数学问题，以“Create a MathJSON solution to the following:”为前缀，输出一个位于<mathjson>和</mathjson>标签之间的JSON，可被解析并通过确定性库执行计算。
• 匿名贡献的RP数据集：用于增强多轮对话的连贯性。

部分MathJSON数据改编自https://huggingface.co/datasets/meta-math/MetaMathQA。

格式

数据集采用ShareGPT格式，以更好地适应OS生态系统的微调工具。

MathJSON

数学对大型语言模型（LLMs）来说非常困难，尤其是浮点运算、三角函数、阶乘和多位数运算。

与其向LLM发送数百万个示例进行微调，不如创建一个新的mathjson类别，将问题的解决方案简单地表示为一个可由传统计算评估的JSON字符串。

数据集包含约4000个样本，作为概念验证。现在微调模型已经基本理解了如何表示问题，可以很容易地扩展。

例如：

Create a MathJSON solution to the following: Calculate the area of a circle with radius of 17.2456cm. Include your reasoning. [/INST]

The area (A) of a circle is given by the formula A = πr², where r is the radius of the circle. Since the radius is given in centimeters, we need to convert it to meters first. We know that 1 meter equals 100 centimeters. Therefore, we can represent the radius as: r = 17.2456 cm * 100/1.

Once we have the radius in meters, we can calculate the area of the circle using the formula A = πr².

Solution as MathJSON: <mathjson> [ "Multiply", "Pi", [ "Power", 17.2456, 2 ] ] </mathjson>

只需提取<mathjson>标签之间的JSON字符串，并使用https://cortexjs.io/compute-engine/或我的功能有限的Python版本进行评估https://github.com/jondurbin/airoboros/blob/mathjson/airoboros/mathjson.py。