dmayhem93/toolformer_raw_v0

First try data generation for toolformer with retrieval, calculator, and calendar tasks. Don't expect too much magic.

C4 en variant was used to generate this data.

How to parse these:
Each item in the dataset comes with three components:
- file_index: index of c4 en streamed file
- text: complete text input to generation
- x_outputs - list of [score, token index, API call, API return]

token index with gpt-j tokenizer.

原始信息汇总

数据集概述

数据集生成目的

• 用于工具型生成模型（toolformer）的初步数据生成，涉及检索、计算和日历任务。

数据集来源

• 使用C4英文变体（C4 en variant）生成。

数据集结构

• 数据项组成：
  • file_index：C4英文流文件的索引。
  • text：生成输入的完整文本。
  • x_outputs：一个列表，包含以下元素：
    • score：分数。
    • token index：使用gpt-j分词器的标记索引。
    • API call：API调用信息。
    • API return：API返回结果。