pt-sk/Python_Datasets
收藏官方服务：
资源简介：
这些数据集已经使用默认的llama2分词器进行了分词处理，且没有添加任何特殊标记（如bos或eos），并以二进制格式存储。这些数据集可以直接用于数据加载器中。
这些数据集已经使用默认的llama2分词器进行了分词处理，且没有添加任何特殊标记（如bos或eos），并以二进制格式存储。这些数据集可以直接用于数据加载器中。
提供机构：
pt-sk原始信息汇总
数据集概述
数据集描述
- 数据类型: Python数据集
- 处理方式: 使用默认的llama2分词器进行分词
- 特殊标记: 未添加特殊标记（如bos或eos）
- 存储格式: 二进制格式
- 使用场景: 可直接用于数据加载器
许可证
- 许可证类型: MIT许可证
