ikawrakow/validation-datasets-for-llama.cpp
收藏Hugging Face2024-03-11 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/ikawrakow/validation-datasets-for-llama.cpp
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是用于`llama.cpp`项目中的`perplexity`工具的验证数据集。文件中包含了两个简单的程序，`demo.cpp`用于读取和合并文件，`convert.cpp`用于将数据转换为JSON格式。使用这些数据集需要合并PR #5047。
该数据集是用于`llama.cpp`项目中的`perplexity`工具的验证数据集。文件中包含了两个简单的程序，`demo.cpp`用于读取和合并文件，`convert.cpp`用于将数据转换为JSON格式。使用这些数据集需要合并PR #5047。
提供机构：
ikawrakow
原始信息汇总
数据集概述
数据集用途
该数据集用于与llama.cpp项目中的perplexity工具配合使用。
使用前提
使用该数据集需要合并PR #5047。
数据处理示例
-
demo.cpp程序展示了如何读取这些文件，并可用于将两个文件合并为一个。 -
convert.cpp程序展示了如何将数据转换为JSON格式，例如：g++ -o convert convert.cpp ./convert arc-easy-validation.bin arc-easy-validation.json
