nics-efc/MoA_Long_HumanQA
收藏Hugging Face2024-06-19 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/nics-efc/MoA_Long_HumanQA
下载链接
链接失效反馈官方服务：
资源简介：
该数据集用于自动稀疏注意力压缩方法MoA，通过整合长距离依赖和模型对齐来增强校准数据集。数据集包含由人类编写的问答对，这些问答对严重依赖于长距离内容。大型语言模型（LLMs）应被用来生成答案，并作为模型压缩的监督。与当前采用人类响应作为参考来计算损失的方法相比，使用原始模型生成的响应作为监督可以促进准确的影响分析，从而有利于压缩结果。
该数据集用于自动稀疏注意力压缩方法MoA，通过整合长距离依赖和模型对齐来增强校准数据集。数据集包含由人类编写的问答对，这些问答对严重依赖于长距离内容。大型语言模型（LLMs）应被用来生成答案，并作为模型压缩的监督。与当前采用人类响应作为参考来计算损失的方法相比，使用原始模型生成的响应作为监督可以促进准确的影响分析，从而有利于压缩结果。
提供机构：
nics-efc
