有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
LaRA|自然语言处理数据集|文本分析数据集
收藏arXiv2025-02-14 更新2025-02-18 收录
下载链接：
https://github.com/likuanppd/LaRA
下载链接
链接失效反馈资源简介：
LaRA数据集是由香港科技大学、阿里巴巴集团通用人工智能实验室和宾夕法尼亚州立大学共同创建的，包含2326个测试案例，跨越四个实际问答任务类别，涵盖三种自然发生的长文本类型。该数据集旨在为评估长文本处理能力提供严格的基准，包含小说、学术论文和财务报表等不同写作风格和信息密度的长文本。LaRA的任务设计考虑到定位信息、比较文本不同部分、内容推理和检测虚构内容等方面，以全面评估LC LLMs和RAG的能力。
提供机构：
香港科技大学, 阿里巴巴集团通用人工智能实验室, 宾夕法尼亚州立大学
创建时间：
2025-02-14
AI搜集汇总
数据集介绍
构建方式
LaRA 数据集的构建旨在提供一个公正的比较平台，用于评估 Retrieval-Augmented Generation (RAG) 和 Long-Context (LC) 语言模型在处理外部知识方面的能力。数据集涵盖了四种实际的问答任务类别，并包括三种自然发生的长文本类型，如小说、学术论文和财务报表。为了确保评估的准确性和可靠性，LaRA 使用 GPT-4o 作为判断模型预测正确性的工具，并通过计算 Cohen’s Kappa 系数来验证 LLM 和人工评估之间的一致性。
特点
LaRA 数据集的特点在于其多样性、自然性和实用性。它包含了多种类型的长文本，以反映真实世界的使用场景，并确保了所有问题都具有明确的答案，以便进行准确的评估。此外，LaRA 中的问题设计旨在反映人类在实际使用语言模型时可能提出的问题，从而提高了数据集的实用价值。
使用方法
使用 LaRA 数据集的方法包括：首先，根据数据集的统计信息选择合适的上下文长度和任务类型；其次，使用 GPT-4o 生成 QA 对，并对其进行人工验证，以确保其正确性和实用性；最后，使用 LLM 作为评估工具，通过比较 RAG 和 LC 模型的性能，为实践者提供有价值的指导。
背景与挑战
背景概述
随着大型语言模型（LLM）在各个领域展现出卓越能力，如何有效地将外部知识融入LLM，以增强其功能并满足现实世界需求，成为了一个关键的研究课题。检索增强生成（RAG）作为一种有效方法，通过检索最相关的片段来增强LLM的能力。然而，随着LLM上下文窗口大小的提升，直接将相关信息完整输入模型成为一种新的可能，这引发了RAG是否仍然是处理外部知识的必要手段的疑问。为了解决这一问题，研究人员提出了LaRA数据集，这是一个专门设计的基准，用于严格比较RAG和长上下文（LC）LLM。LaRA包括跨越四个实用问答任务类别和三种自然发生的长文本类型的2,326个测试案例。通过对七个开源和四个私有LLM的系统评估，研究发现，RAG和LC之间的最佳选择取决于模型参数大小、长文本能力、上下文长度、任务类型以及检索片段的特征之间的复杂相互作用。这些发现为实践者提供了有效利用RAG和LC方法来开发和部署LLM应用的行动指南。
当前挑战
LaRA数据集面临的主要挑战包括：1) 所解决的领域问题，即如何有效比较RAG和LC LLM；2) 构建过程中所遇到的挑战，如确保上下文长度最大化、使用自然发生的长文本、确保问题需要从提供的上下文中获取信息、问题具有明确的答案以及问题反映现实世界的查询场景。为了解决这些问题，LaRA在构建时遵循了以下准则：上下文长度应在LLM的输入限制内最大化，以避免截断可能掩盖模型真实能力的问题；上下文应由自然发生的长文本组成，以反映现实世界的使用场景；回答问题应要求从提供的上下文中获取信息，确保LLM不能仅凭其内部知识回答；问题应具有明确的答案，以便使用LLM进行准确评估；问题应反映人类在现实世界中可能提出的实际查询。
常用场景
经典使用场景
LaRA 数据集被设计用来评估和比较长文本理解和生成任务中的检索增强生成（RAG）和长上下文（LC）语言模型（LLM）。通过包含四种实践性的问答任务类别和三种类型的自然发生的长文本，LaRA 为研究者和实践者提供了一个基准，以评估和比较不同模型在处理长文本信息时的性能。数据集的经典使用场景包括评估不同规模的模型、不同长度的上下文、不同类型的任务以及检索到的文本块的特征对模型性能的影响。
解决学术问题
LaRA 数据集解决了现有基准设计中存在的局限性，如上下文长度不足、数据泄露、不合理的评估指标以及缺乏专门的基准等问题。这些问题导致了对 RAG 和 LC 模型性能的不确定比较。LaRA 通过提供更长的上下文、自然发生的长文本、明确的问答任务以及自动和手动验证的评估方法，为研究者和实践者提供了一个更可靠和全面的基准。
衍生相关工作
LaRA 数据集衍生了多种相关的工作，包括改进的检索算法、更精确的评估指标和更有效的模型设计。例如，一些研究者利用 LaRA 数据集来改进检索算法，以提高检索相关信息的准确性。另外一些研究者利用 LaRA 数据集来开发更精确的评估指标，以更准确地评估模型的性能。还有一些研究者利用 LaRA 数据集来设计更有效的模型，以提高模型在处理长文本信息时的性能。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
Nexdata/chinese_dialect
该数据集包含25,000小时的中文方言语音数据，收集自多个方言区域的本地方言使用者，涵盖闽南语、粤语、四川话、河南话、东北话、上海话、维吾尔语和藏语等。数据格式为16kHz、16bit、未压缩的wav文件，单声道。句子准确率超过95%。数据集支持的任务包括自动语音识别（ASR）和音频说话人识别。
hugging_face 收录
全国兴趣点（POI）数据
POI（Point of Interest），即兴趣点，一个POI可以是餐厅、超市、景点、酒店、车站、停车场等。兴趣点通常包含四方面信息，分别为名称、类别、坐标、分类。其中，分类一般有一级分类和二级分类，每个分类都有相应的行业的代码和名称一一对应。 POI包含的信息及其衍生信息主要包含三个部分：
CnOpenData 收录
CE-CSL
CE-CSL数据集是由哈尔滨工程大学智能科学与工程学院创建的中文连续手语数据集，旨在解决现有数据集在复杂环境下的局限性。该数据集包含5,988个从日常生活场景中收集的连续手语视频片段，涵盖超过70种不同的复杂背景，确保了数据集的代表性和泛化能力。数据集的创建过程严格遵循实际应用导向，通过收集大量真实场景下的手语视频材料，覆盖了广泛的情境变化和环境复杂性。CE-CSL数据集主要应用于连续手语识别领域，旨在提高手语识别技术在复杂环境中的准确性和效率，促进聋人与听人社区之间的无障碍沟通。
arXiv 收录
NIST Thermochemical Database
NIST Thermochemical Database（NIST热化学数据库）是一个包含大量热化学数据的数据集，涵盖了各种化学物质的热力学性质，如焓、熵、自由能等。该数据库由美国国家标准与技术研究院（NIST）维护，旨在为科学研究和工业应用提供准确的热化学数据。
webbook.nist.gov 收录
highD
highD数据集是由亚琛工业大学汽车工程研究所创建的，旨在为高度自动化驾驶系统的安全验证提供大规模自然车辆轨迹数据。该数据集包含从德国高速公路收集的16.5小时测量数据，涵盖110,000辆车，总行驶距离达45,000公里，记录了5600次完整的变道行为。数据集通过配备高分辨率摄像头的无人机从空中视角进行测量，确保了数据的准确性和自然性。highD数据集不仅用于安全验证和影响评估，还支持交通模拟模型、交通分析、驾驶员模型和道路用户预测模型等领域的研究，旨在解决高度自动化驾驶系统在复杂交通环境中的应用问题。
arXiv 收录