ADS-Edit

ADS-Edit是一个专为自动驾驶系统设计的多模态知识编辑数据集，由浙江大学的研究团队创建。该数据集包含多种真实世界场景，涵盖视频、多视角图像和单张图像三种数据类型，旨在评估模型在自动驾驶场景下的知识编辑能力。数据集的构建经历了数据预处理、可靠性数据构建、泛化数据构建和局部性数据构建等步骤，并采用自动化流程结合人工审核确保数据质量。该数据集可应用于自动驾驶领域，解决大型多模态模型在直接应用于自动驾驶系统时面临的挑战。ADS-Edit is a multimodal knowledge editing dataset specifically designed for autonomous driving systems, created by the research team from Zhejiang University. This dataset covers a variety of real-world scenarios and includes three data types: video, multi-view images, and single images, aiming to evaluate the knowledge editing capabilities of models in autonomous driving scenarios. The construction of the dataset involves several steps including data preprocessing, reliability data construction, generalization data construction, and locality data construction, and adopts an automated workflow combined with manual review to ensure data quality. This dataset can be applied in the field of autonomous driving to address the challenges faced when large multimodal models are directly applied to autonomous driving systems.

原始信息汇总

EasyEdit 数据集概述

数据集简介

EasyEdit 是一个用于大型语言模型（LLM）知识编辑的框架，旨在通过特定的编辑技术调整模型的行为，使其在特定领域内的表现得到优化，同时不影响其他输入的性能。

数据集内容

编辑任务定义

• 知识插入：向模型中注入新的知识。
• 知识更新：更新模型中已有的过时知识。
• 知识擦除：擦除模型中的敏感信息。

编辑技术比较

EasyEdit 支持多种知识编辑技术，包括：

• Memory-based: SERAC, IKE, GRACE, MELO, WISE
• Meta-learning: MEND, InstructEdit, MALMEN
• Locate-then-edit: KN, ROME, MEMIT, PMET, DINM, R-ROME, EMMET
• FT-L

评估指标

• Reliability: 编辑成功率
• Generalization: 编辑范围内的成功率
• Locality: 编辑后对无关输入的影响
• Portability: 编辑在推理/应用中的成功率
• Efficiency: 时间和内存消耗

数据集版本

• 版本: v0.0.1
• 最新提交: May

数据集链接

• 论文: A Comprehensive Study of Knowledge Editing for Large Language Models
• 基准: KnowEdit
• 代码: EasyEdit GitHub

相关资源

• 文档: EasyEdit Doc
• 演示: EasyEdit Demo
• 教程: EasyEdit Slides
• 视频: EasyEdit Video

搜集汇总

数据集介绍

构建方式

CKnowEdit数据集的构建过程体现了对中文语言特性的深刻理解和细致考量。该数据集从多种来源收集了七种类型的知识，包括古典文本、成语和百度贴吧中的内容，这些来源充分反映了中文语言的独特性，如多音字、对仗和逻辑结构。数据集的构建不仅涉及对现有大型语言模型（如Qwen-7B-Chat）输出结果的错误识别和标注，还包括通过GPT-4模型生成准确答案，并经过人工审核以确保信息的准确性和相关性。最终，这些数据被组织成七种特定类型的中文知识，每种类型都反映了中文语言和文化的独特方面。

特点

CKnowEdit数据集的显著特点在于其对中文语言和文化特性的全面覆盖和深入解析。该数据集不仅包含了古典诗歌、谚语和成语等传统文学知识，还涵盖了语音标注、古典中文、地理知识和百度贴吧中的内容，这些内容共同构成了中文语言的丰富性和多样性。此外，数据集通过对比大型语言模型的错误输出和准确答案，揭示了当前模型在掌握中文知识方面的挑战，为知识编辑技术的评估和改进提供了宝贵的资源。

使用方法

CKnowEdit数据集的使用方法主要集中在对大型语言模型进行知识编辑和性能评估。研究者可以通过该数据集对模型进行微调，使用如FT-M、AdaLoRA、ROME和GRACE等知识编辑技术，以提高模型在中文文本上的准确性和一致性。数据集提供的评估指标包括编辑成功率、可移植性、局部性和流畅性，这些指标帮助研究者全面了解模型在不同知识类型上的表现。通过在CKnowEdit数据集上的实验，研究者可以探索和开发更适合中文语言特性的知识编辑方法，从而提升大型语言模型在中文处理任务中的表现。

背景与挑战

背景概述

CKnowEdit数据集由浙江大学和加利福尼亚大学圣地亚哥分校的研究团队于近年创建，旨在解决大型语言模型（LLMs）在处理中文知识时产生的幻觉问题。该数据集通过收集包括古典文本、成语和百度贴吧等内容，涵盖了中文语言特有的多音字、对仗和逻辑结构。CKnowEdit的推出不仅揭示了当前LLMs在掌握中文方面的挑战，还为评估和改进知识编辑技术提供了基准。该数据集的构建和分析为中文LLMs的实际应用提供了重要支持，凸显了提升中文LLMs能力以应对这些缺陷的迫切需求。

当前挑战

CKnowEdit数据集面临的挑战主要集中在两个方面：一是解决领域问题，即如何有效纠正和更新LLMs在中文知识处理中的错误；二是构建过程中遇到的挑战，包括如何确保数据的多样性和准确性，以及如何处理中文特有的语言和文化特征。具体挑战包括：1) 中文语言的复杂性，如多音字和丰富的文化背景，使得知识编辑更为复杂；2) 现有知识编辑方法主要集中在英文数据上，缺乏对中文特性的适应性；3) 数据收集和标注过程中需要高度的人工干预，以确保知识的准确性和文化相关性。这些挑战要求开发更为精细和专业的中文知识编辑技术，以提升LLMs在中文处理中的表现。

常用场景

经典使用场景

CKnowEdit数据集的经典使用场景在于评估和提升大型语言模型（LLMs）在处理中文知识时的准确性和可靠性。通过该数据集，研究者可以测试和改进模型在处理古典文本、成语、谚语等中文特有知识时的表现，确保模型在生成内容时能够准确反映中文语言和文化的独特性。

衍生相关工作

基于CKnowEdit数据集，研究者们开发了多种知识编辑技术，如FT-M、AdaLoRA、ROME和GRACE等，这些技术在提升模型对中文知识的理解和生成能力方面取得了显著进展。此外，CKnowEdit还激发了对多语言知识编辑技术的研究，推动了跨语言知识编辑方法的发展，为全球语言模型的改进提供了新的思路。

数据集最近研究

最新研究方向

在自然语言处理领域，大型语言模型（LLMs）在生成能力方面表现出色，但在处理特定语言和领域时仍存在幻觉问题。CKnowEdit数据集的最新研究方向聚焦于通过知识编辑技术纠正中文知识，特别是在古典文本、成语和百度贴吧等内容中的误差。该研究揭示了当前LLMs在掌握中文方面的挑战，并评估了最先进的知识编辑技术在该数据集上的表现，强调了在中文知识修正方面的显著改进空间。这一研究不仅提升了LLMs在中文处理中的准确性和可靠性，还为跨语言知识编辑提供了新的视角和方法。

相关研究论文

• Benchmarking Chinese Knowledge Rectification in Large Language Models

  浙江大学 · 2024年