有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
UALIGN|自然语言处理数据集|知识问答数据集
收藏arXiv2024-12-16 更新2024-12-19 收录
下载链接：
https://github.com/AmourWaltz/UAlign
下载链接
链接失效反馈资源简介：
UALIGN数据集是由香港中文大学、华为诺亚方舟实验室等机构联合创建的知识问答数据集，旨在通过不确定性估计来提升大语言模型（LLMs）的事实表达能力。该数据集通过采样多个响应并计算置信度和语义熵来捕捉知识边界，从而帮助模型更好地表达已知事实并拒绝未知问题。数据集的创建过程包括对知识问答对的多次采样和不确定性度量，最终用于训练奖励模型和进行事实对齐。UALIGN数据集主要应用于提升LLMs在事实表达上的准确性和可靠性，特别是在处理模糊知识边界时，帮助模型避免幻觉问题。
提供机构：
香港中文大学, 华为诺亚方舟实验室, 香港大学, 香港理工大学, 香港科技大学广州
创建时间：
2024-12-16
AI搜集汇总
数据集介绍
构建方式
UALIGN数据集的构建基于知识问答（QA）样本，通过计算两种不确定性估计——置信度分数和语义熵，来表示大语言模型（LLMs）的知识边界。首先，通过不同的提示和温度采样策略生成多个回答，然后计算每个问题的置信度和语义熵。如果至少有一个回答是正确的，则该问题被视为‘已知’；如果所有回答都是错误的，则被视为‘未知’。为了明确区分已知和未知事实，未知问题的真实答案被修改为拒绝回答。
特点
UALIGN数据集的主要特点在于其通过置信度分数和语义熵来精确捕捉LLMs的知识边界。这两种不确定性估计方法相互补充，能够反映生成回答的可信度和分散程度。此外，数据集中的每个问题都标注了已知或未知状态，并提供了拒绝回答的样本，从而帮助模型更好地理解其知识边界。
使用方法
UALIGN数据集可用于训练和评估大语言模型的知识对齐能力。首先，通过监督微调（SFT）训练不确定性估计模型，预测置信度和语义熵。随后，利用这些估计值训练奖励模型，并通过近端策略优化（PPO）算法进一步优化模型，使其能够生成更可靠的回答。实验表明，结合置信度和语义熵的提示能够显著提升模型在已知和未知问题上的表现。
背景与挑战
背景概述
UALIGN数据集由香港中文大学、华为诺亚方舟实验室等多个研究机构共同开发，旨在解决大型语言模型（LLMs）在表达事实知识时面临的模糊知识边界问题。该数据集通过计算置信度分数和语义熵来表示LLMs的知识边界，并将其作为输入特征用于LLMs的事实对齐。UALIGN框架的核心研究问题是如何利用不确定性估计来提升LLMs在已知和未知问题上的表达能力，从而减少幻觉现象并提高模型的可靠性。该数据集的创建为LLMs的训练和评估提供了新的方向，尤其在知识问答任务中具有重要的应用价值。
当前挑战
UALIGN数据集在构建过程中面临的主要挑战包括：首先，如何准确捕捉LLMs的知识边界，这需要通过不确定性估计方法来量化模型的置信度和语义熵。其次，在数据集构建过程中，如何通过多次采样和温度采样策略来平衡答案的准确性和多样性，以确保知识边界的精确表示。此外，如何在训练过程中有效利用这些不确定性估计来提升模型的对齐能力，尤其是在面对未知问题时，如何让模型能够自信地拒绝回答，也是一个重要的挑战。最后，如何在不同领域和任务中验证UALIGN框架的泛化能力，确保其在跨领域任务中的可靠性，也是该数据集面临的一个重要问题。
常用场景
经典使用场景
UALIGN数据集的经典使用场景主要集中在大型语言模型（LLMs）的事实性对齐任务中。通过引入不确定性估计，UALIGN数据集帮助模型在回答问题时能够更好地识别其知识边界，从而提高回答的准确性和可靠性。具体而言，该数据集通过计算置信度分数和语义熵来捕捉LLMs的知识边界，并将其作为输入特征用于模型的训练和优化，从而使模型能够在已知和未知问题上表现出更高的自信度和拒绝能力。
衍生相关工作
UALIGN数据集的提出催生了一系列相关研究工作，特别是在大型语言模型的事实性对齐和不确定性估计领域。相关工作包括通过知识边界反馈进行强化学习（RLKF）、直接偏好优化（RL-DPO）等方法，这些方法都旨在通过不同的方式提升模型的可靠性和事实性。此外，UALIGN框架还启发了对模型内部状态的进一步研究，特别是在如何通过不确定性估计来增强模型的自我评估能力方面。这些衍生工作进一步推动了大型语言模型在事实性表达和可靠性提升方面的研究进展。
数据集最近研究
最新研究方向
UALIGN数据集的最新研究方向主要集中在利用不确定性估计来提升大语言模型（LLMs）的事实表达能力。研究者们通过引入不确定性估计，如置信度分数和语义熵，来捕捉LLMs的知识边界，并将其作为输入特征嵌入到提示中，从而实现对事实知识的对齐。实验结果表明，UALIGN框架能够显著增强LLMs在已知问题上的回答自信度，并在未知问题上拒绝回答，从而提高模型的可靠性和泛化能力。这一研究为未来LLMs的训练提供了新的方向，尤其是在如何精确捕捉知识边界并提升模型事实表达的准确性方面。
相关研究论文
- 1UAlign: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models香港中文大学, 华为诺亚方舟实验室, 香港大学, 香港理工大学, 香港科技大学广州 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
学生课堂行为数据集 (SCB-dataset3)
学生课堂行为数据集(SCB-dataset3)由成都东软学院创建，包含5686张图像和45578个标签，重点关注六种行为：举手、阅读、写作、使用手机、低头和趴桌。数据集覆盖从幼儿园到大学的不同场景，通过YOLOv5、YOLOv7和YOLOv8算法评估，平均精度达到80.3%。该数据集旨在为学生行为检测研究提供坚实基础，解决教育领域中学生行为数据集的缺乏问题。
arXiv 收录
中国空气质量数据集（2014-2020年）
数据集中的空气质量数据类型包括PM2.5, PM10, SO2, NO2, O3, CO, AQI，包含了2014-2020年全国360个城市的逐日空气质量监测数据。监测数据来自中国环境监测总站的全国城市空气质量实时发布平台，每日更新。数据集的原始文件为CSV的文本记录，通过空间化处理生产出Shape格式的空间数据。数据集包括CSV格式和Shape格式两数数据格式。
国家地球系统科学数据中心 收录
VisDrone2019
VisDrone2019数据集由AISKYEYE团队在天津大学机器学习和数据挖掘实验室收集，包含288个视频片段共261,908帧和10,209张静态图像。数据集覆盖了中国14个不同城市的城市和乡村环境，包括行人、车辆、自行车等多种目标，以及稀疏和拥挤场景。数据集使用不同型号的无人机在各种天气和光照条件下收集，手动标注了超过260万个目标边界框，并提供了场景可见性、对象类别和遮挡等重要属性。
github 收录
AgiBot World
为了进一步推动通用具身智能领域研究进展，让高质量机器人数据触手可及，作为上海模塑申城语料普惠计划中的一份子，智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思，重磅发布全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目 AgiBot World。这一里程碑式的开源项目，旨在构建国际领先的开源技术底座，标志着具身智能领域 「ImageNet 时刻」已到来。AgiBot World 是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。相比于 Google 开源的 Open X-Embodiment 数据集，AgiBot World 的长程数据规模高出 10 倍，场景范围覆盖面扩大 100 倍，数据质量从实验室级上升到工业级标准。AgiBot World 数据集收录了八十余种日常生活中的多样化技能，从抓取、放置、推、拉等基础操作，到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互，几乎涵盖了日常生活所需的绝大多数动作需求。
github 收录
Traditional-Chinese-Medicine-Dataset-SFT
该数据集是一个高质量的中医数据集，主要由非网络来源的内部数据构成，包含约1GB的中医各个领域临床案例、名家典籍、医学百科、名词解释等优质内容。数据集99%为简体中文内容，质量优异，信息密度可观。数据集适用于预训练或继续预训练用途，未来将继续发布针对SFT/IFT的多轮对话和问答数据集。数据集可以独立使用，但建议先使用配套的预训练数据集对模型进行继续预训练后，再使用该数据集进行进一步的指令微调。数据集还包含一定比例的中文常识、中文多轮对话数据以及古文/文言文<->现代文翻译数据，以避免灾难性遗忘并加强模型表现。
huggingface 收录