有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
HAUR-5|多模态学习数据集|视觉问答数据集
收藏arXiv2024-12-24 更新2024-12-26 收录
下载链接：
http://arxiv.org/abs/2412.18327v1
下载链接
链接失效反馈资源简介：
HAUR-5数据集由厦门大学的研究团队创建，旨在解决多模态模型在理解文本密集图像中人类注释时的局限性。该数据集包含37,702张图像，涵盖了五种常见的人类注释类型，包括高亮、下划线、波浪线、矩形框和段落标记。数据集的创建过程包括从无版权的经典小说中提取文本块，并对其进行注释，最终将注释后的文本转换为图像。该数据集的应用领域主要集中在视觉问答任务，旨在帮助模型更准确地理解和回答与人类注释相关的问题，提升多模态模型在实际场景中的应用效果。
提供机构：
厦门大学
创建时间：
2024-12-24
AI搜集汇总
数据集介绍
构建方式
HAUR-5数据集的构建基于对文本密集型图像中人类注释的理解与识别需求。研究者从Project Gutenberg网站选取了16部经典小说，将其内容分割为不超过500个token的文本块，并应用了五种常见的人类注释类型：高亮、下划线、波浪下划线、矩形框和段落标记。为了模拟人类注释中的不精确性，研究者在注释过程中引入了噪声，例如将注释扩展到相邻句子的部分内容。随后，这些注释后的文本被转换为PDF格式，并进一步转化为图像。最终，数据集包含37,702张图像，涵盖了五种注释类型，确保了数据集的多样性和实用性。
使用方法
HAUR-5数据集的使用方法主要围绕视觉问答任务展开。研究者首先利用OCR技术从图像中提取文本信息，并将其作为模型的文本输入。随后，通过预训练的视觉编码器提取图像特征，并结合多模态特征融合模块，将文本和图像特征进行整合。最终，模型通过解码器生成目标文本输出。该数据集的使用不仅限于视觉问答任务，还可以作为多模态模型的辅助工具，帮助纯语言模型理解图像中的文本信息。通过这种方式，HAUR-5数据集为提升模型在复杂注释场景中的表现提供了有力支持。
背景与挑战
背景概述
HAUR-5数据集由厦门大学的Yuchen Yang、Haoran Yan、Yanhao Chen、Qingqiang Wu和Qingqi Hong等人于2024年提出，旨在解决视觉问答（VQA）任务中模型在理解文本密集型图像中人类标注时的局限性。该数据集包含了37,702张图像，涵盖了五种常见的人类标注类型，如高亮、下划线、波浪线、矩形框和段落标记。HAUR-5的提出填补了现有VQA数据集在处理人类标注时的空白，推动了多模态模型在理解复杂标注场景中的发展。通过引入OCR-Mix模型，研究人员展示了该数据集在提升模型标注识别能力方面的显著效果。
当前挑战
HAUR-5数据集面临的挑战主要集中在两个方面。首先，在领域问题方面，现有的VQA模型在处理文本密集型图像时，往往难以准确理解人类标注的意图，导致在回答问题时出现偏差或错误。例如，模型可能无法识别标注所指的具体问题，从而给出无关或错误的答案。其次，在数据集构建过程中，研究人员需要模拟人类标注的不精确性，引入噪声以增强数据集的真实性。此外，如何确保标注类型的多样性和代表性，以及如何通过OCR技术有效提取图像中的文本信息，也是构建过程中的关键挑战。这些挑战要求模型具备更强的多模态融合能力和鲁棒性，以应对复杂的现实场景。
常用场景
经典使用场景
HAUR-5数据集在视觉问答（VQA）任务中具有广泛的应用，尤其是在处理包含大量文本的图像时。该数据集通过模拟人类在文本图像上的五种常见标注方式，如高亮、下划线、波浪线、矩形框和段落标记，为模型提供了丰富的训练数据。这些标注方式能够帮助模型更好地理解图像中的文本信息，并在回答问题时准确识别用户所指的具体内容。
解决学术问题
HAUR-5数据集解决了现有VQA模型在处理文本密集型图像时无法准确理解人类标注的难题。通过引入OCR-Mix模型，该数据集不仅提升了模型对图像中文本的识别能力，还增强了模型对标注信息的理解。这一突破为多模态模型在处理复杂文本图像任务中的表现提供了新的研究方向，推动了视觉与语言融合领域的发展。
实际应用
在实际应用中，HAUR-5数据集能够显著提升教育、文档处理等领域的智能化水平。例如，在教育场景中，学生可以通过标注试卷中的问题，向模型提问并获得准确的解答。在文档处理中，模型能够自动识别并提取标注的关键信息，提高工作效率。这些应用场景展示了该数据集在现实世界中的广泛潜力。
数据集最近研究
最新研究方向
在视觉问答（VQA）领域，HAUR-5数据集的引入标志着对人类标注理解的深入研究。该数据集专注于文本密集图像中的人类标注识别，涵盖了五种常见标注类型，旨在提升多模态模型在复杂场景下的表现。随着大语言模型（LLM）和多模态模型的快速发展，HAUR-5为模型提供了更贴近现实的应用场景，尤其是在教育、文档处理等领域的实际需求中。通过OCR-Mix模型的提出，研究者成功将OCR技术与图像特征融合，显著提升了模型在标注识别任务中的准确性和鲁棒性。这一研究不仅填补了现有VQA模型在人类标注理解上的空白，还为未来多模态模型的优化提供了新的方向。
相关研究论文
- 1HAUR: Human Annotation Understanding and Recognition Through Text-Heavy Images厦门大学 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国区域地面气象要素驱动数据集 v2.0（1951-2024）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 74 年（1951~2024 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 74 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致，仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新，以修正其长期趋势存在的问题。
国家青藏高原科学数据中心 收录
中国交通事故深度调查（CIDAS）数据集
交通事故深度调查数据通过采用科学系统方法现场调查中国道路上实际发生交通事故相关的道路环境、道路交通行为、车辆损坏、人员损伤信息，以探究碰撞事故中车损和人伤机理。目前已积累深度调查事故10000余例，单个案例信息包含人、车 、路和环境多维信息组成的3000多个字段。该数据集可作为深入分析中国道路交通事故工况特征，探索事故预防和损伤防护措施的关键数据源，为制定汽车安全法规和标准、完善汽车测评试验规程、
北方大数据交易中心 收录
GVJahnavi/Crops_set
该数据集包含图像和标签两个主要特征。图像特征的数据类型为图像，标签特征的数据类型为类标签，具体包括20种不同的植物病害和健康状态，如玉米的灰斑病、普通锈病、北方叶枯病，以及番茄的细菌性斑点病、早疫病、晚疫病等。数据集分为训练集和测试集，训练集包含25384个样本，测试集包含6346个样本。数据集的下载大小为514893426字节，总大小为474216412.07000005字节。
hugging_face 收录
VisDrone 2021
VisDrone2021 数据集由天津大学机器学习与数据挖掘实验室 AISKYEYE 团队收集。基准数据集由 400 个视频片段组成，由 265,228 帧和 10,209 张静态图像组成，由各种无人机摄像头拍摄，涵盖了广泛的方面，包括位置（取自中国相隔数千公里的 14 个不同城市）、环境（城市和乡村）、物体（行人、车辆、自行车等）和密度（稀疏和拥挤的场景）。请注意，数据集是使用各种无人机平台（即具有不同型号的无人机）、在不同场景以及各种天气和照明条件下收集的。这些框架使用超过 260 万个边界框或经常感兴趣的目标点进行手动注释，例如行人、汽车、自行车和三轮车。为了更好地利用数据，还提供了一些重要的属性，包括场景可见性、对象类别和遮挡。
OpenDataLab 收录
CWD30
CWD30包含超过219,770张20种杂草和10种作物的高分辨率图像，涵盖了不同的生长阶段、多个观察角度和环境条件。这些图像是从不同地理位置和季节的多样化农业领域收集的，确保了数据集的代表性。
github 收录