有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
HAUR-5|多模态学习数据集|视觉问答数据集
收藏arXiv2024-12-24 更新2024-12-26 收录
下载链接：
http://arxiv.org/abs/2412.18327v1
下载链接
链接失效反馈资源简介：
HAUR-5数据集由厦门大学的研究团队创建，旨在解决多模态模型在理解文本密集图像中人类注释时的局限性。该数据集包含37,702张图像，涵盖了五种常见的人类注释类型，包括高亮、下划线、波浪线、矩形框和段落标记。数据集的创建过程包括从无版权的经典小说中提取文本块，并对其进行注释，最终将注释后的文本转换为图像。该数据集的应用领域主要集中在视觉问答任务，旨在帮助模型更准确地理解和回答与人类注释相关的问题，提升多模态模型在实际场景中的应用效果。
提供机构：
厦门大学
创建时间：
2024-12-24
AI搜集汇总
数据集介绍
构建方式
HAUR-5数据集的构建基于对文本密集型图像中人类注释的理解与识别需求。研究者从Project Gutenberg网站选取了16部经典小说，将其内容分割为不超过500个token的文本块，并应用了五种常见的人类注释类型：高亮、下划线、波浪下划线、矩形框和段落标记。为了模拟人类注释中的不精确性，研究者在注释过程中引入了噪声，例如将注释扩展到相邻句子的部分内容。随后，这些注释后的文本被转换为PDF格式，并进一步转化为图像。最终，数据集包含37,702张图像，涵盖了五种注释类型，确保了数据集的多样性和实用性。
使用方法
HAUR-5数据集的使用方法主要围绕视觉问答任务展开。研究者首先利用OCR技术从图像中提取文本信息，并将其作为模型的文本输入。随后，通过预训练的视觉编码器提取图像特征，并结合多模态特征融合模块，将文本和图像特征进行整合。最终，模型通过解码器生成目标文本输出。该数据集的使用不仅限于视觉问答任务，还可以作为多模态模型的辅助工具，帮助纯语言模型理解图像中的文本信息。通过这种方式，HAUR-5数据集为提升模型在复杂注释场景中的表现提供了有力支持。
背景与挑战
背景概述
HAUR-5数据集由厦门大学的Yuchen Yang、Haoran Yan、Yanhao Chen、Qingqiang Wu和Qingqi Hong等人于2024年提出，旨在解决视觉问答（VQA）任务中模型在理解文本密集型图像中人类标注时的局限性。该数据集包含了37,702张图像，涵盖了五种常见的人类标注类型，如高亮、下划线、波浪线、矩形框和段落标记。HAUR-5的提出填补了现有VQA数据集在处理人类标注时的空白，推动了多模态模型在理解复杂标注场景中的发展。通过引入OCR-Mix模型，研究人员展示了该数据集在提升模型标注识别能力方面的显著效果。
当前挑战
HAUR-5数据集面临的挑战主要集中在两个方面。首先，在领域问题方面，现有的VQA模型在处理文本密集型图像时，往往难以准确理解人类标注的意图，导致在回答问题时出现偏差或错误。例如，模型可能无法识别标注所指的具体问题，从而给出无关或错误的答案。其次，在数据集构建过程中，研究人员需要模拟人类标注的不精确性，引入噪声以增强数据集的真实性。此外，如何确保标注类型的多样性和代表性，以及如何通过OCR技术有效提取图像中的文本信息，也是构建过程中的关键挑战。这些挑战要求模型具备更强的多模态融合能力和鲁棒性，以应对复杂的现实场景。
常用场景
经典使用场景
HAUR-5数据集在视觉问答（VQA）任务中具有广泛的应用，尤其是在处理包含大量文本的图像时。该数据集通过模拟人类在文本图像上的五种常见标注方式，如高亮、下划线、波浪线、矩形框和段落标记，为模型提供了丰富的训练数据。这些标注方式能够帮助模型更好地理解图像中的文本信息，并在回答问题时准确识别用户所指的具体内容。
解决学术问题
HAUR-5数据集解决了现有VQA模型在处理文本密集型图像时无法准确理解人类标注的难题。通过引入OCR-Mix模型，该数据集不仅提升了模型对图像中文本的识别能力，还增强了模型对标注信息的理解。这一突破为多模态模型在处理复杂文本图像任务中的表现提供了新的研究方向，推动了视觉与语言融合领域的发展。
实际应用
在实际应用中，HAUR-5数据集能够显著提升教育、文档处理等领域的智能化水平。例如，在教育场景中，学生可以通过标注试卷中的问题，向模型提问并获得准确的解答。在文档处理中，模型能够自动识别并提取标注的关键信息，提高工作效率。这些应用场景展示了该数据集在现实世界中的广泛潜力。
数据集最近研究
最新研究方向
在视觉问答（VQA）领域，HAUR-5数据集的引入标志着对人类标注理解的深入研究。该数据集专注于文本密集图像中的人类标注识别，涵盖了五种常见标注类型，旨在提升多模态模型在复杂场景下的表现。随着大语言模型（LLM）和多模态模型的快速发展，HAUR-5为模型提供了更贴近现实的应用场景，尤其是在教育、文档处理等领域的实际需求中。通过OCR-Mix模型的提出，研究者成功将OCR技术与图像特征融合，显著提升了模型在标注识别任务中的准确性和鲁棒性。这一研究不仅填补了现有VQA模型在人类标注理解上的空白，还为未来多模态模型的优化提供了新的方向。
相关研究论文
- 1HAUR: Human Annotation Understanding and Recognition Through Text-Heavy Images厦门大学 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国劳动力动态调查
“中国劳动力动态调查” （China Labor-force Dynamics Survey，简称 CLDS）是“985”三期“中山大学社会科学特色数据库建设”专项内容，CLDS的目的是通过对中国城乡以村/居为追踪范围的家庭、劳动力个体开展每两年一次的动态追踪调查，系统地监测村/居社区的社会结构和家庭、劳动力个体的变化与相互影响，建立劳动力、家庭和社区三个层次上的追踪数据库，从而为进行实证导向的高质量的理论研究和政策研究提供基础数据。
中国学术调查数据资料库 收录
中国1km分辨率逐月降水量数据集（1901-2024）
该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2024.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。
国家青藏高原科学数据中心 收录
中国交通事故深度调查（CIDAS）数据集
交通事故深度调查数据通过采用科学系统方法现场调查中国道路上实际发生交通事故相关的道路环境、道路交通行为、车辆损坏、人员损伤信息，以探究碰撞事故中车损和人伤机理。目前已积累深度调查事故10000余例，单个案例信息包含人、车 、路和环境多维信息组成的3000多个字段。该数据集可作为深入分析中国道路交通事故工况特征，探索事故预防和损伤防护措施的关键数据源，为制定汽车安全法规和标准、完善汽车测评试验规程、
北方大数据交易中心 收录
HazyDet
HazyDet是由解放军工程大学等机构创建的一个大规模数据集，专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例，收集自自然雾霾环境和正常场景中人工添加的雾霾效果，以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型，确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测，旨在提高无人机在复杂环境中的感知能力。
arXiv 收录
中国近海台风路径集合数据集(1945-2024)
1945-2024年度，中国近海台风路径数据集，包含每个台风的真实路径信息、台风强度、气压、中心风速、移动速度、移动方向。 数据源为获取温州台风网(http://www.wztf121.com/)的真实观测路径数据，经过处理整合后形成文件，如使用csv文件需使用文本编辑器打开浏览，否则会出现乱码，如要使用excel查看数据，请使用xlsx的格式。
国家海洋科学数据中心 收录