five

TREC|信息检索数据集|研究数据集数据集

收藏
trec.nist.gov2024-10-25 收录
信息检索
研究数据集
下载链接:
https://trec.nist.gov/
下载链接
链接失效反馈
资源简介:
TREC(文本检索会议)数据集是一个广泛使用的信息检索研究数据集,包含多个任务和子集,如TREC Ad Hoc、TREC QA、TREC Legal等。这些数据集通常包括查询、文档集合和评估指标,用于评估和比较不同的信息检索算法和技术。
提供机构:
trec.nist.gov
AI搜集汇总
数据集介绍
main_image_url
构建方式
TREC数据集的构建基于一系列信息检索会议(Text REtrieval Conference, TREC),这些会议自1992年以来每年举办一次。数据集的构建过程包括收集大量的文本数据,涵盖新闻文章、网页内容、问答系统输入等多种类型。每个文档都经过严格的标注和分类,以确保数据的高质量和多样性。此外,TREC数据集还包含了大量的查询任务,这些任务由专家设计,旨在模拟真实世界中的信息检索需求。
特点
TREC数据集以其广泛的主题覆盖和高质量的标注著称。数据集中的文档和查询任务涵盖了从新闻报道到科技文献的多个领域,为研究者提供了丰富的实验材料。此外,TREC数据集的多样性体现在其包含了多种类型的查询任务,如精确检索、模糊检索和问答系统测试等,这使得该数据集在信息检索领域的研究中具有极高的实用价值。
使用方法
TREC数据集主要用于信息检索系统的评估和开发。研究者可以通过使用该数据集来测试和优化他们的检索算法,评估其在不同查询任务上的表现。此外,TREC数据集还可以用于训练和验证机器学习模型,特别是在自然语言处理和信息检索领域。使用TREC数据集时,研究者需要遵循其提供的标准评估协议,以确保结果的可比性和公正性。
背景与挑战
背景概述
TREC(Text REtrieval Conference)数据集自1992年起由美国国家标准与技术研究院(NIST)主办,旨在推动文本检索技术的研究与发展。该数据集汇集了大量文本数据,涵盖了从新闻文章到科学文献等多种类型,为研究人员提供了一个标准化的测试平台。TREC不仅促进了信息检索领域的算法创新,还为学术界和工业界提供了一个交流与合作的桥梁,极大地推动了相关技术的实际应用。
当前挑战
TREC数据集在构建过程中面临诸多挑战。首先,数据来源的多样性和复杂性要求对不同类型的文本进行有效的分类和标注。其次,随着数据规模的不断扩大,如何高效地存储和处理海量数据成为一大难题。此外,数据集的更新频率高,需要持续的技术支持和维护。最后,确保数据的质量和一致性,以满足不同研究需求,也是一项艰巨的任务。
发展历史
创建时间与更新
TREC数据集,全称为Text REtrieval Conference,创建于1992年,由美国国家标准与技术研究院(NIST)主办。自创建以来,TREC每年都会进行更新和扩展,以反映信息检索领域的最新进展。
重要里程碑
TREC数据集的重要里程碑包括1999年引入的TREC-8会议,该会议首次引入了Web Track,标志着信息检索研究从传统文本向网络搜索的转变。2004年,TREC-13会议引入了Blog Track,进一步扩展了数据集的应用领域。此外,2010年的TREC-19会议引入了Microblog Track,这是对实时信息检索技术的一次重大挑战,推动了社交媒体数据检索的研究。
当前发展情况
当前,TREC数据集已成为信息检索领域最具影响力的基准数据集之一。它不仅为研究人员提供了丰富的测试数据,还通过每年举办的TREC会议,促进了学术界与工业界的交流与合作。TREC的持续更新和扩展,确保了其能够反映信息检索技术的最新趋势,如大数据、机器学习和自然语言处理等新兴技术的融合。TREC的贡献不仅在于其数据集本身,更在于其推动了信息检索理论与实践的不断进步,为全球信息检索社区提供了一个共享和协作的平台。
发展历程
  • TREC(文本检索会议)首次由美国国家标准与技术研究院(NIST)和美国国防部高级研究计划局(DARPA)联合举办,标志着文本检索领域的一个重要里程碑。
    1992年
  • TREC首次引入主题跟踪任务,旨在评估系统在处理动态信息流中的表现。
    1993年
  • TREC引入了网页检索任务,这是首次在文本检索会议中专门针对网页数据进行评估。
    1996年
  • TREC增加了问答系统任务,推动了自动问答技术的发展。
    2000年
  • TREC引入了博客检索任务,反映了互联网内容多样化的趋势。
    2004年
  • TREC增加了实时系统任务,强调了对实时信息处理的需求。
    2008年
  • TREC引入了微博检索任务,进一步扩展了其评估范围至社交媒体领域。
    2011年
  • TREC增加了大规模数据检索任务,反映了大数据时代对检索技术的新挑战。
    2016年
  • TREC继续扩展其任务范围,包括了跨语言检索和多模态检索,以适应信息检索技术的多元化发展。
    2020年
常用场景
经典使用场景
在信息检索领域,TREC(Text REtrieval Conference)数据集被广泛用于评估和比较不同检索系统的性能。该数据集包含了大量的文本数据和查询任务,使得研究人员能够系统地测试和优化检索算法。通过参与TREC,研究者们可以获得宝贵的实验数据,从而推动信息检索技术的发展。
衍生相关工作
TREC数据集的广泛应用催生了大量相关的经典工作。例如,许多基于TREC的研究论文提出了新的检索模型和算法,如BM25、LDA等,这些模型在信息检索领域具有重要影响。此外,TREC还激发了关于用户查询行为和检索系统交互的研究,推动了人机交互和用户体验设计的进步。TREC的成功也促使其他领域开始建立类似的标准化测试平台,进一步推动了相关技术的发展。
数据集最近研究
最新研究方向
在信息检索领域,TREC(文本检索会议)数据集一直是研究者们关注的焦点。近年来,随着自然语言处理技术的飞速发展,TREC数据集的研究方向逐渐转向了多模态信息检索和跨语言检索。研究者们致力于开发能够同时处理文本、图像和视频等多种数据类型的检索系统,以提升检索的准确性和效率。此外,跨语言检索的研究也取得了显著进展,通过构建多语言知识图谱和利用机器翻译技术,实现了不同语言间的信息无缝检索。这些前沿研究不仅推动了信息检索技术的革新,也为全球信息共享和跨文化交流提供了强有力的支持。
相关研究论文
  • 1
    The Text REtrieval Conference (TREC) – A Brief HistoryNational Institute of Standards and Technology (NIST) · 2005年
  • 2
    Overview of the TREC 2019 Deep Learning TrackNational Institute of Standards and Technology (NIST) · 2019年
  • 3
    Overview of the TREC 2018 Common Core TrackNational Institute of Standards and Technology (NIST) · 2018年
  • 4
    Overview of the TREC 2020 Deep Learning TrackNational Institute of Standards and Technology (NIST) · 2020年
  • 5
    Overview of the TREC 2017 Common Core TrackNational Institute of Standards and Technology (NIST) · 2017年
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4099个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

中国区域地面气象要素驱动数据集 v2.0(1951-2024)

中国区域地面气象要素驱动数据集(China Meteorological Forcing Data,以下简称 CMFD)是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素,时间分辨率为 3 小时,水平空间分辨率为 0.1°,时间长度为 74 年(1951~2024 年),覆盖了 70°E~140°E,15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据,并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品,其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展,其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本,而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集,但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外,在制作 CMFD 2.0 的过程中,研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息,显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时,CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 74 年,并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同,但其有效数据扩展到了中国之外,能够更好地支持跨境区域研究。为方便用户使用,CMFD 2.0 还在基础变量集之外提供了若干衍生变量,包括近地面相对湿度、雨雪分离降水产品等。此外,CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术,转而直接将实型数据压缩存储于 NetCDF4 格式文件中,从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7,但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变,故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致,仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新,以修正其长期趋势存在的问题。

国家青藏高原科学数据中心 收录

ERIC (Education Resources Information Center)

ERIC (Education Resources Information Center) 是一个广泛的教育文献数据库,包含超过130万条记录,涵盖从1966年至今的教育研究、政策和实践。数据集内容包括教育相关的期刊文章、书籍、研究报告、会议论文、技术报告、政策文件等。

eric.ed.gov 收录

OpenSonarDatasets

OpenSonarDatasets是一个致力于整合开放源代码声纳数据集的仓库,旨在为水下研究和开发提供便利。该仓库鼓励研究人员扩展当前的数据集集合,以增加开放源代码声纳数据集的可见性,并提供一个更容易查找和比较数据集的方式。

github 收录

中国交通事故深度调查(CIDAS)数据集

交通事故深度调查数据通过采用科学系统方法现场调查中国道路上实际发生交通事故相关的道路环境、道路交通行为、车辆损坏、人员损伤信息,以探究碰撞事故中车损和人伤机理。目前已积累深度调查事故10000余例,单个案例信息包含人、车 、路和环境多维信息组成的3000多个字段。该数据集可作为深入分析中国道路交通事故工况特征,探索事故预防和损伤防护措施的关键数据源,为制定汽车安全法规和标准、完善汽车测评试验规程、

北方大数据交易中心 收录

UCF-Crime

UCF-犯罪数据集是128小时视频的新型大规模第一个数据集。它包含1900年长而未修剪的真实世界监控视频,其中包含13个现实异常,包括虐待,逮捕,纵火,殴打,道路交通事故,入室盗窃,爆炸,战斗,抢劫,射击,偷窃,入店行窃和故意破坏。之所以选择这些异常,是因为它们对公共安全有重大影响。这个数据集可以用于两个任务。首先,考虑一组中的所有异常和另一组中的所有正常活动的一般异常检测。第二,用于识别13个异常活动中的每一个。

OpenDataLab 收录