remyxai/arxiv_pool_daily

Remyx Daily arXiv Pool数据集包含过去30天内arXiv上提交的选定计算机科学类别（当前包括cs.AI、cs.LG和cs.CL）的论文，其中摘要已使用sentence-transformers/all-MiniLM-L6-v2模型预生成了384维嵌入向量。该数据集用于支持Remyx Paper Recommender Space中的候选预过滤步骤，以避免每次冷启动时重新嵌入500多篇摘要。数据集每天通过脚本更新，覆盖旧数据而不保留历史快照。数据列包括arxiv_id（无版本后缀）、标题（单行且去除换行符）、摘要（原始去除LaTeX格式的摘要）、published_at（YYYY-MM-DD格式）、categories（arXiv类别列表）和abstract_embedding（384维浮点数列表，未预归一化，需在使用时归一化）。数据集旨在帮助用户通过余弦相似度进行论文推荐和检索。已知局限性是当前数据集偏重AI/ML领域，相邻领域（如数据库、分布式系统、计算机视觉）的论文匹配较弱，计划在下次更新中扩展cs.CV、cs.DB、cs.SE和stat.ML类别。The Remyx Daily arXiv Pool dataset contains the last 30 days of arXiv submissions in selected computer science categories (currently cs.AI, cs.LG, and cs.CL), with abstracts pre-embedded using the sentence-transformers/all-MiniLM-L6-v2 model (384-dimensional). It backs the candidate pre-filter step in the Remyx Paper Recommender Space to avoid re-embedding 500+ abstracts on every cold start. The dataset is refreshed daily via a script, overwriting the previous parquet file without retaining older snapshots. Columns include arxiv_id (without version suffix), title (one-line with newlines stripped), abstract (original LaTeX-stripped abstract), published_at (in YYYY-MM-DD format), categories (list of arXiv categories), and abstract_embedding (a 384-dim list of float32, NOT pre-normalized—normalize at use time). The dataset is designed for paper recommendation and retrieval via cosine similarity. A known limitation is its AI/ML-heavy focus, resulting in weaker retrieval matches for adjacent domains (e.g., databases, distributed systems, computer vision), with planned expansion to cs.CV, cs.DB, cs.SE, and stat.ML in the next refresh.

搜集汇总

数据集介绍

构建方式

该数据集通过每日自动抓取arXiv平台上选定计算机科学类别的最新论文提交，整合其元数据与摘要文本，并利用sentence-transformers库中的all-MiniLM-L6-v2模型将摘要预编码为384维的向量表示，最终以Parquet格式存储并发布在HuggingFace平台上。数据刷新通过GitHub仓库中的脚本实现，每日覆盖更新，不保留历史快照。

特点

数据集的核心特色在于其预计算嵌入向量的设计，大幅降低了冷启动时的计算开销，特别适用于论文推荐系统的候选筛选阶段。当前收录cs.AI、cs.LG、cs.CL三个方向最近30天的论文，嵌入向量未预先归一化，便于用户根据实际任务灵活调整。其局限性在于领域集中于AI/ML，对数据库、视觉等领域的支持有待扩展。

使用方法

用户可通过HuggingFace的datasets库加载数据，将abstract_embedding列堆叠为NumPy数组并执行L2归一化后，即可与查询文本的嵌入向量进行余弦相似度计算，快速获取Top-K最相关论文。查询文本需使用相同的sentence-transformers模型进行编码，确保嵌入空间的一致性，从而实现高效的论文检索与推荐。

背景与挑战

背景概述

学术论文的爆炸式增长使得研究者快速定位高相关度文献成为一项关键挑战。为应对这一需求，Remyx AI团队于2024年发布了arxiv_pool_daily数据集，聚焦于计算机科学领域的每日arXiv投稿。该数据集由Hugging Face平台托管，核心研究问题在于通过预计算嵌入向量，实现轻量级、低延迟的论文推荐候选筛选。数据集覆盖cs.AI、cs.LG、cs.CL三个子领域，使用sentence-transformers/all-MiniLM-L6-v2模型将摘要转化为384维向量，服务于Remyx Paper Recommender空间。尽管规模有限（不足1万条），但其每日刷新机制和即用型嵌入设计，为学术推荐系统提供了高效的基础设施支持。

当前挑战

该数据集面临的挑战主要体现在领域覆盖与构建效率两方面。在领域问题上，当前仅涵盖人工智能与机器学习相关子类别，导致来自数据库、分布式系统或计算机视觉等相邻领域的论文检索匹配精度显著下降，限制了推荐系统的跨域泛化能力。构建过程中，每日刷新流程需从arXiv采集最新投稿并执行嵌入计算，但现有实现未保留历史快照，单次更新即覆盖前日数据，阻碍了时间序列分析与长期推荐。此外，嵌入向量未进行预归一化处理，要求使用者在检索时手动实施标准化，增加了应用复杂度，并可能因后续处理不当引发语义偏差。

常用场景

经典使用场景

该数据集聚焦于计算机科学领域的最新学术动态，通过汇集过去30天内arXiv平台上cs.AI、cs.LG及cs.CL三大子方向的投稿文献，并利用sentence-transformers/all-MiniLM-L6-v2模型将摘要预编码为384维向量，为研究者构建了一个轻量化、实时更新的候选论文知识库。其经典使用场景在于支持高效的论文检索与推荐系统，用户只需将自身研究主题或兴趣描述编码为相同维度的向量，即可通过余弦相似度计算快速锁定最相关的若干篇论文，极大简化了海量文献的初步筛选流程。

实际应用

在实际应用中，该数据集已成为Remyx Paper Recommender系统的核心候选预处理组件，直接服务于每日更新的论文推荐界面。研究者或从业者可通过简单的Python脚本，在几毫秒内从数百篇最新论文中筛选出与自身课题最为匹配的文献，从而及时掌握领域前沿动态。此外，该数据集还可嵌入到学术搜索引擎、科研协作平台或个性化文献推送服务中，为追求高效知识获取的用户提供低延迟、高精度的初始筛选能力，尤其适用于需要频繁追踪多领域进展的跨学科团队。

衍生相关工作

该数据集衍生出的代表性工作包括由同一团队构建的mhpd-dpo-training仓库，其中包含了每日刷新池的自动化脚本和完整的论文推荐流程实现。此外，sentence-transformers框架与预计算嵌入策略的结合启发了多种轻量级文献检索解决方案，例如将类似方法拓展至cs.CV、cs.DB等子领域的扩展计划。这些衍生工作共同推动了嵌入式文献搜索范式的普及，使得研究者能够基于统一向量空间实现跨模态、跨领域的快速匹配，为构建更广泛、更实时的学术知识图谱奠定了数据与算法基础。