Spatial Memory Benchmark (SMB)
收藏资源简介：
SMB包含从EgoLife多日记录中构建的600个查询：300个语义轨迹检索查询和300个长视界物体检索查询。LOR使用2到24小时的回望窗口。
The SMB dataset contains 600 queries constructed from multi-day recordings in EgoLife: 300 semantic trajectory retrieval queries and 300 long-horizon object retrieval queries. LOR utilizes a lookback window ranging from 2 to 24 hours.
ST-Mem 数据集概述
基本信息
- 项目名称：Linguistic Trajectory Encoding (LTE) — ST-Mem
- 论文标题：Linguistic Trajectory Encoding for Efficient Long-Horizon Spatial Memory in Embodied Agents
- 论文编号：arXiv:2609.04802 · arXiv preprint · 2026
- 项目主页：https://sealical.github.io/st-mem/
- 论文地址：https://arxiv.org/abs/2609.04802
- 基准测试页面：https://sealical.github.io/st-mem/benchmark/
核心概念
三个关键组成
| 名称 | 角色 |
|---|---|
| Linguistic Trajectory Encoding (LTE) | 混合轨迹表示：语言、稀疏空间锚点和视觉锚点 |
| ST-Mem | 研究项目及其基于 LTE 的记忆系统，包含五个联动视图和空间索引 |
| Spatial Memory Benchmark (SMB) | 论文的长时程基准：语义轨迹检索（STR）和长时程物体检索（LOR） |
LTE 简介
LTE 是一种面向长时程具身智能体的以物体为中心的时空记忆表示。它将动态物体运动历史压缩为自然语言描述、稀疏空间锚点和视觉锚点。基于 LTE 的 ST-Mem 系统将物体状态历史与空间及视觉证据相关联，用于语义轨迹检索和长时程物体检索。
解决的问题
长期具身智能体记忆需要保留物体发生了什么、在哪里发生以及何时发生。片段级视频记忆和原始几何轨迹暴露了这些证据的不同部分。LTE 将它们连接成可通过语言查询的逐物体历史，支持数小时至数天的观测范围内的自然语言空间检索，而无需在查询时扫描每个片段。研究聚焦于时空记忆、物体状态历史和轨迹压缩，不声称是通用的终身学习智能体。
空间记忆基准（SMB）
- 查询数量：600 条查询，构建自 EgoLife 多天录制数据
- 300 条语义轨迹检索（STR）查询
- 300 条长时程物体检索（LOR）查询
- LOR 回溯窗口：2 至 24 小时
- 区别：SMB 与已有的 Ego4D NLQ 和 VQ2D 任务不同
- 任务定义、评估协议、结果、来源归属及发布状态：参见基准测试页面或 benchmark README
论文报告结果
| 测量指标 | 报告结果 | 范围 |
|---|---|---|
| SMB STR 成功 | 45.3% | 300 条语义轨迹查询；在真实时间跨度内边界框 IoU ≥ 0.3 |
| SMB LOR 成功 | 48.7% | 300 条长时程物体查询；相同的成功标准 |
| LTE 轨迹压缩 | 8.7–26.1× | LTE 轨迹存储相对于密集轨迹，非总系统存储 |
| 24 小时视频查询延迟 | 0.43 s | 单张 A800，记忆构建之后；非端到端视频处理 |
以上为论文报告结果，非本仓库的新测量或独立复现。
评估任务
- SMB：STR（语义轨迹检索）、LOR（长时程物体检索）
- Ego4D：NLQ（自然语言查询）、VQ2D（视频问答）
代码可用性
- 代码即将发布
- 计划发布内容聚焦于记忆核心：LTE、五个联动视图、可移植记忆存储、查询 API、离线感知适配器
- 完整基准复现、评估/训练流程、音频和导航不在计划发布范围内
- 公开安装说明仅在实现可用时添加
- 当前仓库包含网站和基准描述，不包含 ST-Mem 实现、标注、模型权重或评估流程
- 当前不提供基准下载
引用
请引用论文而非网站：
bibtex @misc{xie2026linguistictrajectory, title = {Linguistic Trajectory Encoding for Efficient Long-Horizon Spatial Memory in Embodied Agents}, author = {Tianyidan Xie and Shenyi Wang and Qiang Tang and Mingjie Wang and Zhicheng Qiu and Xuanfu Li and Zhan Xu and Jian Yang and Lanjun Wang and Zili Yi}, year = {2026}, eprint = {2609.04802}, archivePrefix = {arXiv}, primaryClass = {cs.CV}, doi = {10.48550/arXiv.2609.04802}, url = {https://arxiv.org/abs/2609.04802} }
许可与图片归属
- 原始网站代码：MIT License
- 图 1 和图 2：论文作者提供的未修改图片，采用 CC BY 4.0 许可，非 MIT。再分发时需保留图片归属。
