vlm-psychophysics-classic-t1-t3

Visual Psychophysics 是一个用于评测视觉语言模型在运动方向、亮度变化和朝向辨别任务上表现的可控合成视频数据集。数据集包含 12,528 个源视频，覆盖三类任务：T1 为左右光栅运动方向辨别，共有 3,840 个源视频；T2 为判断哪个点短暂变亮，共有 5,760 个源视频；T3 为判断哪根条更接近垂直，共有 2,928 个源视频。当前 Cosmos X 主范围从中选择 9,456 个视频，其中 T1 使用全部 3,840 个，T2 使用 2,880 个，T3 使用 2,736 个。每个源视频为 768×512 分辨率、180 帧、60 fps、时长 3 秒，并以 FFV1/MKV 保存无损 16 位 RGB 源像素。Cosmos X 使用官方 OpenCV 视频读取器，将这些源解码为 uint8；其输入为全部 180 帧，并在引擎和请求范围内禁用原生缩放与处理器帧采样。X 主范围使用全部 T1 视频、仅 T2 的 30 帧/500 ms 曝光，以及除辅助 1.75°/2.25° 条件外的 T3 角度；所有被排除的视频仍然可用。精确的主 ID 列表位于 protocols/cosmos-x-20261028.json，用于独立于模型回答固定该范围。数据集提供 metadata.jsonl 标准 Hugging Face 表，包含问题、答案和源设置；dataset-index.json 提供完整稳定 ID 查找、源几何以及文件与解码流身份；protocols/cosmos-x-20261028.json 提供当前 9,456 视频选择及源绑定；validation/source-index-cosmos-x-20261028.json 是用于封存 X 的精确科学源索引快照；validation/source-qa-v0.4-additions.jsonl 是全部 3,168 个新增源视频的原始完整问答，并附有摘要，而此前 9,360 源问答保持不变；reader/ 保留可选无损读取器和共享命名规则。数据集还包含独立的 X 运行器 reproduction/cosmos_x.py 和绑定配方 reproduction/cosmos_x.json。它们绑定官方混合 NVFP4 检查点、独立原始 tokenizer、原生文件视频路由、软件版本和生成设置。项目 GitHub 仓库目前私有；包含的入口无需仓库访问即可独立运行。从下载的数据集目录中，应使用预期的现有 Linux x86_64 Python 3.12 解释器运行复现入口，例如 show、check-index、install-command 和 run。install-command 会打印 SHA 绑定的 pip 命令但不会执行。需要准备固定运行时和 CUDA 13.0.88 工具链，获取配方中列出的精确模型和七个小型原始 tokenizer/配置文件，然后通过 run 提供数据根目录、模型目录、tokenizer 目录和输出目录。Cosmos X 完整运行于 2026-10-29 HST 完成，全部 9,456 个唯一答案、169 个条件、源/输入/声明身份以及三个真实 worker 退出均通过核对。每个视频输出、单元表、A/X 对和图表位于 results/cosmos-X-20261028。三任务准确率为：T1 1,735/3,840，45.18%；T2 2,627/2,880，91.22%；T3 2,625/2,736，95.94%。A/X 比较仅使用共享源 ID；X 还改变运行时栈和后端策略，因此并非孤立的位深效果，源数据集本身不选择运行时。独立入口的源/CPU 合约与安装元数据检查已完成；尚未执行全新安装或该独立入口的单独 GPU 重放。可读文件名编码条件和标签。模型只应接收视频和基准问题，不应将文件名、参数和答案放入模型文本。Trial01–24 遵循相位/起始库；T3 倾斜名称描述倾斜轴的上端。源图像角度、源精度和实际模型输入是分开的测量。v0.4 增加 3,168 个源视频，并保留此前发布的 9,360 个条目和媒体不变；公共索引修正继承的发布版本/父提交字段，其条目记录与保留的科学索引相同。release.json 列出所有新媒体文件和 SHA256，早期固定版本仍可复现。许可证尚未指定。Visual Psychophysics is a controllable synthetic video dataset for evaluating vision-language models on motion direction, luminance change, and orientation discrimination tasks. The dataset contains 12,528 source videos covering three task types: T1 is left-right grating motion direction discrimination, with 3,840 source videos; T2 is judging which point briefly brightens, with 5,760 source videos; T3 is judging which bar is closer to vertical, with 2,928 source videos. The current Cosmos X main range selects 9,456 videos, of which T1 uses all 3,840, T2 uses 2,880, and T3 uses 2,736. Each source video is 768×512 resolution, 180 frames, 60 fps, 3 seconds long, and is stored as FFV1/MKV lossless 16-bit RGB source pixels. Cosmos X uses the official OpenCV video reader to decode these sources to uint8; its input is all 180 frames, and native scaling and processor frame sampling are disabled at the engine and request levels. The X main range uses all T1 videos, only T2 30-frame/500 ms exposure, and T3 angles excluding auxiliary 1.75°/2.25° conditions; all excluded videos remain available. The exact main ID list is in protocols/cosmos-x-20261028.json, fixing this range independently of model answers. The dataset provides metadata.jsonl as a standard Hugging Face table containing questions, answers, and source settings; dataset-index.json provides complete stable ID lookup, source geometry, and file and decoded-stream identity; protocols/cosmos-x-20261028.json provides the current 9,456-video selection and source bindings; validation/source-index-cosmos-x-20261028.json is the exact scientific source index snapshot used to seal X; validation/source-qa-v0.4-additions.jsonl is the raw complete Q&A for all 3,168 newly added source videos, with a summary, while the previous 9,360 source Q&A remains unchanged; reader/ keeps optional lossless readers and shared naming rules. The dataset also includes an independent X runner, reproduction/cosmos_x.py, and a binding recipe, reproduction/cosmos_x.json. They bind the official mixed NVFP4 checkpoint, independent raw tokenizer, native file video routing, software versions, and generation settings. The project GitHub repository is currently private; the included entry points can run independently without repository access. From the downloaded dataset directory, use the expected existing Linux x86_64 Python 3.12 interpreter to run reproduction entry points such as show, check-index, install-command, and run. install-command prints the SHA-bound pip command but does not execute it. A fixed runtime and CUDA 13.0.88 toolchain need to be prepared, and the exact model listed in the recipe plus seven small raw tokenizer/config files need to be obtained, then run is given the data root, model directory, tokenizer directory, and output directory. The full Cosmos X run was completed on 2026-10-29 HST, and all 9,456 unique answers, 169 conditions, source/input/claim identities, and three real worker exits passed verification. Per-video outputs, unit tables, A/X pairs, and charts are located in results/cosmos-X-20261028. The three-task accuracy is: T1 1,735/3,840, 45.18%; T2 2,627/2,880, 91.22%; T3 2,625/2,736, 95.94%. A/X comparisons use only shared source IDs; X also changes the runtime stack and backend policy, so this is not an isolated bit-depth effect, and the source dataset itself does not choose the runtime. Source/CPU contract and installation metadata checks for the independent entry point are complete; a fresh installation or a separate GPU replay of that independent entry point has not yet been performed. Readable filenames encode condition and label. The model should receive only videos and benchmark questions, and should not have filenames, parameters, or answers placed into model text. Trial01–24 follow the phase/onset library; T3 tilt names describe the upper end of the tilt axis. Source image angles, source precision, and actual model inputs are separately measured. v0.4 adds 3,168 source videos and keeps the previously released 9,360 entries and media unchanged; the public index corrects inherited release version/parent commit fields, and its entry records are the same as the retained scientific index. release.json lists all new media files and SHA256, and earlier pinned versions remain reproducible. The license has not yet been specified.

原始信息汇总

数据集概述

• 数据集页面：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3
• pretty_name：Visual Psychophysics — Motion, Brightness and Orientation
• 语言：en
• 标签：video、synthetic、psychophysics
• 配置：config_name 为 default；data_files 的 split 为 test，path 为 https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/blob/main/metadata.jsonl

数据规模与任务

该数据集包含 12,528 个受控源视频，用于测试视觉语言模型的运动方向、亮度变化和朝向辨别。当前 Cosmos X primary scope 选择其中 9,456 个视频。

文件夹	任务	全部源视频	Cosmos X primary
T1	左/右光栅运动	3,840	3,840
T2	哪个点短暂变亮	5,760	2,880
T3	哪个条更接近竖直	2,928	2,736

视频规格与处理

• 每个源视频为 768×512，180 帧，60 fps，时长 3 秒。
• FFV1/MKV 保存无损 16-bit RGB 源像素。
• Cosmos X 使用官方 OpenCV 视频读取器，将这些源解码为 uint8。
• Cosmos X 输入为全部 180 帧，并在引擎和请求范围内禁用 native resizing 和 processor frame sampling。
• X primary scope 使用全部 T1 视频；T2 仅使用 30 帧/500 ms 曝光；T3 使用除辅助 1.75°/2.25° 条件以外的角度。
• 所有被排除的视频仍然可用。
• exact primary ID list 独立于模型答案固定范围：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/blob/main/protocols/cosmos-x-20261028.json

文件与资源

• 标准 HF 表：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/blob/main/metadata.jsonl
  • 包含问题、答案和源设置。
• 完整稳定 ID 查询、源几何及文件/解码流身份：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/blob/main/dataset-index.json
• 当前 9,456 视频选择和源绑定：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/blob/main/protocols/cosmos-x-20261028.json
• 用于封存 X 的精确科学源索引快照：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/blob/main/validation/source-index-cosmos-x-20261028.json
• 所有 3,168 个追加源的原始完整 QA，并附摘要；较早 9,360 源 QA 不变：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/blob/main/validation/source-qa-v0.4-additions.jsonl
• 保留的可选无损读取器和共享命名规则：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/tree/main/reader

复现与运行

• standalone X runner：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/blob/main/reproduction/cosmos_x.py
• bound recipe：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/blob/main/reproduction/cosmos_x.json
• 它们绑定官方 mixed NVFP4 checkpoint、独立原始 tokenizer、native file-video route、软件版本和生成设置。
• 项目 GitHub 仓库当前私有：https://github.com/YangQiantwx/vlm-psychophysics
• 包含的入口可独立运行，无需仓库访问。
• 从下载的数据集目录，使用预期的现有 Linux x86_64 Python 3.12 解释器。
• 提供命令模式：show；check-index --data-root <data-root>；install-command；run --data-root <data-root> --model-dir <official-nvfp4-checkpoint-dir> --tokenizer-dir <original-f543-tokenizer-dir> --output <new-output-directory>。
• install-command 打印 SHA 绑定的 pip 命令，但不运行。
• 需准备固定 runtime 和 CUDA 13.0.88 工具链，获取 recipe 中列出的 exact model 和七个小的原始 tokenizer/config 文件，然后提供其目录。

Cosmos X 完整运行与结果

• Cosmos X 完整运行完成于 2026-10-29 HST。
• 所有 9,456 个唯一答案、169 个 conditions、source/input/claim identities 和三个真实 worker exits 通过 reconciliation。
• 每个视频输出、单元格表、A/X 对和图表可用：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/tree/main/results/cosmos-X-20261028

任务	正确 / 视频	准确率
T1	1,735 / 3,840	45.18%
T2	2,627 / 2,880	91.22%
T3	2,625 / 2,736	95.94%

• A/X 比较仅使用共享源 ID；X 还改变运行时栈和后端策略，因此这些不是孤立的位深效应。
• 源数据集本身不选择运行时。
• standalone entry 的源/CPU 契约和安装元数据检查已完成；尚未执行该 standalone entry 的全新安装或单独 GPU 重放。

使用注意事项

• 可读文件名编码条件和标签。
• 给模型仅提供视频和基准问题，保持文件名、参数和答案不在模型文本中。
• Trial01–24 遵循 phase/onset bank；T3 倾斜名称描述倾斜轴的上端。
• 源图像角度、源精度和实际模型输入是分开的测量。

版本与许可

• v0.4 追加 3,168 个源视频，并保留所有 9,360 个先前发布的条目和媒体不变。
• 公共索引修正继承的 release-version/parent-commit 字段；其 item records 与保留的科学索引相同。
• Release provenance 列出每个新媒体文件和 SHA256：https://huggingface.co/datasets/DrQY/vlm-psychophysics-classic-t1-t3/blob/main/release.json
• 较早 pinned releases 仍可复现。
• 许可尚未指定。

搜集汇总

数据集介绍

构建方式

在视觉心理物理学与多模态模型测评交汇的语境中，该数据集以受控合成视频构建经典视觉判别任务。其源视频总计12,528条，按任务组织为T1左右光栅运动、T2短暂亮度变化的点、T3更接近垂直的条，其中T1为3,840条，T2为5,760条，T3为2,928条。所有视频统一为768×512、180帧、60 fps、3秒，并以FFV1/MKV保存无损16-bit RGB源像素。构建过程借助metadata.jsonl记录问题、答案与源设置，通过稳定ID索引、源几何与解码流身份，以及Cosmos X主协议固定9,456条选择；v0.4追加3,168条源视频并保留此前9,360条条目与媒体不变。

使用方法

在视觉语言模型基准复现与受控评测的实践脉络中，该数据集提供独立X运行器与绑定配方，供研究者在本地复现视觉语言模型评测。需在下载目录中使用面向Linux x86_64的Python 3.12解释器，运行show、check-index与install-command；install-command仅打印SHA绑定的pip命令而不实际安装。完成固定运行时与CUDA 13.0.88工具链配置，并取得配方所列官方混合NVFP4检查点及七个原始分词器/配置文件后，以run指定数据根、模型、分词器和输出目录。评测时应只向模型提供视频与基准问题，避免文件名、参数和答案进入模型文本；Trial01–24对应相位/起始库，T3倾斜名称描述倾斜轴上端。

背景与挑战

背景概述

面向视觉语言模型低层视觉感知评测的空白，vlm-psychophysics-classic-t1-t3以经典心理物理学范式构建受控视频基准，涵盖左右光栅运动、短暂亮度变化与朝向辨别三类任务，共12,528段源视频，当前Cosmos X主范围选取9,456段。其当前协议由2026年10月28日快照固定，完整运行于2026年10月29日完成，发布材料关联YangQiantwx/vlm-psychophysics项目，但README未披露具体创建者与所属机构。核心问题在于检验VLM能否超越语义识别，对运动方向、亮度瞬变和近垂直朝向进行精细时空判别，为多模态感知评测引入心理物理学的严格刺激控制与可复现协议。

当前挑战

尽管受控刺激与协议封存提升了评测严谨性，该数据集仍面临领域与构建双重挑战。领域层面，T1左右光栅运动方向判别仅45.18%，远低于T2亮度变化91.22%和T3朝向辨别95.94%，揭示VLM在低层时空运动整合与方向编码上的显著短板。构建层面，源视频为16位RGB无损视频，而模型输入经OpenCV解码为uint8，源精度与模型输入差异交织于运行时和后端策略，A/X比较并非孤立位深效应；主范围排除条件、稳定ID、源绑定与答案隔离要求严密治理，独立全新安装或GPU重放尚未完成，许可证亦未指定，制约长期可复现性与再分发。

常用场景

经典使用场景

视觉心理物理学长期借助受控刺激揭示感知机制，该数据集把左右光栅运动、短暂亮度变化与朝向辨别转译为视频问答任务，构成视觉语言模型感知评测的经典场域。12,528段768×512、180帧/60fps的合成视频保持无损源像素，metadata.jsonl给出问题、答案与源设置；模型仅见视频与基准问题，文件名、参数和答案不进入文本。T1检验左右光栅运动方向，T2定位短暂变亮点，T3判断更接近垂直的条，Cosmos X主范围选取9,456段，形成可重复的固定协议。

解决学术问题

面向视觉语言模型是否具备可分离的低级视觉感知这一学术追问，该数据集以受控合成视频缓解自然视频中语义、纹理与拍摄条件混杂造成的归因困难。它提供稳定ID、源几何、文件与解码流身份，并以protocols/cosmos-x-20261028.json和validation快照固定评测范围，使运动、亮度与朝向三类判断可被独立检验。T1准确率45.18%、T2 91.22%、T3 95.94%的差异揭示了任务难度和模型能力边界，为可复现基准、跨模型比较及感知失败诊断提供实证基础。

实际应用

在视频多模态系统落地过程中，模型对运动方向、瞬时亮度与空间朝向的判读直接影响自动驾驶、机器人感知、视频检索与辅助视觉等场景的可靠性。该数据集以OpenCV原生解码、禁用帧采样和固定生成设置，提供接近部署链路的评测条件；独立runner与绑定recipe可检验NVFP4检查点、tokenizer与运行时版本组合。研究者可据此比较不同模型、精度策略和后端策略，定位低级视觉短板，并以A/X配对结果辅助模型选型、回归测试与鲁棒性审计。

数据集最近研究

最新研究方向

立足视觉心理物理学与多模态表征的交汇处，vlm-psychophysics-classic-t1-t3 将经典运动方向、亮度变化与朝向辨别任务转化为可控合成视频基准，近期研究聚焦视觉语言模型在低层感知中的时空运动解析瓶颈。Cosmos X 对 9,456 段主域视频的全量评测显示，T1 光栅左右运动辨别准确率仅 45.18%，而 T2 亮点瞬时增亮与 T3 条棒朝向判断分别达 91.22% 和 95.94%，提示模型对动态方向信息的编码显著弱于亮度与静态几何线索。该数据集通过稳定 ID、协议锁定、无损 16 位源像素与 A/X 运行时对照，推动基准可复现性、解码位深及采样策略影响等热点议题，为分离语义理解与心理物理视觉能力提供可审计范式，并对具身感知与视频理解的可靠性评估具有方法学意义。