AIO PE Video 100pairs 评估结果

# 100 Pairs 视频对比查看器 - 使用说明 ## 目录结构 ``` ckpt158_batches/ ├── viewer.html ← 打开这个文件 ├── videos/ (199 个视频文件, 约 1 GB) │ ├── {prompt_key}_chosen_{idx}.mp4 │ └── {prompt_key}_rejected_{idx}.mp4 ├── all_100_pairs.jsonl (原始完整数据) ├── all_100_pairs_with_relpath.jsonl (带相对路径的数据) └── score_changes_table.csv (评分变化表) ``` ## 拷贝到本地 **注意**：`videos/` 目录中是**符号链接**（symlinks），指向原视频文件。拷贝时必须**跟随符号链接**： ### 方法 1：rsync（推荐，支持断点续传） ```bash # 在本地机器上运行 rsync -avL --progress \ <username>@<server>:/ytech_m2v8_hdd/workspace/kling_mm/zhengyuanhong/aio_pe_eval_pipeline/workspace/ckpt158_batches/ \ ~/Downloads/ckpt158_batches/ ``` 关键参数： - `-L`：跟随符号链接（复制视频实际内容） - `-a`：保留权限和时间戳 - `--progress`：显示进度 ### 方法 2：scp ```bash scp -r <username>@<server>:/ytech_m2v8_hdd/workspace/kling_mm/zhengyuanhong/aio_pe_eval_pipeline/workspace/ckpt158_batches/ \ ~/Downloads/ ``` ## 本地打开 ### 方法 1：直接双击（可能因浏览器安全限制无法播放视频） 直接在本地文件管理器中双击 `viewer.html`。 ### 方法 2：本地起 HTTP 服务器（推荐） ```bash # 进入报告目录 cd ~/Downloads/ckpt158_batches/ # Python 3 python3 -m http.server 8000 # 然后浏览器打开 http://localhost:8000/viewer.html ``` ### 方法 3：VSCode Live Server 插件 在 VSCode 打开该目录，右键 `viewer.html` 选择 "Open with Live Server"。 ## 页面功能 - **左侧**：100 个 pair 的列表，显示每个 pair 的偏序保持状态 - ✓ **绿色**：偏序保持（caption 打分和 aio_pe 打分一致，chosen > rejected） - ✗ **红色**：偏序反转 - **右侧**：当前 pair 的详细信息 - User Prompt - Chosen / Rejected 对比视图 - 生成的视频（可播放） - AIO_PE 文本（原始 prompt engineering 内容） - Caption 文本（VLM 提取的视频描述） - 评分表：`aio_pe → caption` 变化，带 Δ 差值 ## 评分说明 | 维度 | 说明 | |------|------| | **Semantic Consistency** | 与 user_prompt 的语义一致性（0-5） | | **Rationality Extension** | 逻辑合理性 + 扩展质量（0-5） | | **Avg** | 两维度平均 | Δ 值颜色： - **绿色**：分数上升 - **红色**：分数下降 - **灰色**：持平