so101_isr_193

该数据集为HuggingFace LeRobot格式机器人数据集。This dataset is a robot dataset in HuggingFace LeRobot format.

原始信息汇总

SO-101 Teleop — ISR标准化数据集（193集）

数据集概览

• 许可证：Apache-2.0
• 任务类型：机器人（robotics）
• 数据规模：10K < n < 100K
• 来源：makermods/200ep_blue_cube_orange_box（SO-101真实遥操作数据）
• 处理方法：ISR（信息标准化轨迹重采样）——去除停顿，按均匀信息间隔保留帧

核心指标

项目	数值
总集数	193
帧数	54,275 → 32,175（保留59.3%）
帧率	30 fps（均匀网格）
格式	LeRobot v3.0 · h264视频
状态/动作	float32[6] = [pan, lift, elbow, wrist_flex, wrist_roll, gripper]，单位：度
摄像头	observation.images.{front,wrist} 480×640

ISR方法说明

ISR根据信息量而非时间间隔重采样轨迹：信息量由关节移动距离和累积加速度加权计算。停顿/缓慢漂移（信息量≈0）的帧被丢弃；快速运动和接触前减速（信息密集）的帧密集保留；夹爪开合动作强制保留。无插值——保留帧为原始记录帧，仅重新索引到均匀30 fps网格。

关键参数（针对SO-101校准）

参数	数值	依据
d_target	4.0	信息步长约中位步长2.8倍 → 保留60%
λ_acc	0.00185	加速度项占信息预算约20%（单位适配为度）
λ_dist	1.0	固定参考尺度
gripper_threshold	2.05	约夹爪范围5%，识别真实抓取

校准依据（193个训练集）：中位每帧关节步长1.43°，平均加速度271，夹爪跨度40.9°/集。

数据划分

• 保留集：[96,97,98,196,197,198]（1,622帧）——每个任务字符串最后3集，由lerobot eval_split=0.025生成
• 保留集不包含在本数据集中，专用于评估；任何训练轨迹均不涉及保留帧

构建流程

1. fetch_trajs.py — 读取源状态/动作，切片SO-101布局（5关节+夹爪）
2. isr_resample.py — ISR动态规划（源自D-Robotics-AI-Lab/ISR官方Apache-2.0仓库）
3. build_dataset.py / build_parallel.py — 生成LeRobot v3.0视频数据集：顺序torchcodec范围解码源视频（验证与lerobot逐帧读取像素一致，快约40–90倍），再h264重编码保留帧；并行分片构建+合并（约15分钟）

训练/实验设置

• 策略：SmolVLA（lerobot 0.6.0），除数据集外与客户端配方字节级一致
• 训练：20,000步，batch 16/GPU × 4，bf16，4× RTX 3090
• 对比对象：原始基线 angkul07/mm_SO101_teleop（teleop100）；合作伙伴采样版本 Kavin60606/so101_partner_193
• 评估：6集保留集——动作MSE/MAE、逐关节MAE、夹爪准确率、CI-MSE（抓取/放置区间误差）

当前状态

数据集已构建并验证（193集，32,175帧，视频格式）。SmolVLA训练进行中；与基线及合作伙伴版本的评估待完成。