mzio/aprm-sft_thinkact-Eaprm_tw_tr_medium_hi-Gaprm_qwen3_ap-S42-R0_ns4_lr1e3-ap1-train_all-b060

---
{}
---
# Act-PRM Rollout Dataset

## Run Metadata

- **run_name**: `act-prm-v2-ia=0-rr=0-ec=act_prm_tw_treasure_medium_hi-gc=aprm_qwen3_ap-tc=aprm_for_sft100-rbc=default-mc=hf_qwen3_4b_inst_2507-lc=r8_a16_qkvo-nf=0-ao=1-ho=1-gs=8-bs=8-lr=0_001-ns=4-s=42-r=0_ns4_lr1e3`
- **run_cmd**: `main_pytorch.py --env_config act_prm/tw_treasure_medium --model_config hf_qwen3_4b_inst_2507 --lora_config r8_a16_qkvo --generator_config aprm_qwen3_ap --trainer_config aprm_for_sft100 --replay_buffer_config default --log_path ./logs --actions_only --hide_observations --batch_size 8 --group_size 8 --learning_rate 4e-5 --num_substeps 1 --seed 42 --replicate 0 --verbose --env_config act_prm/tw_treasure_medium_hi --num_substeps 4 --learning_rate 1e-3 --replicate 0_ns4_lr1e3`
- **batch_idx**: `60`
- **split**: `train_all`
- **trajectory_key**: `think_act_policy`
- **num_trajectories**: `244`
- **num_episodes**: `244`
- **group_size**: `8`
- **batch_size**: `8`

# 行动偏好奖励模型（Act-PRM）展开数据集
## 运行元数据
- **运行名称（run_name）**: `act-prm-v2-ia=0-rr=0-ec=act_prm_tw_treasure_medium_hi-gc=aprm_qwen3_ap-tc=aprm_for_sft100-rbc=default-mc=hf_qwen3_4b_inst_2507-lc=r8_a16_qkvo-nf=0-ao=1-ho=1-gs=8-bs=8-lr=0_001-ns=4-s=42-r=0_ns4_lr1e3`
- **运行命令（run_cmd）**: `main_pytorch.py --env_config act_prm/tw_treasure_medium --model_config hf_qwen3_4b_inst_2507 --lora_config r8_a16_qkvo --generator_config aprm_qwen3_ap --trainer_config aprm_for_sft100 --replay_buffer_config default --log_path ./logs --actions_only --hide_observations --batch_size 8 --group_size 8 --learning_rate 4e-5 --num_substeps 1 --seed 42 --replicate 0 --verbose --env_config act_prm/tw_treasure_medium_hi --num_substeps 4 --learning_rate 1e-3 --replicate 0_ns4_lr1e3`
- **批次索引（batch_idx）**: `60`
- **数据集划分（split）**: `train_all`
- **轨迹键（trajectory_key）**: `think_act_policy`
- **轨迹总数（num_trajectories）**: `244`
- **回合总数（num_episodes）**: `244`
- **组大小（group_size）**: `8`
- **批量大小（batch_size）**: `8`