NikeSong/so101_gestures_pi05

基于 lerobot/pi05_base 的 π₀.₅ (Pi0.5) 微调权重，用于 SO-101 上的多手势遥操作任务（挥手 / 跳舞 / 起立）。

训练数据：NikeSong/so101_gestures（三任务合并，LeRobot Dataset v3）。
项目合集：SO-101 Gestures。

这是 expert-only 微调：冻结视觉编码器与 VLM，只更新动作 expert 与相关投影。真机效果需自行评估；本卡记录的是训练配置与离线 loss，不是成功率报告。

快速加载（LeRobot）

# 评估 / 录制时指定策略路径，例如：
lerobot-eval \
  --policy.path=NikeSong/so101_gestures_pi05 \
  ...

Python：

from lerobot.policies.factory import make_policy, make_pre_post_processors
from lerobot.configs.policies import PreTrainedConfig

cfg = PreTrainedConfig.from_pretrained("NikeSong/so101_gestures_pi05")
# 再按你的机器人/数据集特征 make_policy / processors

仓库内除 model.safetensors 外，还包含 config.json、train_config.json 以及 preprocessor / postprocessor（含分位数归一化统计）。

观测与动作

键	类型	形状（训练时）
observation.state	STATE	(6,)
observation.images.front	VISUAL	(3, 480, 640)
observation.images.wrist	VISUAL	(3, 480, 640)
action	ACTION	(6,)

图像在策略内会缩放到 224×224。归一化：VISUAL=IDENTITY，STATE/ACTION=QUANTILES。

训练摘要

项	值
基座	lerobot/pi05_base（PaliGemma 2B + action expert ~300M）
策略类型	pi05
微调方式	train_expert_only=true，freeze_vision_encoder=true
精度 / 显存技巧	bfloat16，gradient_checkpointing=true
优化	AdamW lr=2.5e-5，cosine decay + warmup 1000 → 峰值，decay 至 2.5e-6
Batch / Steps	batch_size=8，steps=30000，seed=1000
动作块	n_action_steps=50，chunk_size=50，推理去噪步 num_inference_steps=10
硬件	NVIDIA L40 48GB（算力自由 lerobot-pi 镜像，LeRobot 0.4.1）
数据规模	合并集约 150 episodes / ~72k frames

离线训练 loss（log 每 50 step）：开局约 0.17，收尾约 0.04 量级，全程无 NaN；约 3.3 epoch。这只说明优化过程健康，不代表真机手势成功率。

复现命令（要点）

lerobot-train \
  --dataset.repo_id=NikeSong/so101_gestures \
  --policy.type=pi05 \
  --policy.pretrained_path=lerobot/pi05_base \
  --policy.freeze_vision_encoder=true \
  --policy.train_expert_only=true \
  --policy.gradient_checkpointing=true \
  --policy.dtype=bfloat16 \
  --policy.device=cuda \
  --batch_size=8 \
  --steps=30000 \
  --log_freq=50 \
  --save_freq=5000 \
  --policy.repo_id=NikeSong/so101_gestures_pi05

完整超参见本仓库 train_config.json。

局限与注意

• Expert-only 微调对「新场景 / 新指令」的泛化通常弱于全参微调。
• 摄像头名、分辨率、关节顺序需与训练时一致（front / wrist，6 维状态与动作）。
• 若你本地 LeRobot 版本与训练环境（0.4.1）差很多，加载 preprocessor 时可能缺 registry step，需对齐版本或本地重建 processor。
• 尚未附带标准化真机评测表；欢迎在 Discussion 里反馈成功率与失败模式。

许可与致谢

• 权重许可：Apache-2.0（与常见 LeRobot 发布习惯一致；若与基座条款冲突，以基座为准）。
• 基座：Physical Intelligence π₀.₅ / OpenPI，经 LeRobot 实现。
• 数据由 SO-101 遥操作采集并整理为 so101_gestures。