系统架构
部署平台由两台 AgileX PiPER、多视角相机、策略推理循环和现有机器人控制器组成。控制器、Ruckig 集成及 UMI 硬件由他人提供。
← 返回时间线
具身智能实习 · Latencore AI
双臂机器人学习 / π0.5 部署
2026年8月 – 至今在两台 AgileX PiPER 机械臂上打通遥操作、多视角数据采集、π0.5 推理与真实执行。
部署已完成 · 对比实验进行中
角色: 数据流程集成、π0.5 部署与真实系统故障诊断。
现实问题
一个可用的 checkpoint 只是双臂系统的一部分。示范、标定、相机流、推理节奏、轨迹交接与硬件行为必须形成可靠闭环。
约束
- 两台真实机械臂与三路相机
- 策略推理与控制运行在不同频率
- 遥操作与 UMI 产生不同的数据分布
- 柔性物体操作使成功定义和轨迹质量更难量化
系统表达
系统架构
从人示范动作，到双臂真正执行
录下示范，还不等于得到可以直接训练的数据。我的工作是在共享机器人平台上，把采集、数据准备和策略部署连接起来。
- 01
标定
建立遥操作所需的空间对应关系。
- 02
Preflight 检查 + 采集
先做采集前检查，再记录人工示范。
- 03
导出 Zarr
将采集的数据导出为 Zarr 格式。
- 04
转换为 LeRobot
将数据转换为学习流程使用的 LeRobot 格式。
- 05
计算 norm_stats
计算数据归一化所需的统计参数。
- 06
π0.5 训练
使用准备好的示范数据训练策略。
- 07
部署
将训练后的 checkpoint 用于真实平台。
- 08
验证
观察任务执行，分析出现的失败。
部署之后：两种运行时职责
30 Hz
策略推理
策略根据观测产生动作输出。
200 Hz
轨迹生成 / 控制
轨迹层将这些输出转换为更平滑的机器人指令。
底层控制器、Ruckig 集成及 UMI 硬件由其他团队成员提供；下方保留个人贡献说明。
展开技术说明
数据 / 训练 / 部署路径
遥操作流程依次经过标定、preflight 与采集、Zarr 导出、LeRobot 转换、norm_stats 计算、π0.5 训练、部署和验证。执行诊断再指导后续采集与评估。
运行时执行
策略以 30 Hz 进行动作推理，轨迹层以 200 Hz 将策略输出转换为更平滑的机器人控制指令。
核心思想 / 原理导读
先理解原理，再看实现
Checkpoint 只是一个组件
部署连接观测、动作预测与真实执行。即使模型给出看似合理的动作，相机、标定、通信或动作交接仍可能使系统失败。
采集方式影响输入
遥操作与 UMI 带来不同数据分布。数据配比与续训的对比实验仍在进行中。
不同运行频率，明确系统边界
策略推理与轨迹生成运行在不同频率。调试分别观察模型输出、控制器输入与真实运动。
实现细节
示范采集
PIKA teleoperation or UMI capture
- 输入
- Human task execution
- 输出
- Multi-view observations and end-effector trajectories
- 失败模式
- Operator difficulty, singular poses and tracking-frame drift
数据整理
Zarr export, LeRobot conversion and norm_stats computation before training
- 输入
- Raw camera and trajectory streams
- 输出
- Training episodes
- 失败模式
- Misalignment or inconsistent frame conventions contaminate supervision
训练 / 续训
π0.5 fine-tuning
- 输入
- Teleop and UMI episodes
- 输出
- Policy checkpoints
- 失败模式
- More steps can overfit; new batches can cause forgetting
30 Hz 推理
VLA action prediction
- 输入
- Multi-view observations and robot state
- 输出
- Target end-effector actions
- 失败模式
- Latency or distribution shift produces unstable actions
200 Hz 执行
Ruckig trajectory generation through the existing controller
- 输入
- Predicted targets
- 输出
- Smooth joint-space execution
- 失败模式
- Unsafe or unreachable targets expose calibration and handoff errors
评估并闭环
Success, trajectory and failure analysis
- 输入
- Physical rollouts
- 输出
- Next data or training decision
- 失败模式
- A vague success definition hides where the system improved
成果与演示
physical robot platform
2 × PiPERdual-arm AgileX deployment
inference / trajectory rates
30 Hz / 200 Hzpolicy loop and Ruckig generation operate at different frequencies
PIKA capture
3 viewstwo wrist cameras plus one external panoramic view
已完成：真实双臂部署
刚性物体抓放与毛巾操作已经在双臂平台上完成真实 rollout。
已完成：多视角遥操作
PIKA 同步两路腕部相机与 Insta360 外部视角。
进行中：数据与训练对比
实验计划在统一真实任务协议下比较训练时长与 teleop/UMI 配比。
失败模式
关节奇异位形
j5 = 0 的配置可以离线复现，并干扰遥操作。
通过轨迹记录定位问题，并在采集时避开奇异区域。
追踪坐标系不一致
VIVE/libsurvive 原点依赖标定和首次接受的场景；重启或移动基站可能改变坐标系。
可视化坐标轴、保持标定条件，并在移动基站后重新标定。
系统交接失败
合理的模型输出仍可能在通信、坐标转换或轨迹执行阶段失败。
记录推理、控制器输入与真实运动之间的边界，而不是把所有失败归因于模型。
职责边界
集成与操作
操作 PIKA 和同事提供的 UMI 采集流程，整理 LeRobot 兼容数据并部署 π0.5 checkpoint。
诊断与评估
调试相机、标定、通信、推理与动作交接故障。
团队平台与他人提供的硬件
在共享平台上开展的实习工作。底层控制器、Ruckig 集成和 UMI 硬件由其他团队成员开发。
工程细节
- π0.5 视觉—语言—动作策略
- PIKA 与基于 VIVE 追踪的 3D 打印 UMI 采集
- LeRobot 兼容 episode 整理
- 30 Hz 策略循环与 200 Hz Ruckig 轨迹生成
- 真实机器人 smoke test 与远程工作站操作