双臂操作 · ACT · 纠正式 HIL

基于纠正式微调的双臂毛巾折叠

孟想¹ · 刘明哲¹

¹ 华东理工大学

指导教师：郭宁²

² 上海交通大学人工智能学院

暑期研究项目 · 上海交通大学类人智能实验室（HIROL）

一套面向精确角点抓取与完整毛巾折叠的分阶段学习流程，部署于两台 Piper 机械臂。最终策略在五种随机摆放的测试毛巾上取得 35/50 的成功率。

实验记录 Physical AI Runtime

70%微调策略成功率

150次评估实验

101条纠正式 HIL 轨迹

5种测试毛巾

视频占位 static/videos/finetune10k.mp4

微调策略独立完成一次完整折叠；测试前毛巾被随机放置。

项目概述

摘要

仅依赖少量成功示范很难学会精细的布料操作：策略可能能够接近毛巾，却仍会错过稳定双臂抓取所需的角点。为此，我们采用分阶段训练方法。首先使用蓝色方巾的 100 条直接角点抓取示范训练 ACT 策略；随后将策略部署到真实机器人上，当夹爪偏离或即将抓空时，由操作员接管并完成后续任务。该过程在红色与绿色毛巾上获得 101 条完整任务轨迹。基于角点抓取检查点继续微调，在五种毛巾、共 50 次随机摆放测试中取得 70% 的完整任务成功率；作为对照，预训练策略为 26%，使用相同 HIL 数据从头训练的策略为 20%。结果表明，在本系统中，保留已有角点抓取能力并利用纠正式 HIL 数据继续微调，是比从头训练更有效的路径；位置鲁棒性与跨实例泛化仍有提升空间。

系统

从感知、推理到人工接管的统一运行时

physical_ai_runtime 连接相机、策略、RMI 控权层、双臂控制与轨迹记录模块。同一套运行时既负责自主评估，也负责 HIL 数据采集时向主臂遥操作切换控制权。

physical_ai_runtime、纠正式遥操作与训练闭环架构图 — 完整闭环：三路相机感知、ACT 推理、RMI 控权切换、双 Piper 执行、纠正轨迹记录与数据集转换。

视频占位static/videos/three_camera_inputs.mp4

策略同步接收的视觉观测：Orbbec 顶视 RGB，以及左、右腕部 RGB 图像。

Piper 机械臂上的细长定制夹爪手指 — 将 Piper 原装夹爪手指替换为更细长的结构，以减小接近毛巾角点时的几何干涉。

观测 顶视 RGB + 两路腕部 RGB 14 维机器人状态

运行时 physical_ai_runtime ACT · RMI · 轨迹记录

执行 双 Piper 从臂 14 维关节指令

双 Piper 主臂遥操作接管HIL 轨迹记录

定制手指属于最终硬件配置，但本阶段没有进行夹爪消融实验，因此不单独声称其带来了多少性能增益。

方法

由策略失败状态决定的训练课程

学习前置技能

使用 100 条蓝色方巾直接角点抓取示范，将 base20k 训练 20k steps。

进入失败状态

在真实机器人上运行策略。偏移与临界抓空状态由策略实际运行产生，而非预先编排。

纠正并完成任务

操作员通过两台主臂接管，恢复抓取并继续完成抬升与折叠，共采集 101 条 HIL 轨迹。

微调完整任务

从 base20k 继续进行 10k steps 的 HIL 微调，并与使用相同 HIL 数据训练 20k steps 的从头训练模型对比。

视频占位static/videos/pretraining_teleop.mp4

人工示范。100 条预训练轨迹全部通过双主臂遥操作采集。

视频占位static/videos/policy_hil_takeover.mp4

纠正式 HIL 轨迹。策略先进入困难状态，操作员随后接管控制权，恢复抓取并完成任务。

实验结果

微调显著提高完整任务成功率

每个模型测试 50 次：五种毛巾各 10 次，每次运行前均随机放置毛巾，不采用固定布局。

预训练角点抓取，20k

26%

从头训练HIL-101，20k

20%

微调预训练 + HIL-101，10k
70%

毛巾	训练阶段是否见过	预训练 20k	从头训练 20k	微调 10k
蓝色方巾	预训练	5 / 10	0 / 10	8 / 10
绿色方巾	HIL	3 / 10	2 / 10	9 / 10
红色方巾	HIL	2 / 10	3 / 10	8 / 10
黄色方巾	未见	1 / 10	2 / 10	6 / 10
白色长方巾	颜色、实例与形状均未见	2 / 10	3 / 10	4 / 10

+44 pp相对预训练策略

+50 pp相对 HIL 从头训练

17 / 20红、绿两种 HIL 毛巾

10 / 20两种未见毛巾合计

用于评估的五种毛巾 — 评估对象：蓝色（预训练）、红色与绿色（HIL）、黄色（未见方巾）、白色（未见长方巾）。

定性展示

代表性运行结果

以下完整运行用于对比角点抓取检查点与微调后的全任务策略。从头训练模型的成功率较低，因此只保留在定量结果中，不再额外设置展示视频。

视频占位static/videos/base20k.mp4

预训练 20k。仅学习直接角点抓取，展示其在困难随机位置下的代表性失败。

视频占位static/videos/finetune10k.mp4

微调 10k。保留角点抓取能力，并完成后续完整折叠任务。

实验边界

本阶段实验尚不能说明什么

所有模型只使用一个训练种子，并在同一套机器人与相机配置上评估。
测试时毛巾随机摆放，但没有记录具体位置与朝向，因此无法事后按放置难度分层统计。
目前只保留了各条件的二值成功结果，无法进一步分析阶段性失败、任务耗时或折叠误差。
白色毛巾同时改变了颜色、实例与几何形状，其 4/10 结果不能解释为单独的形状消融。
定制夹爪、纠正状态采样与完整任务标签没有分别进行消融。

在上述边界内，实验结论是明确的：先保留角点抓取这一前置技能，再使用纠正式完整任务轨迹进行微调，明显优于本阶段设置的两种对照方法。

致谢

实验室与团队

感谢上海交通大学人工智能学院类人智能实验室（HIROL）及连文昭教授带领的团队对本暑期研究项目的支持。

引用

引用本项目展示页

孟想，刘明哲．基于纠正式微调的双臂毛巾折叠［项目网站］．暑期研究项目，指导教师：郭宁．项目展示页。

引用说明与 BibTeX