案例与模型
ACT 方块放置:无需自行训练
使用已发布的 ACT 策略,让 102-FL 将方块放入工作区中心。它学习的是特定场景中的任务,不是通用抓取模型,也不会自动识别任意新物体。
准备清单
| 项目 | 要求 |
|---|---|
| 机械臂 | 102-FL,已固定底座并完成连接检查与校准 |
| 相机 | 上方 up 与正面 front 两路 RGB,均为 640 × 480、30 FPS |
| 场景 | 按发布指南照片布置工作台、方块、目标区域和相机 |
| 软件 | Ubuntu 22.04、Python 3.10、LeRobot 0.4.1、StarArm 主手与从手插件 0.0.1 |
| 计算设备 | 按发布指南核对 GPU、驱动与 PyTorch;原记录使用 RTX 5070 Ti 和 CUDA 12.8 构建 |
| 主手 | 自主推理不要求主手;组间遥操作复位时需要另行连接和校准 |
先完成首次使用,再按下列步骤准备相机和运行环境。
相机与场景
打开固定版本的场景照片与运行指南,对照侧面、斜侧和正面照片检查摆位。
- 固定相机、底座和操作垫的相对位置。
- 查看两路实时图像,确认
up是上方视角,front是正面视角。 - 检查方块和目标区域可见,没有被底座或线缆遮挡。
- 核对光照与初始姿态,先使用示范覆盖的物体和工作范围。
照片是视角参考,不是精确尺寸图。串口和相机设备编号应按自己的电脑设置,模型输入名称保持不变。
下载与运行顺序
按发布时的完整运行指南依次完成以下步骤:
| 步骤 | 操作 | 成功表现 |
|---|---|---|
| 1. 安装环境 | 创建独立 ACT 环境,安装发布说明指定的依赖 | lerobot-record --help 可用,依赖检查无冲突 |
| 2. 下载模型 | 下载 stararm102_pick_act_torch271.tar.gz,保留完整解压目录 |
pretrained_model 内有配置、权重与处理器文件 |
| 3. 校准从手 | 确认实际串口并完成对应插件的校准 | 运行时使用与校准相同的 robot.id |
| 4. 核对图像 | 检查两路画面与设备路径 | 名称、视角、分辨率和帧率与模型要求一致 |
| 5. 单次试验 | 替换端口、模型路径和新的评估目录,先运行 1 组 | 动作与场景合理,并生成本地评估记录 |
| 6. 重复评估 | 单次正常后再增加组数,记录复位与任务结果 | 每组有可回看的记录及明确结果 |
重要
运行策略会驱动真实机械臂。先清空工作范围并准备停止措施;异常动作时立即停止。不要仅为了消除报错而改写模型关节名称或复用其他插件的校准文件。
完整安装与运行命令见上方链接的中文指南;请使用该指南对应的版本。
结果检查与常见问题
| 现象 | 优先检查 |
|---|---|
| 相机打不开或画面反了 | 实际设备路径、相机占用、up / front 对应关系 |
| 找不到校准 | 设备类型与 robot.id 是否与校准时一致 |
| 模型无法加载 | policy.path 是否指向完整 pretrained_model 目录 |
| 提示评估目录已存在 | 为新试验使用新的名称和目录,保留旧记录 |
| 动作或抓取不稳定 | 停止后检查校准、相机位置、光照、物体和起始姿态 |
每次记录试验次数、成功次数和失败原因。区分没有抓住、放置偏移、相机遮挡等情况;不要把某一次成功视为所有场景均可用。更多帮助见维护与支持。
模型信息与后续学习
| 项目 | 已发布信息 |
|---|---|
| 发布版本 | act-pick-v1.0.0 |
| 策略 | ACT,训练 100,000 步 |
| 状态与动作 | 7 维 |
| 图像输入 | up、front 两路 RGB |
| 任务 | 将方块放入中心 |
| 文档依据 | Star-Arm-102 提交 307a86d9 中的案例说明 |
想更换任务或场景时,进入学习课程,从任务设计、示教数据质量和评估方法开始。不要将当前策略直接当作其他任务的成品模型。