VLA 视觉语言任务
VLA(Vision-Language-Action)把视觉观察与语言任务作为输入,输出机器人动作。它适合希望用语言描述目标、探索视觉语言机器人应用的用户。
教程整理中
Star Arm 102 已有 VLA 功能。本章先建立学习入口;对应模型、运行入口、硬件要求、安装与执行步骤尚未在 GitHub 完整公开。下方用于准备任务条件,尚不能据此完成首次运行。已有交付配置的用户请使用配套操作说明;尚未获得配置的用户可先完成 Web 控制或 ACT 预训练体验。
开始前先完成什么
- 完成首次连接与校准,确认 FL 反馈和小幅运动正常。
- 熟悉 Web 停止与切换控制方式,能够独立检查姿态和控制状态。
- 为目标任务准备可重复布置的场景,记录目标物、初始位置、光照和成功标准。
- 获取该 VLA 模型配套的相机、算力、动作空间与校准要求后,再配置运行环境。
一个任务如何组织
| 阶段 | 需要明确的内容 |
|---|---|
| 描述任务 | 用一句话说明目标,并定义完成与失败条件 |
| 获取观察 | 检查相机视角、图像与机器人状态是否符合模型要求 |
| 运行任务 | 使用模型配套的执行入口、动作映射与停止机制 |
| 评估结果 | 记录同一任务的多次尝试、成功次数及失败原因 |
VLA 与 ACT 都需要匹配设备、动作空间和相机。ACT 的模型包、运行环境和数据配置不能默认直接用于 VLA。
后续补齐的操作资料
模型与版本、支持的语言任务、下载及许可、算力要求、相机布置、执行入口、首次任务步骤和评估示例。更新后这些内容会出现在本页正文与右侧目录中。
现在即可体验的已公开策略教程:ACT 预训练体验。代码与模型发布入口:Star Arm 102 GitHub。
需要当前 VLA 配套资料时,请通过技术支持提供机械臂型号、计算设备、相机配置和希望执行的任务。