跳转至

VLA 视觉语言任务

VLA(Vision-Language-Action)把视觉观察与语言任务作为输入,输出机器人动作。它适合希望用语言描述目标、探索视觉语言机器人应用的用户。

教程整理中

Star Arm 102 已有 VLA 功能。本章先建立学习入口;对应模型、运行入口、硬件要求、安装与执行步骤尚未在 GitHub 完整公开。下方用于准备任务条件,尚不能据此完成首次运行。已有交付配置的用户请使用配套操作说明;尚未获得配置的用户可先完成 Web 控制或 ACT 预训练体验。

开始前先完成什么

  1. 完成首次连接与校准,确认 FL 反馈和小幅运动正常。
  2. 熟悉 Web 停止与切换控制方式,能够独立检查姿态和控制状态。
  3. 为目标任务准备可重复布置的场景,记录目标物、初始位置、光照和成功标准。
  4. 获取该 VLA 模型配套的相机、算力、动作空间与校准要求后,再配置运行环境。

一个任务如何组织

阶段 需要明确的内容
描述任务 用一句话说明目标,并定义完成与失败条件
获取观察 检查相机视角、图像与机器人状态是否符合模型要求
运行任务 使用模型配套的执行入口、动作映射与停止机制
评估结果 记录同一任务的多次尝试、成功次数及失败原因

VLA 与 ACT 都需要匹配设备、动作空间和相机。ACT 的模型包、运行环境和数据配置不能默认直接用于 VLA。

后续补齐的操作资料

模型与版本、支持的语言任务、下载及许可、算力要求、相机布置、执行入口、首次任务步骤和评估示例。更新后这些内容会出现在本页正文与右侧目录中。

现在即可体验的已公开策略教程:ACT 预训练体验。代码与模型发布入口:Star Arm 102 GitHub。

需要当前 VLA 配套资料时,请通过技术支持提供机械臂型号、计算设备、相机配置和希望执行的任务。