跳转至

VLA AI 工作台

适用版本: Wiki 在线版(上游提交 70f0de6)

版本 适配环境 入口
Wiki 在线版 Windows、macOS、Linux
桌面版 Chrome / Edge
打开 VLA AI 工作台

点击入口将在新标签页打开工作台,可以保留本页对照操作。

VLA AI 工作台面向 Star Arm 102-FL 从臂,通过相机观察、视觉 AI 和工具调用执行自然语言任务。你可以让它描述桌面物体、尝试抓取与放置,也可以手动预览关节目标和调整夹爪。

机械臂与相机连接到运行浏览器的电脑。使用本站入口无需安装 Docker;需要自行准备支持图片理解、工具调用和 Responses 接口的 AI 服务,本站不提供公共 API Key、模型权重或调用额度。

1. 功能与使用顺序

功能 所在区域 用途
设备连接与相机预览 连接与观察 连接从臂,绑定外部与腕部相机,保存设备配置
AI 服务配置 模型与动作配置 填写 API 地址、密钥和模型,验证连接与能力
自然语言任务 AI 与任务 开始会话、追加要求、查看回复和工具执行记录
手动控制 姿态与手动控制 预览关节目标、控制夹爪、查看实际反馈
停止任务 顶部“停止 AI 与运动” 中止当前 AI 与运动流程

第一次使用建议按 连接设备 → 检查画面 → 配置 AI → 观察任务 → 小范围抓放 的顺序操作。

2. 使用前准备

准备项 要求
机械臂 Star Arm 102-FL 从臂、电源和 USB 串口线,已完成首次连接与校准
摄像头 两个普通 USB 摄像头,分别用于外部全景和腕部近景
浏览器 桌面版 Chrome 或 Edge,通过本页 HTTPS 入口访问
AI 服务 支持图片理解、工具调用和 OpenAI 兼容 Responses 接口,准备服务地址、API Key 与模型名称
场景 光线充足、背景清楚,先使用海绵等轻小物体,明确标记目标区域

打开 VLA 前,先停止并断开控制台、ACT 工作台或其他程序中的串口连接,避免多个页面同时占用设备。

开始运动前检查

当前版本未集成环境碰撞检测。确认零位、关节映射和运动范围,清空机械臂周围的人员与障碍物。AI 可以直接调用运动工具;首次尝试应从小范围动作开始,并确保能及时使用现场硬件急停。

3. 工作台界面

VLA 工作台的从臂连接与相机授权

截图为未连接设备的界面。顶部选择 简体中文 可切换语言,浏览器会保存选择。展开“模型与动作配置”可填写 AI 服务;展开“关节目标与夹爪”可查看手动控制项。

4. 连接机械臂和相机

  1. 给机械臂接通电源,用 USB 数据线连接电脑。
  2. 在“连接与观察”中点击 选择串口并连接,选择从臂的 USB 串口。串口波特率需要与设备一致。
  3. 连接后点击 回读姿态,检查关节反馈与实际机械臂状态。
  4. 点击任一相机卡片中“绑定设备”旁的 授权 / 刷新,按浏览器提示授予相机权限。这一步可以在连接从臂前完成。
  5. 分别绑定外部相机和腕部相机,点击各自的 开启预览,确认全景与近景没有选反。
  6. 选择分辨率、帧率,点击 保存配置。

两台相机名称相同时,可逐台开启预览确认视角。画面卡顿时,先降低分辨率或帧率,或关闭暂不使用的一路相机。收起“连接与观察”区域不会断开设备。

5. 配置 AI 服务

展开 模型与动作配置,填写以下内容:

字段 填写说明
OpenAI 兼容 API 地址 填写服务商提供的 API 基础地址,例如 https://你的服务域名/v1;不要填写聊天网页地址或完整的 /responses 请求路径
API Key 填写该 AI 服务的有效密钥
模型 填写支持图片和工具调用的模型名称;可手动输入,也可尝试“刷新模型列表”
思考强度 使用所选模型支持的值;不确定时保留模型默认
服务档位 首次使用可保留 自动(服务端默认)。按服务商和模型的支持情况选择标准、快速(Fast)、极速(Ultrafast)、优先(Priority)或弹性(Flex)

从 Wiki 的 HTTPS 页面连接远程服务时,应使用 HTTPS API 地址;服务端还需允许来自 https://fashionstar.com.cn 的跨域请求(CORS)。仅支持文本聊天的接口不能满足本工作台需求。

开启相机预览后,点击 验证连接与能力,检查连接与工具调用,并核对返回的画面描述。验证通过后点击 保存 AI 配置。首次使用先保留其余动作参数,熟悉设备后再调整。

服务档位会随 AI 配置保存。各档位的速度、费用和可用性取决于服务商与模型,可在最近任务的统计中查看服务端回报的档位。如果选定档位后请求失败,可切回“自动”后重新验证。

任务指令和使用到的相机画面会发送到你配置的 AI 服务。API Key 与配置保存在当前浏览器中;清空密钥后保存,可移除已保存的密钥。不要在共享电脑上保留自己的密钥。

6. 发出第一个任务

6.1 先观察场景

在“AI 任务”中输入:

先不要移动机械臂。看看两路相机中的物体,描述海绵和目标区域的位置。

点击 开始会话,对照实际画面检查描述。观察提示不能替代现场监护,运行时仍需留意设备状态。

6.2 再尝试简单抓放

确认物体、目标区域和运动范围后,再输入:

把海绵移动到中心框,放稳后松开夹爪,再检查它是否在框内。

已有会话中点击 追加对话 并按提示确认,补充目标或要求;独立的新任务可以点击 新会话。从相机画面、实际关节反馈和工具执行记录判断结果,不只看模型的完成回复。

需要中止时,点击顶部 停止 AI 与运动。停止会取消后续调用并尝试让舵机保持当前位置与夹爪状态,不等同于断电或卸力;异常情况下使用现场硬件急停。

7. 手动预览与控制

在“姿态与手动控制”中展开 关节目标与夹爪:

  1. 输入少量关节目标变化,点击 预览目标,观察目标姿态。
  2. 确认范围和现场空间后,连接状态满足时再点击 执行关节目标。
  3. 夹爪通过 夹爪目标开口角 和 执行夹爪 单独控制。
  4. 对照实际回读确认动作结果;预览图不代表机械臂已经到位。

未连接设备时可以预览目标,执行按钮会受连接条件限制。不要在 AI 正在执行任务时穿插手动运动。

8. 保存、继续与正常结束

  • 保存设置: 设备区点击“保存配置”,AI 区点击“保存 AI 配置”;会话记录自动保存在当前浏览器中。
  • 刷新后继续: 重新连接串口、开启相机预览,再检查历史会话。未完成任务会标记为中断,不会自动重放动作。
  • 结束使用: 先点击“停止 AI 与运动”,确认设备状态;关闭两路相机预览,再点击“断开从臂”释放串口,按设备要求处理供电。

更换浏览器、网站域名或清理网站数据后,需要重新检查配置和设备授权。

9. 常见问题

现象 处理方法
无法选择串口 使用桌面 Chrome / Edge 和 HTTPS 入口,检查数据线及设备驱动
串口连接失败或无反馈 检查供电、波特率、所选端口,以及是否被其他网页或程序占用
相机无画面或选反 检查浏览器相机权限;分别开启单路预览,核对外部与腕部设备
两路相机同时开启卡顿 降低分辨率/帧率,或关闭暂不使用的一路,减少 USB 带宽占用
AI 验证失败 检查 API 基础地址、密钥、模型能力,以及服务端是否允许 Wiki 域名跨域请求
能聊天但不能识图或执行工具 确认服务和模型支持 Responses、图片输入与工具调用,重新运行“验证连接与能力”
手动执行按钮不可用 先连接机械臂并确认回读;未连接时只能预览
刷新后不能直接继续动作 重新连接串口和相机,核对现场状态后再追加指令

相关资源