VLA AI 工作台
适用版本: Wiki 在线版(上游提交 70f0de6)
| 版本 | 适配环境 | 入口 |
|---|---|---|
| Wiki 在线版 | Windows、macOS、Linux 桌面版 Chrome / Edge |
打开 VLA AI 工作台 |
点击入口将在新标签页打开工作台,可以保留本页对照操作。
VLA AI 工作台面向 Star Arm 102-FL 从臂,通过相机观察、视觉 AI 和工具调用执行自然语言任务。你可以让它描述桌面物体、尝试抓取与放置,也可以手动预览关节目标和调整夹爪。
机械臂与相机连接到运行浏览器的电脑。使用本站入口无需安装 Docker;需要自行准备支持图片理解、工具调用和 Responses 接口的 AI 服务,本站不提供公共 API Key、模型权重或调用额度。
1. 功能与使用顺序
| 功能 | 所在区域 | 用途 |
|---|---|---|
| 设备连接与相机预览 | 连接与观察 | 连接从臂,绑定外部与腕部相机,保存设备配置 |
| AI 服务配置 | 模型与动作配置 | 填写 API 地址、密钥和模型,验证连接与能力 |
| 自然语言任务 | AI 与任务 | 开始会话、追加要求、查看回复和工具执行记录 |
| 手动控制 | 姿态与手动控制 | 预览关节目标、控制夹爪、查看实际反馈 |
| 停止任务 | 顶部“停止 AI 与运动” | 中止当前 AI 与运动流程 |
第一次使用建议按 连接设备 → 检查画面 → 配置 AI → 观察任务 → 小范围抓放 的顺序操作。
2. 使用前准备
| 准备项 | 要求 |
|---|---|
| 机械臂 | Star Arm 102-FL 从臂、电源和 USB 串口线,已完成首次连接与校准 |
| 摄像头 | 两个普通 USB 摄像头,分别用于外部全景和腕部近景 |
| 浏览器 | 桌面版 Chrome 或 Edge,通过本页 HTTPS 入口访问 |
| AI 服务 | 支持图片理解、工具调用和 OpenAI 兼容 Responses 接口,准备服务地址、API Key 与模型名称 |
| 场景 | 光线充足、背景清楚,先使用海绵等轻小物体,明确标记目标区域 |
打开 VLA 前,先停止并断开控制台、ACT 工作台或其他程序中的串口连接,避免多个页面同时占用设备。
开始运动前检查
当前版本未集成环境碰撞检测。确认零位、关节映射和运动范围,清空机械臂周围的人员与障碍物。AI 可以直接调用运动工具;首次尝试应从小范围动作开始,并确保能及时使用现场硬件急停。
3. 工作台界面
截图为未连接设备的界面。顶部选择 简体中文 可切换语言,浏览器会保存选择。展开“模型与动作配置”可填写 AI 服务;展开“关节目标与夹爪”可查看手动控制项。
4. 连接机械臂和相机
- 给机械臂接通电源,用 USB 数据线连接电脑。
- 在“连接与观察”中点击 选择串口并连接,选择从臂的 USB 串口。串口波特率需要与设备一致。
- 连接后点击 回读姿态,检查关节反馈与实际机械臂状态。
- 点击任一相机卡片中“绑定设备”旁的 授权 / 刷新,按浏览器提示授予相机权限。这一步可以在连接从臂前完成。
- 分别绑定外部相机和腕部相机,点击各自的 开启预览,确认全景与近景没有选反。
- 选择分辨率、帧率,点击 保存配置。
两台相机名称相同时,可逐台开启预览确认视角。画面卡顿时,先降低分辨率或帧率,或关闭暂不使用的一路相机。收起“连接与观察”区域不会断开设备。
5. 配置 AI 服务
展开 模型与动作配置,填写以下内容:
| 字段 | 填写说明 |
|---|---|
| OpenAI 兼容 API 地址 | 填写服务商提供的 API 基础地址,例如 https://你的服务域名/v1;不要填写聊天网页地址或完整的 /responses 请求路径 |
| API Key | 填写该 AI 服务的有效密钥 |
| 模型 | 填写支持图片和工具调用的模型名称;可手动输入,也可尝试“刷新模型列表” |
| 思考强度 | 使用所选模型支持的值;不确定时保留模型默认 |
| 服务档位 | 首次使用可保留 自动(服务端默认)。按服务商和模型的支持情况选择标准、快速(Fast)、极速(Ultrafast)、优先(Priority)或弹性(Flex) |
从 Wiki 的 HTTPS 页面连接远程服务时,应使用 HTTPS API 地址;服务端还需允许来自 https://fashionstar.com.cn 的跨域请求(CORS)。仅支持文本聊天的接口不能满足本工作台需求。
开启相机预览后,点击 验证连接与能力,检查连接与工具调用,并核对返回的画面描述。验证通过后点击 保存 AI 配置。首次使用先保留其余动作参数,熟悉设备后再调整。
服务档位会随 AI 配置保存。各档位的速度、费用和可用性取决于服务商与模型,可在最近任务的统计中查看服务端回报的档位。如果选定档位后请求失败,可切回“自动”后重新验证。
任务指令和使用到的相机画面会发送到你配置的 AI 服务。API Key 与配置保存在当前浏览器中;清空密钥后保存,可移除已保存的密钥。不要在共享电脑上保留自己的密钥。
6. 发出第一个任务
6.1 先观察场景
在“AI 任务”中输入:
先不要移动机械臂。看看两路相机中的物体,描述海绵和目标区域的位置。
点击 开始会话,对照实际画面检查描述。观察提示不能替代现场监护,运行时仍需留意设备状态。
6.2 再尝试简单抓放
确认物体、目标区域和运动范围后,再输入:
把海绵移动到中心框,放稳后松开夹爪,再检查它是否在框内。
已有会话中点击 追加对话 并按提示确认,补充目标或要求;独立的新任务可以点击 新会话。从相机画面、实际关节反馈和工具执行记录判断结果,不只看模型的完成回复。
需要中止时,点击顶部 停止 AI 与运动。停止会取消后续调用并尝试让舵机保持当前位置与夹爪状态,不等同于断电或卸力;异常情况下使用现场硬件急停。
7. 手动预览与控制
在“姿态与手动控制”中展开 关节目标与夹爪:
- 输入少量关节目标变化,点击 预览目标,观察目标姿态。
- 确认范围和现场空间后,连接状态满足时再点击 执行关节目标。
- 夹爪通过 夹爪目标开口角 和 执行夹爪 单独控制。
- 对照实际回读确认动作结果;预览图不代表机械臂已经到位。
未连接设备时可以预览目标,执行按钮会受连接条件限制。不要在 AI 正在执行任务时穿插手动运动。
8. 保存、继续与正常结束
- 保存设置: 设备区点击“保存配置”,AI 区点击“保存 AI 配置”;会话记录自动保存在当前浏览器中。
- 刷新后继续: 重新连接串口、开启相机预览,再检查历史会话。未完成任务会标记为中断,不会自动重放动作。
- 结束使用: 先点击“停止 AI 与运动”,确认设备状态;关闭两路相机预览,再点击“断开从臂”释放串口,按设备要求处理供电。
更换浏览器、网站域名或清理网站数据后,需要重新检查配置和设备授权。
9. 常见问题
| 现象 | 处理方法 |
|---|---|
| 无法选择串口 | 使用桌面 Chrome / Edge 和 HTTPS 入口,检查数据线及设备驱动 |
| 串口连接失败或无反馈 | 检查供电、波特率、所选端口,以及是否被其他网页或程序占用 |
| 相机无画面或选反 | 检查浏览器相机权限;分别开启单路预览,核对外部与腕部设备 |
| 两路相机同时开启卡顿 | 降低分辨率/帧率,或关闭暂不使用的一路,减少 USB 带宽占用 |
| AI 验证失败 | 检查 API 基础地址、密钥、模型能力,以及服务端是否允许 Wiki 域名跨域请求 |
| 能聊天但不能识图或执行工具 | 确认服务和模型支持 Responses、图片输入与工具调用,重新运行“验证连接与能力” |
| 手动执行按钮不可用 | 先连接机械臂并确认回读;未连接时只能预览 |
| 刷新后不能直接继续动作 | 重新连接串口和相机,核对现场状态后再追加指令 |
