算法是工作流中一个步骤运行的代码。「算法」页列出平台提供的内置算法,以及团队注册的算法。
适用角色:团队角色所有者、管理员、研究员和查看者可以查看列表。创建团队算法需要算法编写权限:所有者、管理员、研究员。
| 区域 | 作用 |
|---|---|
| ① 「内置」与「自定义」 | 在平台算法和团队算法之间切换。 |
| ② 「新建算法」 | 创建团队算法。见团队算法。 |
| ③ 「更多操作」 | 打开这一页的更多操作菜单。 |
| ④ 算法列表 | 内置算法按阶段分组。点击名称可查看详情。 |
内置算法
内置算法是只读的。在这个列表中,你不能编辑、发布、校验或运行它们。它们在工作流中作为步骤运行。
| 阶段 | 算法 | 作用 |
|---|---|---|
| 接入 | 接收数据 | 读取上传内容,记录数据类型、格式、时长、相机和已有的位姿信号。 |
| 预检 | 提取指标 | 测量原始录制(ROS bag、MCAP 或视频),并写出标准化前的质量指标。 |
| 预检 | 质量门禁 | 标准化前检查质量指标,未通过的录制会停止处理。 |
| 标准化 | 标准化 | 按设备配置把录制转换为 30 Hz 的 LeRobot v3 格式。 |
| 标准化 | 视频标准化 | 把第一人称视频转换为 30 Hz 的 LeRobot v3 格式,音频会被丢弃。 |
| 隐私 | 脱敏 | 遮蔽录制中所有相机画面里的人脸和车牌,需要 GPU。 |
| 感知 | 相机位姿(VIO) | 用头部双目画面和 IMU 估计每一帧的头部位姿。 |
| 感知 | 手部姿态 | 用两路头部相机画面提取三维手部关键点。 |
| 感知 | 传感器标定 | 从每个录制测量双目旋转和相机与 IMU 的时间偏移。 |
| 感知 | 双目深度 | 用双目画面计算左侧头部相机的度量深度,需要至少 9 GB 显存的 GPU。 |
| 标注 | 提议任务片段 | 用视觉语言模型提议任务片段的起止、指令和技能,提议未经审核。 |
| 组合 | 合成录制 | 把脱敏后的录制与手部、头部位姿和深度结果合并为一个录制。 |
| 保存结果 | 保存结果 | 保存一个录制的质量报告和任务片段。 |
| 检查 | 评估质量 | 把各步骤指标汇总为录制的质量报告。 |
| 检查 | 发布报告 | 发布本批次的质量报告。 |
| 检查 | 校验标准化结果 | 检查标准化后的录制是否满足最低格式要求。 |
| 检查 | 视觉指标 | 在抽样画面上测量曝光、模糊、冻结帧和相机掉线。 |
| 导出 | LeRobot 导出 | 把数据集版本导出为 LeRobot v3 压缩包。 |