导出会从一个数据集版本生成可下载的数据包。导出在版本页面中发起,没有单独的导出页面。一个版本可以有多次导出,每次导出都有自己的格式和选项。
适用角色:所有者、编辑者(项目角色)。
开始之前
- 项目中已有一个数据集版本。
在版本上打开「导出」
从版本中打开版本,然后点击右上角的「导出」。
选择格式
选择「格式」。机器人项目可以选择所有格式;人类项目和视频项目不提供 RLDS 和 robomimic HDF5。选择 RLDS 或 robomimic HDF5 时,字段下方会有提示说明需要先做什么。
| 格式 | 用途 |
|---|---|
| 「LeRobot v3」 | 用于 LeRobot v3。这是默认格式。 |
| 「LeRobot v2.1」 | 用于 LeRobot v2.1。 |
| 「原始文件」 | 原始上传文件。 |
| 「MP4和JSON」 | MP4 视频加 JSON 元数据。 |
| 「RLDS」 | 用于 OpenVLA 和 Octo。需先在它们的加载配置中注册数据集。 |
| 「robomimic HDF5」 | 用于 robomimic。 |
设置数据包的内容
设置「切分方式」「划分」「包含标签」「视频编码」和「任务语言」。LeRobot v3、LeRobot v2.1 和 MP4和JSON 导出会包含相机视频。robomimic HDF5 还可以打开「包含相机图像」。图像会让文件大很多,预估中会显示大小。
| 信息项 | 说明 | 示例 |
|---|---|---|
| ① 「切分方式」 | 「任务片段」每个任务片段写一条记录;「子任务」每个子任务写一条。 | 任务片段 |
| ② 「划分」 | 要包含的划分:「训练集占比」「验证集占比」「测试集占比」。没有任务片段的划分不能选择。 | 训练集占比 |
| ③ 「包含标签」 | 把每个任务片段的标签加入数据包。 | 开 |
| ④ 「视频编码」 | 相机视频使用保留原片、H.264 或 AV1。 | H.264 |
| ⑤ 「任务语言」 | 数据包中任务文字的语言:英文或中文。 | 英文 |
检查导出内容
对话框顶部「导出内容预览」下显示数据包中的任务片段和录制数、尚未审核的 AI 提议任务片段,以及隐私问题。开始前请先看一遍。有隐私问题的录制会列在这里,不会显示为通过。
- 还没有记录同意文件:请在录制页面添加同意文件。
- 匿名化未通过:打开该录制,运行匿名化步骤并完成隐私检查。
- 含有暂无已批准脱敏的音频的录制。
开始导出
点击「开始」。导出会出现在版本页的「导出」区域,并显示状态。
下载数据包
状态为「已完成」时,点击该导出行的「下载」即可获得数据包。卡片页的「使用此版本」中有用 Hugging Face 工具加载同一版本的命令。命令行工具见命令行参考。
导出状态
| 状态 | 含义 |
|---|---|
| 「排队中」 | 导出等待开始。 |
| 「进行中」 | 正在生成数据包。 |
| 「已完成」 | 数据包已就绪。除非加载检查失败,此时会显示「下载」。 |
| 「已失败」 | 导出未完成。打开该行的「详情」查看原因。 |
加载检查
加载检查会用对应的加载器打开数据包。只有「已通过」才算通过,其他结果都不算通过。
| 结果 | 含义 |
|---|---|
| 「已通过」 | 加载器成功打开了数据包。 |
| 「结构已检查,加载器未运行」 | 文件结构完整,但加载器没有运行。这不算通过。 |
| 「未评估」 | 检查尚未运行。 |
| 「不适用」 | 该格式不需要这项检查。 |
| 「已失败」 | 数据包无法加载。「下载」会隐藏。 |
常见问题
找不到需要的格式
人类项目和视频项目不提供 RLDS 和 robomimic HDF5。这些格式请使用机器人项目导出。
「开始」不可用
没有选择任何划分,或者预览因隐私原因拒绝导出时,「开始」会保持不可用。查看预览了解缺少的内容。
导出比预期大
相机图像会让 robomimic HDF5 导出大很多。预估中会显示大小。如果导出可能超过存储上限,对话框会提示。