微调Isaac GR00T N1.5 用于 LeRobot 机械手臂

NVIDIA Isaac GR00T(Generalist Robot 00 Technology)是构建机器人基础模型和数据管道的研发平台,旨在加速智能、适应性强的机器人的创造。

上周NVIDIA宣布推出Isaac GR00T N1.5,这是Isaac GR00T N1的首次重大更新,这是世界上第一个用于通用人形机器人推理和技能的开放基础模型。这种交叉嵌入模型处理多模式输入,包括语言和图像,以执行跨不同环境的操作任务。它通过针对特定实施例、任务和环境的后期培训进行适应性。

在这个博客中,将演示如何使用单个SO-101机器人手臂的远程操作数据进行后训练(微调)GR00T N1.5。

图片

GR00T N1.5技术博客:https://research.nvidia.com/labs/gear/gr00t-n1_5/

分步教程

现在,使用各种机器人外形的开发人员可以使用GR00T N1.5,使用经济实惠的开源LeRobot SO-101臂可以轻松微调和调整。

这种灵活性是由EmbodimentTag系统允许针对不同机器人平台无缝定制模型,使业余爱好者,研究人员和工程师能够根据自己的硬件定制先进的人形推理和操作功能。

步骤 0: 安装

在进行安装之前,检查是否满足先决条件：https://github.com/NVIDIA/Isaac-GR00T?tab=readme-ov-file#prerequisites

0.1 Clone Isaac-GR00T Repo

git clone https://github.com/NVIDIA/Isaac-GR00T
cd Isaac-GR00T

0.2 创造环境

conda create -n gr00t python=3.10
conda activate gr00t
pip install --upgrade setuptools
pip install -e .[base]
pip install --no-build-isolation flash-attn==2.7.1.post4

步骤1:数据集准备

用户可以使用任何LeRobot数据集微调GROOT N1.5。对于本教程,table cleanup task我们将使用table-clearup任务作为微调的示例。

https://huggingface.co/spaces/lerobot/visualize_dataset?path=%2Fyouliangtan%2Fso100-table-cleanup%2Fepisode_0

要注意的是,SO-100 或 SO-101 的数据集不在 GR00T N1.5 的初始预训练中。因此,我们将把它训练成new_embodiment. .

图片

1.1 创建或下载数据集

对于本教程,您可以通过按照这些说明(https://huggingface.co/blog/nvidia/gr00t-n1-5-so101-tuning?linkId=100000369274264#01-clone-the-isaac-gr00t-repo)创建自己的自定义数据集,so101-table-cleanup（https://huggingface.co/datasets/youliangtan/so101-table-cleanup） 或者从Hugging Face下载so101表cleanup数据集。因--local-dir参数指定数据集将保存在计算机上的位置。

huggingface-cli download \
    --repo-type dataset youliangtan/so101-table-cleanup \
    --local-dir ./demo_data/so101-table-cleanup

1.2 配置模式文件

因modality.json文件提供了有关状态和操作模式的附加信息,使其“GR00T兼容”。复制过getting_started/examples/so100_dualcam__modality.json到数据集<DATASET_PATH>/meta/modality.json使用此命令:

cp getting_started/examples/so100_dualcam__modality.json ./demo_data/so101-table-cleanup/meta/modality.json

注意:对于单摄像头设置,如 so100_strawberry_grape,运行:

cp getting_started/examples/so100__modality.json ./demo_data/<DATASET_PATH>/meta/modality.json

完成这些步骤后,可以使用 GR00T 加载数据集LeRobotSingleDatasetclass。加载数据集的示例脚本显示在这里:

python scripts/load_dataset.py --dataset-path ./demo_data/so101-table-cleanup --plot-state-action --video-backend torchvision_av

步骤2:微调模型

微调GR00T N1.5可以使用Python脚本执行。scripts/gr00t_finetune.py. .要开始微调,请从终端执行以下命令:

python scripts/gr00t_finetune.py \
   --dataset-path ./demo_data/so101-table-cleanup/ \
   --num-gpus 1 \
   --output-dir ./so101-checkpoints  \
   --max-steps 10000 \
   --data-config so100_dualcam \
   --video-backend torchvision_av

提示:默认微调设置需要 ~25G 的 VRAM。如果您没有那么多 VRAM,请尝试添加--no-tune_diffusion_model旗帜 到gr00t_finetune.py脚本。

步骤3:开环评估

一旦训练完成并生成微调策略,您可以通过运行以下命令在开环设置中可视化其性能:

python scripts/eval_policy.py --plot \
   --embodiment_tag new_embodiment \
   --model_path <YOUR_CHECKPOINT_PATH> \
   --data_config so100_dualcam \
   --dataset_path ./demo_data/so101-table-cleanup/ \
   --video_backend torchvision_av \
   --modality_keys single_arm gripper

恭喜!您已成功在新实施例上微调GR00T-N1.5。

步骤4:部署

在成功微调和评估策略后,最后一步是将其部署到物理机器人上,以执行实际执行。

要连接 SO-101 机器人并开始评估,请在终端执行以下命令:

python getting_started/examples/eval_lerobot.py \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=lil_guy \
    --robot.cameras="{ wrist: {type: opencv, index_or_path: 9, width: 640, height: 480, fps: 30}, front: {type: opencv, index_or_path: 15, width: 640, height: 480, fps: 30}}" \
    --policy_host=10.112.209.136 \
    --lang_instruction="Grab pens and place into pen holder."

由于我们使用不同的语言指令对GRO0T-N1.5进行了微调,因此用户可以通过使用数据集中的任务提示之一来引导策略the dataset,例如:

取胶带并放入笔架中