问PyTorch的non_blocking=True在数据预取中的正确使用

EN

当模型被训练在GPU上时，我正在研究从CPU中预取数据到GPU中。与GPU模型训练重叠的CPU到GPU数据传输似乎需要两者同时进行。

1. 用data = data.cuda(non_blocking=True)向GPU传输数据
2. 使用train_loader = DataLoader(..., pin_memory=True)将数据引脚到CPU内存

但是，我无法理解如何在这个官方PyTorch示例中执行非阻塞传输，特别是这个代码块：

for i, (images, target) in enumerate(train_loader):
        # measure data loading time
        data_time.update(time.time() - end)

        if args.gpu is not None:
            images = images.cuda(args.gpu, non_blocking=True)
        if torch.cuda.is_available():
            target = target.cuda(args.gpu, non_blocking=True)

        # compute output
        output = model(images)
        loss = criterion(output, target)

images.cuda(non_blocking=True)和target.cuda(non_blocking=True)不需要在执行output = model(images)之前完成。由于这是一个同步点，images必须首先完全传输到CUDA设备上，因此数据传输步骤不再是有效的无阻塞的。

由于output = model(images)是阻塞的，在下一个for循环的i迭代中，在计算模型输出之前不会发生for和target.cuda()，这意味着在下一个循环迭代中没有预取。

如果这是正确的，那么执行数据预取到GPU的正确方法是什么？