Pytorch Lightning在ddp模式下复制主脚本
PyTorch Lightning是一个轻量级的PyTorch训练框架，它简化了PyTorch模型训练过程中的繁琐步骤，提供了更高层次的抽象和自动化功能。在PyTorch Lightning中，ddp模式（Distributed Data Parallel）用于在多个GPU上进行分布式训练。
在ddp模式下，PyTorch Lightning会自动复制主脚本（主要是训练脚本）到每个GPU上，并在每个GPU上创建一个独立的进程来执行训练任务。每个进程都有自己的模型副本和数据加载器，它们之间通过分布式通信进行同步和更新。
ddp模式的优势在于能够充分利用多个GPU的计算能力，加速模型训练过程。通过数据并行的方式，每个GPU都可以处理一部分数据并计算梯度，然后将梯度进行全局同步，从而实现模型参数的更新。这种并行计算方式可以显著减少训练时间，提高训练效率。
PyTorch Lightning提供了简单易用的接口和内置功能来支持ddp模式下的分布式训练。例如，可以使用Trainer类的distributed_backend参数指定使用ddp模式，并设置gpus参数来指定使用的GPU数量。此外，还可以通过设置precision参数来控制训练过程中的精度，以及使用auto_lr_find参数来自动搜索最佳的学习率。
对于PyTorch Lightning在ddp模式下复制主脚本的具体实现细节，可以参考PyTorch Lightning的官方文档和源代码。以下是腾讯云提供的相关产品和产品介绍链接地址：
- 腾讯云GPU云服务器：提供高性能的GPU云服务器，适用于深度学习和模型训练任务。链接地址：https://cloud.tencent.com/product/cvm
- 腾讯云容器服务：提供基于Kubernetes的容器管理服务，支持快速部署和管理分布式训练任务。链接地址：https://cloud.tencent.com/product/tke
- 腾讯云弹性MapReduce：提供大规模数据处理和分布式计算的云服务，适用于处理大规模训练数据和模型训练任务。链接地址：https://cloud.tencent.com/product/emr
相关·内容
当我使用ddp模式(2个GPU)在集群上启动我的主脚本时，Pytorch Lightning会复制主脚本中执行的所有内容，例如打印或其他逻辑。我需要一些扩展的训练逻辑，我想自己处理。例如做某事(一次！)在Trainer.fit()之后。但是由于主脚本的重复，这并不能像我预期的那样工作。我也尝试将其包装在if __name__ == "__main__"中，但它不会改变行为。如何解决这个问题呢？或者，我如何在训练器对象周围使用一些逻辑，而不是重复的？
浏览 88提问于2021-02-18得票数 3
回答已采纳
1回答
我正在做一个元学习研究，并且正在使用learn2learn提供的MAML优化。然而，作为基准之一，我想测试一种非元学习方法，即传统的训练+测试。 Due to the lightning's internal usage of optimizer it seems that it is difficult to make the MAML work with learn2learn in lightning，所以我不能在我的元学习设置中使用lightning，但是对于我的基准，我真的喜欢使用lightning，因为它提供了许多方便的功能，比如深度速度或开箱即用的ddp。 这是我的问题
浏览 25提问于2021-07-13得票数 0
回答已采纳
1回答
我正在跟踪这个回购程序：
下面是一个小教程：
在开始本教程之前，将分支更改为r1.10.0
当我在整个UMLS数据集上训练这个模型时，给出了以下错误：
In automatic_optimization, when `training_step` returns a dict, the 'loss' key needs to be present
我检查了训练步骤的方法，很好：
def training_step(self, batch, batch_idx):
"""
Lightning calls this insid
浏览 7提问于2022-07-31得票数 -2
回答已采纳
1回答
如何使LSTM双向化？
、、、、
问题：，我需要对LSTMClassifier做什么改变，才能让这个LSTM双向工作？
我的修正案是基于这个。
我认为问题出在forward()。它通过切片学习LSTM神经网络的最后状态：
tag_space = self.classifier(lstm_out[:,-1,:])
我是否需要总结或连接2层/方向的值？
工作守则：
from argparse import ArgumentParser
import torchmetrics
import pytorch_lightning as pl
import torch
import torch.nn as nn
import tor
浏览 7提问于2022-01-26得票数 1
在谷歌的竞争，我已经尝试了所有三个运行时: CPU，GPU，TPU。都犯了同样的错误。
细胞：
# NB: Only run in TPU environment
!pip install cloud-tpu-client==0.10 https://storage.googleapis.com/tpu-pytorch/wheels/torch_xla-1.8-cp37-cp37m-linux_x86_64.whl
!pip -q install pytorch-lightning==1.2.7 transformers torchmetrics awscli mlflow boto3 pyc
浏览 8提问于2021-08-19得票数 0
回答已采纳
2回答
我用pip安装了火把-闪电，我在Mac上运行。我试过：
! pip install pytorch-lightning --upgrade
! pip install pytorch-lightning-bolts
(顺利完成)然后：
import pytorch_lightning as pl
我得到的是：
--
-------------------------------------------------------------------------
ImportError Traceback (most recent ca
浏览 54提问于2021-03-06得票数 1
下面的代码在单个GPU上工作，但在使用多个GPU时抛出一个错误: RuntimeError: grad只能为标量输出隐式创建。
代码
def forward(
self,
input_ids,
浏览 2提问于2021-01-29得票数 0
我的代码在下面(使用pytorch_lightning==1.3.1)
是kNN-KG.main.py项目中的代码。当我运行bash ./script/fb15k-237/fb15k.sh时，会出现错误.
import argparse
import importlib
from logging import debug
import numpy as np
import torch
import pytorch_lightning as pl
import lit_models
import yaml
import time
from transformers import AutoCon
浏览 19提问于2022-09-02得票数 0
我跟随这个在Google Colab TPU上启动了我的PyTorch Lightning项目。所以我安装了
!pip install cloud-tpu-client==0.10 https://storage.googleapis.com/tpu-pytorch/wheels/torch_xla-1.9-cp37-cp37m-linux_x86_64.whl
然后
!pip install pytorch-lightning
然后我
!pip install torch torchvision torchaudio
!pip install -r requirements.txt
在安
浏览 9提问于2021-11-27得票数 1
我正在使用!pip安装git+，但是当我导入pytorch_lightning时，会得到以下错误：
(/usr/local/lib/python3.7/dist-packages/pytorch_lightning/utilities/imports.py)：无法从“pytorch_lightning.utilities.imports”pytorch_lightning.utilities.imports导入名称“_RequirementAvailable”
一周前一切顺利..。
浏览 4提问于2022-07-31得票数 0
因此，我想建立一个PyTorch闪电码头形象，可以用于AWS。然而，当函数被调用时，它会引发一个OS错误，该错误声称它使用了只读文件系统，而wandb.py想要写一些东西。
我试过这些东西：
覆盖pytroch闪电的wandb.py文件，它不会在wandb ->引发错误。
在Dockerfile中执行python脚本，当调用lambda函数->相同的OS错误时，这些文件是在docker构建和存在时创建的。
有人知道跳过wandb.py的方法吗？
这是错误消息：
START RequestId: ddae284d-4f32-4dc6-8160-d1fa62ba9772
浏览 6提问于2021-03-12得票数 3
2回答
我正在使用微软的天(为学生) ML服务。然后我用笔记本工作，我不能进口火把-闪电里的东西。
!pip install pytorch-lightning==0.9.0
import pytorch_lightning as pl
这里我有错误：
ModuleNotFoundError Traceback (most recent call last)
Input In [1], in <module>
----> 2 import pytorch_lightning as pl
ModuleNotFoundError: No m
浏览 49提问于2022-02-20得票数 0
我有一个火把，我试图训练，但我得到了这个错误的AttributeError: 'list' object has no attribute 'view'。不知道我为什么要得到这个。
sample data
data = np.random.rand(400, 46, 55, 46)
ds = TensorDataset(torch.from_numpy(data))
train_ds, valid_ds = random_split(ds, (350, 50))
train_dl, valid_dl = DataLoader(train_ds), DataLoa
浏览 5提问于2022-02-25得票数 0
回答已采纳
即使是单实例培训，PyTorch DistributedDataParallel (DDP)通常也比PyTorch DataParallel (DP)推荐，因为DP的策略性能较差，并且在默认设备上使用更多的内存。(每单位)
拥抱脸可以通过python -m torch.distributed.launch启动器运行分布式培训，因为他们的训练器API支持DDP，但如果你不支持DDP，则会退回到DP。(每个)
我最近遇到了这个问题:将HF培训任务从p3.8xlarge扩展到更高级的p3.16xlarge，增加了(我认为)其中一个GPU的内存消耗，以至于我不得不大幅减少批处理大小，以避免数据自动化系
浏览 10提问于2022-09-08得票数 0
我已经建立了多个火把闪电项目在过去和建立一个新的快速演示项目，我偶然发现这个奇怪的错误，不知怎么我无法摆脱它。
这是我的模型文件的相关部分。
class TSModel(pl.LightningModule):
def __init__(self):
super().__init__()
self.backbone = nn.Sequential(
nn.Conv2d(3, 10, kernel_size=(3, 3), padding=(1, 1)),
nn.ReLU(),
nn.
浏览 22提问于2022-02-15得票数 0
我做了以下工作：
!pip install pytorch_lightning -qqq
import pytorch_lightning
但会得到以下错误：
ImportError Traceback (most recent call last)
<ipython-input-7-d883b15aac58> in <module>()
----> 1 import pytorch_lightning
----------------------------------9 frames--------
浏览 8提问于2021-03-09得票数 8
我正在编写PyTorch闪电教程。
因为我想尝试GPU培训，所以我更改了trainer的定义如下。
trainer = pl.Trainer(limit_train_batches=100, max_epochs=1, gpus=1)
然后我得到了以下错误。
RuntimeError Traceback (most recent call last)
Cell In [3], line 4
1 # train the model (hint: here are some helpful Trainer arguments
浏览 40提问于2022-10-20得票数 1
回答已采纳
2回答
如何选择公平竞争选项
、、、、
我正在学习如何使用实现一个简单的基于变压器的翻译模型。
我想在我的实验室服务器上使用2 GeForce RTX 3090 GPU。我应该为--ddp-backend of fairseq-train选择哪个选项
此外，您能解释一下--ddp-backend所有以下选项的含义以及何时分别使用它们吗？
来自
--ddp-backend
可能的选择: c10d，fully_sharded，legacy_ddp，no_c10d，pytorch_ddp
DistributedDataParallel后端
默认值：“pytorch_ddp”
我是新来的堆栈交换社区，抱歉，如果有任何不适当的行动。
浏览 11提问于2022-06-21得票数 1
我想在分类层(我使用的是PyTorch lightning)之前添加一个额外的层(和dropout)，最好的方法是什么？
浏览 62提问于2021-05-05得票数 0
回答已采纳
仅状态
>>> from pytorch_lightning.metrics import ConfusionMatrix
>>> target = torch.tensor([1, 1, 0, 0])
>>> preds = torch.tensor([0, 1, 0, 0])
>>> confmat = ConfusionMatrix(num_classes=2)
>>> confmat(preds, target)
这并没有说明如何在框架中使用度量。
我的尝试(方法还没有完成，只显示了相关部分)：
浏览 10提问于2020-12-29得票数 7
回答已采纳
我想导入TensorMetric：
from pytorch_lightning.metrics.metric import TensorMetric
程序抛出一个异常：
ModuleNotFoundError:没有名为“pytorch_lightning.metrics”的模块
我的环境是：
Python 3.8.13
tokenizers==0.9.2
torch==1.5.1
transformers==3.4.0
火把-闪电=0.9.0
tensorboard==2.2.0
浏览 4提问于2022-04-21得票数 0
回答已采纳
1回答
下面的代码可以工作： import torch
import pytorch_lightning as torchl
import pytorch_forecasting as torchf
from pytorch_forecasting.data.examples import get_stallion_data
x = torchf.data.examples.get_stallion_data()
print(x) 但是，如果我删除第四行，我会得到一个错误： AttributeError: module 'pytorch_forecasting.data' ha
浏览 74提问于2021-06-16得票数 0
我正在训练一个变分自动编码器，使用pytorch-lightning。我的pytorch-lightning代码与权重和偏差记录器一起工作。我正在尝试使用W&B参数扫描进行参数扫描。 超参数搜索过程基于我从this repo.获取的内容 运行的初始化是正确的，但是当我的训练脚本使用第一组超参数运行时，我得到以下错误： 2020-08-14 14:09:07,109 - wandb.wandb_agent - INFO - About to run command: /usr/bin/env python train_sweep.py --LR=0.02537477586974176
浏览 36提问于2020-08-14得票数 1
回答已采纳
当我试图用Py电筒闪电制作一个用于随意语言建模(给定一系列单词，预测下一个单词)的Huggingface模型时，我在训练中遇到了一个错误：
AttributeError：'str‘对象没有属性'size’
我们的训练代码出了什么问题？这是由于在Pytorch DataLoader中不正确地使用了DataLoader吗？
可复制的例子：
import os
from pathlib import Path
import torch
import pytorch_lightning as pl
from transformers import (
GPT2Config,
浏览 3提问于2021-03-27得票数 0
(ldm) C:\WBC\latent-diffusion-main>python scripts/txt2img.py --prompt "a sunset behind a mountain range, vector image" --ddim_eta 1.0 --n_samples 1 --n_iter 1 --H 384 --W 1024 --scale 5.0
Loading model from models/ldm/text2img-large/model.ckpt
Traceback (most recent call last):
File
浏览 39提问于2022-04-22得票数 3
回答已采纳
1回答
在我的env(colab)中，我需要以下库。以下是清单：
!pip install --quiet transformers==4.1.1
!pip install --quiet pytorch-lightning==1.1.3
#!pip install pytorch-lightning
!pip install --quiet tokenizers==0.9.4
!pip install --quiet sentencepiece==0.1.94
!pip install torchtext==0.8.0 torch==1.7.1 pytorch-lightning==1.1.3
在我
浏览 18提问于2021-10-20得票数 1
我正在使用VQGAN+CLIP_(Zooming)_(z+quantize_method_with_addons).ipynb Google，当我单击单元格“加载库和定义”时
它发送了一个错误：
ImportError Traceback (most recent call last)
<ipython-input-6-fe8fafeed45d> in <module>
24 from omegaconf import OmegaConf
25 from PIL import Image
-
浏览 251提问于2022-11-02得票数 2
我正试图通过Dreambooth训练一个模特，但我遇到了这个问题。我一直在寻找解决办法，但似乎都没有效果。我读到在变量中添加“.to(设备)”会有所帮助，但我不知道在哪里添加它们。我在想，是否有人可以根据下面的错误告诉在哪里添加它们，或者是否有人对如何修复它有建议。我是初学者，所以请容忍我。
Traceback (most recent call last):
File "main.py", line 835, in <module>
trainer.fit(model, data)
File "C:\Users\User\miniconda
浏览 14提问于2022-10-02得票数 -1
我想使用pytorch-lightning将模型权重保存到mlflow跟踪。pytorch-lightning支持。但是，似乎不支持将模型权重保存为mlflow上的工件。
一开始，我计划重写类来做这件事，但我发现这对我来说很困难，因为复杂的Mixin操作。
有谁知道实现它的简单方法吗？
浏览 61提问于2019-12-03得票数 4
我在一个新的远程服务器上运行，这是一个曾经在另一个远程服务器上运行的代码。我想我用同样的方式设置了一些东西，但是当我运行我的训练脚本时，我得到了这个错误： Traceback (most recent call last):
File "/home/andrea/code/vertikal-machine-learning/source/model/hss_bearing_mk2/hss_bearing_mk2/models/train_model.py", line 144, in <module>
seq_len=seq_len, mname=mn
浏览 44提问于2021-10-11得票数 0
回答已采纳
1回答
计算精度问题
、、、
我正在用火炬计量学来计算我的模型的准确性。但我得到了这个错误。我尝试使用.to(device="cuda:0")，但是我得到了一个cuda初始化错误。我也尝试过使用.cuda()，但这也不起作用。我使用PyTorch闪电与泰坦Xp GPU。我使用的是电影镜头数据集的mish激活函数。
代码：
# %% [markdown]
# # Data Preprocessing
#
# Before we start building and training our model, let's do some preprocessing to get the data in t
浏览 2提问于2021-05-04得票数 1
回答已采纳
我已经使用conda安装了pytorch版本1.10.0和torchtext、torchvision和torchaudio。我的PyTorch是纯cpu的，我已经试验了conda install pytorch-mutex -c pytorch和conda install pytorch cpuonly -c pytorch来安装cpuonly版本，这两个版本都产生了我将在下面几行中描述的相同的错误。
我还在conda中安装了pytorch-lightning，并在环境中通过pip安装了jsonargparse[summaries。
我编写了这段代码来查看LightningCLI是否工作。
#
浏览 2提问于2021-11-24得票数 2
回答已采纳
1回答
我无法训练一个自我监督(Ssl)模型，以便使用轻松的cli：创建图像嵌入。我打算从我的数据集中选择不同的例子来创建一个更下游的对象检测模型，使用ssl模型创建的图像嵌入将帮助我执行活动学习，我在带有公共访问的笔记本中复制了错误-> 。
在上面共享的笔记本中，此cmd引发异常：
!source /content/venv_1/bin/activate;lightly-magic \
input_dir="/content/Sunflowers" trainer.max_epochs=20 \
token='< your lightly toke
浏览 23提问于2022-08-04得票数 1
1回答
我想测试免费的议会联盟运行时在纸空间，因此，我做了一个免费的帐户，并选择了HuggingFace +议会联盟笔记本。
之后，我创建了以下非常简单的笔记本电脑，并使用Pytorch闪电在MNIST上执行分类(最简单的例子)：
!python3 -m pip install torchvision==0.11.1
!python3 -m pip install pytorch_lightning
import torch
from torch.nn import functional as F
import pytorch_lightning as pl
from torch.utils.d
浏览 50提问于2022-10-13得票数 1
1回答
我对PyTorch比较陌生，但我对Keras和TensorFlow有很好的经验。我遵循这个在我自己的培训脚本上使用DDP。然而，出于某种原因，我总是得到：
进程0以退出状态1终止。
我曾尝试在多个GPU平台(Google、Kaggle、Floyd )上运行相同的代码，但它们几乎都给我带来了相同的错误。
我也尝试过禁用join=True选项，但是培训过程甚至没有开始。
与DDP相关的代码：
def setup(rank, world_size):
os.environ['MASTER_ADDR'] = 'localhost'
os.envi
浏览 0提问于2019-07-06得票数 3
目前，我已经在我的conda环境中安装了1.8.0版本的火炬：
pytorch 1.8.0 cpu_py39hc766e51_1 conda-forge
最新的稳定版本是1.10.0，它列在conda search的输出中。
pytorch 1.10.0 cpu_py39h7601aee_0 conda-forge
但是，当我试图通过conda install pytorch=1.10安装更新版本时，我会收到包冲突的消息：
Package sleef conflicts for:
tor
浏览 21提问于2021-12-27得票数 0
我有一个模型，它可以在一个GPU上训练得很好。但是当我切换到Pytorch分布式数据并行(DDP)时，我得到了CUDA内存错误。具体来说，与没有并行性的模型相比，DDP模型占用了两倍的内存。下面是一个最小的可重现性示例：
import os
from torch.nn.parallel import DistributedDataParallel as DDP
import torch.distributed as dist
import torch.multiprocessing as mp
import torch
def train(rank, gpu_list, train_dist
浏览 10提问于2021-08-27得票数 2
回答已采纳
目标:在LSTM中实现双向性。
我是深度学习的新手，选择了pytorch-lightening作为最低限度的编码。由于以往员额的答复，已经取得了进展。
forward()现在需要为nn.LSTM(... bidirectional=True)提供便利。
我的最新修正是基于这个。
错误
错误是基于形状的不匹配。
哪些数据需要为哪一层进行造型？
我离我的深度很远。
RuntimeError: shape '[-1, 38]' is invalid for input of size 1
代码
from argparse import ArgumentParser
import
浏览 3提问于2022-02-07得票数 0
我有一个模型，我试图在DDP模式下与培训师一起使用。
import pytorch_lightning as pl
import torch
import torchvision
from torchmetrics import Accuracy
class Model(pl.LightningModule):
def __init__(
self,
model_name: str,
num_classes: int,
model_hparams: Dict["str", Union[str, int]]
浏览 14提问于2022-01-07得票数 1
回答已采纳
我在SageMaker PyTorch培训DLC 1.8.1上使用了DDP，代码看起来是正确的DDP格式。我使用的是instance_count = 2，并且启动了新的torch.distributed.launch，我相信级别和世界大小都是正确设置的，但是dist.init_process_group却在等待和超时。
RuntimeError: Timed out initializing process group in store based barrier on rank: 0, for key: store_based_barrier_key:1 (world_size=2, wor
浏览 103提问于2022-09-09得票数 0
1回答
我训练了一个香草vae，它是我从this repository修改的。当我尝试使用经过训练的模型时，我无法使用load_from_checkpoint加载权重。我的checkpoint对象和我的lightningModule对象似乎不匹配。 我已经使用pytorch-lightning LightningModule设置了一个实验(VAEXperiment)。我尝试使用以下命令将权重加载到网络中： #building a new model
model = VanillaVAE(**config['model_params'])
model.build_layers()
#
浏览 23提问于2020-08-04得票数 4
回答已采纳
当我遵循Youtube教程时，当他们试图导入pytorch_lightning时，我的代码就会中断。我在我的PyCharm环境中也遇到了类似的问题，但是它已经消失了，我不知道为什么。
提供的错误是
import pytorch_lightning as pl fails with ValueError: transformers.models.auto._spec_ is None.
这是我的可乐笔记本：
我决定试着用一个新笔记本中的一个最小的子示例来复制错误：。
在新的笔记本里，它进口得很好。为什么它在我的实际笔记本中，我得到一个错误？
Update :结束我的运行时会话并重新启动它解决了这
浏览 0提问于2022-01-19得票数 0
我正在尝试执行一个python文件，其中包含具有闪电和火炬视觉模块的py手电筒。但是，在我下载并成功地在pi3中安装了pytorch的whl文件之后，我一次又一次地收到相同的错误。错误是
ModuleNotFoundError: No module named 'pytorch_lightning.metrics'
帮助将是非常感谢的，因为我被困超过3天。我已经用pip安装了模块。
浏览 29提问于2021-03-25得票数 4
Pytorch Lighting Flash听起来真的很有前途。我试图在https://lightning-flash.readthedocs.io/上运行最基本的教程，但我无法让它们运行。 例如，我在https://lightning-flash.readthedocs.io/en/stable/reference/object_detection.html这里使用https://lightning-flash.readthedocs.io/en/latest/installation.html的安装说明来运行这个对象检测示例。 我尝试了几种安装方法，但都不起作用。例如： pip inst
浏览 51提问于2021-09-25得票数 0
1回答
on_train_epoch_end，的文档声明：
在时代结束时访问所有批处理输出的，或者：
在LightningModule中实现training_epoch_end，并通过回调实现内的列车批处理挂钩或缓存数据访问输出，以在此钩子中进行后处理。
我试图使用以下LightningModule和回调设置的第一个替代方案：
import pytorch_lightning as pl
from pytorch_lightning import Callback
class LightningModule(pl.LightningModule):
def __init__(self, *
浏览 26提问于2022-05-05得票数 1
我对hydra非常陌生，我正在努力更好地理解config.yaml文件。我正在做一个深度学习实验，我有两个独立的模型，一个嵌入网络和一个简单的完全连接的神经网络。第一个是创建特性，第二个是对结果进行微调。我想快速访问与这两种模型的配置相关的一些参数。现在，我只是尝试将所有内容合并到同一个config.yaml文件中。
parameters_embnet:
_target_: model.EmbNet_Lightning
model_name: 'EmbNet'
num_atom_feats: 200
dim_target: 128
los
浏览 4提问于2022-11-05得票数 0
我正在查看PyTorch-Lightning正式文档上提供的示例。
在这里，损失和公制是计算混凝土批。但是，当测井时，人们对某一批的精度不感兴趣，因为它可能很小，不具有代表性，而是整个年代的平均值。我是否正确地理解了，有一些代码对所有批执行平均，通过这个时代？
import pytorch_lightning as pl
from pytorch_lightning.metrics import functional as FM
class ClassificationTask(pl.LightningModule):
def __init__(self, model):
浏览 3提问于2021-03-07得票数 4
回答已采纳
我有一些使用MySQL的SQLAlchemy ORM代码，但是当我将底层数据库更改为Sql Server时，我得到消息模块'user_group‘没有在名称'foreign_keys’下注册的映射类。
下面是其中一个主要类的ORM定义：
class User(Base):
__tablename__ = 'user'
__table_args__ = (
{'schema':'admn'}
)
user_id = Column(Integer, autoincrement=True
浏览 4提问于2018-01-13得票数 1
回答已采纳
我使用了PyTorch预测和PyTorch闪电的组合，但遇到了一个奇怪的错误。下面是一些代码。 batch_size = 128
train_dataloader = training.to_dataloader(train=True, batch_size=batch_size, num_workers=8)
val_dataloader = validation.to_dataloader(train=False, batch_size=batch_size, num_workers=8)
.
.
.
tft = TemporalFusionTransformer.from_data
浏览 66提问于2021-08-07得票数 0
回答已采纳
1回答
火炬闪电推断
、、、
我用pytorch lightning训练了一个模型，特别欣赏了使用多个GPU的简单性。现在，经过培训，我如何仍然可以利用闪电GPU特性在测试集上运行推理，并存储/导出预测？
并没有针对这一点。
提前谢谢。
浏览 2提问于2021-05-01得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
