Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >Colab PyTorch PyTorch ImportError:

Colab PyTorch PyTorch ImportError:
EN

Stack Overflow用户
提问于 2021-08-19 02:38:21
回答 3查看 2.7K关注 0票数 0

在谷歌的竞争,我已经尝试了所有三个运行时: CPU,GPU,TPU。都犯了同样的错误。

细胞:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# NB: Only run in TPU environment
!pip install cloud-tpu-client==0.10 https://storage.googleapis.com/tpu-pytorch/wheels/torch_xla-1.8-cp37-cp37m-linux_x86_64.whl
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
!pip -q install pytorch-lightning==1.2.7 transformers torchmetrics awscli mlflow boto3 pycm
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import os
import sys
import logging

from pytorch_lightning import LightningDataModule

错误:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ImportError                               Traceback (most recent call last)
<ipython-input-6-09509a67016b> in <module>()
      3 import logging
      4 
----> 5 from pytorch_lightning import LightningDataModule
      6 from torch.utils.data import DataLoader, Dataset
      7 from transformers import AutoTokenizer

/usr/local/lib/python3.7/dist-packages/pytorch_lightning/__init__.py in <module>()
     26 _PROJECT_ROOT = os.path.dirname(_PACKAGE_ROOT)
     27 
---> 28 from pytorch_lightning import metrics  # noqa: E402
     29 from pytorch_lightning.callbacks import Callback  # noqa: E402
     30 from pytorch_lightning.core import LightningDataModule, LightningModule  # noqa: E402

/usr/local/lib/python3.7/dist-packages/pytorch_lightning/metrics/__init__.py in <module>()
     12 # See the License for the specific language governing permissions and
     13 # limitations under the License.
---> 14 from pytorch_lightning.metrics.classification import (  # noqa: F401
     15     Accuracy,
     16     AUC,

/usr/local/lib/python3.7/dist-packages/pytorch_lightning/metrics/classification/__init__.py in <module>()
     12 # See the License for the specific language governing permissions and
     13 # limitations under the License.
---> 14 from pytorch_lightning.metrics.classification.accuracy import Accuracy  # noqa: F401
     15 from pytorch_lightning.metrics.classification.auc import AUC  # noqa: F401
     16 from pytorch_lightning.metrics.classification.auroc import AUROC  # noqa: F401

/usr/local/lib/python3.7/dist-packages/pytorch_lightning/metrics/classification/accuracy.py in <module>()
     16 import torch
     17 
---> 18 from pytorch_lightning.metrics.functional.accuracy import _accuracy_compute, _accuracy_update
     19 from pytorch_lightning.metrics.metric import Metric
     20 

/usr/local/lib/python3.7/dist-packages/pytorch_lightning/metrics/functional/__init__.py in <module>()
     12 # See the License for the specific language governing permissions and
     13 # limitations under the License.
---> 14 from pytorch_lightning.metrics.functional.accuracy import accuracy  # noqa: F401
     15 from pytorch_lightning.metrics.functional.auc import auc  # noqa: F401
     16 from pytorch_lightning.metrics.functional.auroc import auroc  # noqa: F401

/usr/local/lib/python3.7/dist-packages/pytorch_lightning/metrics/functional/accuracy.py in <module>()
     16 import torch
     17 
---> 18 from pytorch_lightning.metrics.classification.helpers import _input_format_classification, DataType
     19 
     20 

/usr/local/lib/python3.7/dist-packages/pytorch_lightning/metrics/classification/helpers.py in <module>()
     17 import torch
     18 
---> 19 from pytorch_lightning.metrics.utils import select_topk, to_onehot
     20 from pytorch_lightning.utilities import LightningEnum
     21 

/usr/local/lib/python3.7/dist-packages/pytorch_lightning/metrics/utils.py in <module>()
     16 import torch
     17 
---> 18 from pytorch_lightning.utilities import rank_zero_warn
     19 
     20 METRIC_EPS = 1e-6

/usr/local/lib/python3.7/dist-packages/pytorch_lightning/utilities/__init__.py in <module>()
     46 )
     47 from pytorch_lightning.utilities.parsing import AttributeDict, flatten_dict, is_picklable  # noqa: F401
---> 48 from pytorch_lightning.utilities.xla_device import XLADeviceUtils  # noqa: F401
     49 
     50 _TPU_AVAILABLE = XLADeviceUtils.tpu_device_exists()

/usr/local/lib/python3.7/dist-packages/pytorch_lightning/utilities/xla_device.py in <module>()
     21 
     22 if _XLA_AVAILABLE:
---> 23     import torch_xla.core.xla_model as xm
     24 
     25 #: define waiting time got checking TPU available in sec

/usr/local/lib/python3.7/dist-packages/torch_xla/__init__.py in <module>()
    126 import torch
    127 from ._patched_functions import _apply_patches
--> 128 import _XLAC
    129 
    130 

ImportError: /usr/local/lib/python3.7/dist-packages/_XLAC.cpython-37m-x86_64-linux-gnu.so: undefined symbol: _ZN2at11result_typeERKNS_6TensorEN3c106ScalarE
EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2021-08-19 06:08:44

在线搜索;导致这个问题的原因很多。

在我的例子中,将Accelerator设置为None In Google Colaboratory解决了这个问题。

票数 1
EN

Stack Overflow用户

发布于 2021-12-03 01:27:04

当火炬和火炬-xla版本不同时,会出现此错误.您可以使用pip list | grep torch检查两者的版本。

票数 1
EN

Stack Overflow用户

发布于 2021-08-27 07:05:21

似乎Google Colab和使用GPU混淆了,而云端tpu客户端已经安装好了。我卸载了这个软件包,然后它正常工作了。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
!pip uninstall cloud-tpu-client
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/68846290

复制
相关文章
【colab pytorch】模型定义
像卷积、池化、激活函数、批量归一化、全连接等等,只要把握好输入的维度和输出的维度,慢慢定义就好了。
西西嘛呦
2020/08/26
6940
【colab pytorch】张量操作
张量命名是一个非常有用的方法,这样可以方便地使用维度的名字来做索引或其他操作,大大提高了可读性、易用性,防止出错。
西西嘛呦
2020/08/26
1.4K0
【colab pytorch】张量操作
【colab pytorch】保存模型
保存模型总体来说有两种: 第一种:保存训练的模型,之后我们可以继续训练 (1)保存模型 state = { 'model': model.state_dict(), 'optimizer':optimizer.state_dict(), 'epoch': epoch } torch.save(state, path) model.state_dict():模型参数 optimizer.state_dict():优化器 epoch:保存epoch,为了可以接着训练 (2)恢复模型 checkpoint
西西嘛呦
2020/08/26
1.6K0
【colab pytorch】数据处理
其中 ToTensor 操作会将 PIL.Image 或形状为 H×W×D,数值范围为 [0, 255] 的 np.ndarray 转换为形状为 D×H×W,数值范围为 [0.0, 1.0] 的 torch.Tensor。
西西嘛呦
2020/08/26
4040
【colab pytorch】数据预处理
1、计算数据集的均值和方差 import os import cv2 import numpy as np from torch.utils.data import Dataset from PIL import Image def compute_mean_and_std(dataset): # 输入PyTorch的dataset,输出均值和标准差 mean_r = 0 mean_g = 0 mean_b = 0 for img, _ in dataset:
西西嘛呦
2020/08/26
3460
【colab pytorch】其它注意事项
不要使用太大的线性层。因为nn.Linear(m,n)使用的是 的内存,线性层太大很容易超出现有显存。 不要在太长的序列上使用RNN。因为RNN反向传播使用的是BPTT算法,其需要的内存和输入序列
西西嘛呦
2020/08/26
5800
【colab pytorch】其它注意事项
【colab pytorch】设置随机种子
为了保证在本机上的可复现性,需要设置随机种子: import numpy as np import torch np.random.seed(0) torch.manual_seed(0) torch.cuda.manual_seed_all(0) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False
西西嘛呦
2020/08/26
7430
【colab pytorch】指定使用的显卡
1、如果只需要使用一块显卡 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') 2、指定使用多块显卡:在python文件中指定 import os os.environ['CUDA_VISIBLE_DEVICES'] = '0,1' 3、在命令行中指定 CUDA_VISIBLE_DEVICES=0,1 python train.py 清空显存: torch.cuda.empty_cache() colab中默认是只有一块
西西嘛呦
2020/08/26
1.4K0
【colab pytorch】查看gpu、cuda、cudnn信息
还是以谷歌的colab为例,查看gpu、cuda、cudnn信息 import torch torch.__version__ '1.4.0' 也就是说colab上自带的pytorch版本是最新的1.4.0版本 torch.version.cuda '10.1' torch.backends.cudnn.version() cuda是计算平台,cudnn是GPU加速库,cuda和cudnn的版本要对应。 torch.cuda.get_device_name(0) 'Tesla T4' 目前使用的显卡是Tes
西西嘛呦
2020/08/26
6.4K0
【colab pytorch】使用tensorboardcolab可视化
import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch.utils.data import Dataset, DataLoader from torchvision import transforms, utils, datasets !pip install tensorboardcolab from tensorboardcolab import
西西嘛呦
2020/08/26
4040
【colab pytorch】模型权重初始化
注意 model.modules() 和 model.children() 的区别:model.modules() 会迭代地遍历模型的所有子层,而 model.children() 只会遍历模型下的一层。
西西嘛呦
2020/08/26
6580
【colab pytorch】使用tensorboard可视化
import datetime import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch.utils.data import Dataset, DataLoader from torchvision import transforms, utils, datasets from tensorflow import summary %load_ext t
西西嘛呦
2020/08/26
1K0
【colab pytorch】使用tensorboard可视化
Google Colab上的YOLOv3 PyTorch
对于计算机视觉爱好者来说,YOLO(一次只看一次)是一种非常流行的实时对象检测概念,因为它的速度非常快并且性能出色。
代码医生工作室
2020/04/14
2.6K0
Google Colab上的YOLOv3 PyTorch
【colab pytorch】训练和测试常用模板代码
写一个label_smoothing.py的文件,然后在训练代码里引用,用LSR代替交叉熵损失即可。label_smoothing.py内容如下:
西西嘛呦
2020/08/26
2.5K0
【colab pytorch】提取模型中的某一层
modules()会返回模型中所有模块的迭代器,它能够访问到最内层,比如self.layer1.conv1这个模块,还有一个与它们相对应的是name_children()属性以及named_modules(),这两个不仅会返回模块的迭代器,还会返回网络层的名字。
西西嘛呦
2020/08/26
1.7K0
【colab pytorch】FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a
目前colab的tensorflow版本是1.15.0,运行时会提醒你要更新为2.x版本的,使用以下命令进行更新:
西西嘛呦
2020/08/26
7890
创建pytorch环境_Udacity pytorch
搭建深度学习环境所需资料 (md 我就安个神经网络的环境简直要了我的狗命) 不过还是认识到很重要的一点,在书上找再多的资料 都不如自己亲身实践一下 还是要总结一下学了what 不然白捯饬了
全栈程序员站长
2022/09/25
7380
创建pytorch环境_Udacity pytorch
pytorch senet_lstm pytorch
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
全栈程序员站长
2022/11/10
8870
pytorch senet_lstm pytorch
基于pytorch_pytorch handbook
代码来源 少量中文注解 纯学习https://github.com/joosthub/PyTorchNLPBook/blob/master/chapters/chapter_5/5_2_CBOW/5_2_Continuous_Bag_of_Words_CBOW.ipynb
全栈程序员站长
2022/10/02
5900
pytorch: PyTorch中 使用 Tensorboard
因为工作需要,改用pytorch。但如何将训练过程可视化成了大问题。听说pytorch代码中可以插入tensorboard代码,第一反应是居然可以这么玩。。
JNingWei
2018/09/27
3.4K0
pytorch: PyTorch中 使用 Tensorboard

相似问题

Windows上的Pytorch提供了ImportError

41

如何在Google colab中更改pytorch版本

1579

PyTorch & Google Colab: ImageFolder不能加载所有图片

214

在Colab TPU上运行Pytorch堆叠模型

12

在Google Colab上运行和构建Pytorch

1110
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文