batch.data), torch.tensor(batch.label)
return len(self.data) 我需要我的数据加载器永远运行我如何让它永远运行，我不关心'index‘，我没有使用它。我只是简单地使用这个类的worker功能。
浏览 12提问于2019-04-16得票数 0
2回答
我感兴趣的是如何按照顺序组合多个DataLoader来进行培训。我知道我可以首先使用ConcatDataset组合数据集，但这并不适用于我的用例。我有一个自定义的collate_fn，它被传递给每个数据中心，这个函数依赖于底层Dataset的一个属性。__init__(collate_fn = collate_fn, *args, **kwargs)
其中ref是自定义Dataset类的属性，在初始化CollateLoader时传递。那么，我将如何组合多个DataLoader？在PyTorch-Light
浏览 24提问于2022-04-06得票数 0
我感兴趣的是如何将转换应用到由PyTorch DataLoader类生成的批处理中。我的最小例子是这样的： def __iter__(self): return some_function(result)for X, y in loader:
X = some_funct
浏览 8提问于2022-04-04得票数 0
我目前正在尝试制作一个自定义的PyTorch DataLoader。我知道，在第一次声明DataLoader对象时设置drop_last=True会告诉对象，如果大小不合适，就删除最后一个未完成的批处理。但是，我想知道是否可以反向执行，即DataLoader从后面计算批次数和计数。我想过这样的方法，比如一开始颠倒数据，然后创建DataLoader对象并将其还原为原来的方式，或者在运行__getitem__时首先颠倒数据并创建对象，然后以相反的顺序输入idx，但这似乎很麻
浏览 83提问于2019-11-14得票数 0
for data, target in trainloader:在此方法中，培训加载器是通过执行以下操作来实现的
trainloader = DataLoader
浏览 2提问于2020-03-30得票数 0
回答已采纳
1回答
在我的大学学习中，我正在上一门关于机器学习的课程，我有一个问题，我不知道如何将一个CSV文件加载到Dataloader中，然后测试它，有人能引导我完成这个过程吗？这是代码from torch.utils.data import DataLoaderimport pandastrain_data1.values,dtype = dtype)tra
浏览 7提问于2022-02-23得票数 0
我开始使用pytorch-lightning，并面临着我的自定义数据加载器的问题：
我正在使用自己的数据集和通用的torch.utils.data.DataLoader。当我使用pytorch-lightning模块train_dataloader和training_step时，一切运行正常。这意味着在训练数据集上运行10次(10 *8= 80)后，加载器期望新的完整样本为8，但由于只有84个样本，我得到了一个错误(至少这是我目前的理解)。我在自己的实现中遇到了类似的问
浏览 1提问于2020-05-26得票数 1
所以，我正在运行这个深度神经网络。通常，当我使用没有cuda的pytorch库与cpu一起训练它时，它运行得很好。但是，我注意到当我安装pytorch+cuda 11.1时，每当我试图在Dataloader上枚举时，就会抛出以下错误：这两种版本的火把都是1.
浏览 5提问于2021-03-25得票数 0
回答已采纳
如何利用torch.utils.data.Dataset和torch.utils.data.DataLoader对您自己的数据(而不仅仅是torchvision.datasets)？
浏览 4提问于2017-01-29得票数 65
回答已采纳
我使用PyTorch dataset类开发了一个自定义数据集。虽然这在DataLoader中很好，但是对于torch.utils.data.DataLoader2，我遇到了一个问题。错误是：
异常:旧DataSets不支持线程并行模式
我的问题是为什么DataLoad
浏览 18提问于2022-01-26得票数 3
回答已采纳
1回答
我编写了一个自定义的pytorch Dataset，__getitem__()函数返回一个形状为(250, 150)的张量，然后使用DataLoader生成一批批大小为10的数据。我的意思是在维数为0将这10个张量连在一起时，生成一个带有形状(2500, 150)的批处理，但是DataLoader的输出具有形状(10, 250, 150)。如何将DataLoader的输出转换为(2500, 150)形状作为维度0的级联？
浏览 1提问于2021-10-12得票数 0
回答已采纳
但是我无法运行example.sh将哺乳动物子树嵌入到重建设置中。/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 57, in _worker_loop\n samples =collate_fn([dataset[i] for i in batch_indices])\n File "/home/harman/anaconda3/env
浏览 0提问于2018-05-08得票数 2
我可以运行Pytorch的教程notebook中关于数据加载的所有单元(pytorch tutorial)。transform.resize(image, (new_h, new_w)) ..... dataloader和for loop通过以下方式定义： dataloader = DataLoader(transformed_dataset, batch_size=4,shuff
浏览 29提问于2019-01-03得票数 3
回答已采纳
我正在尝试为我的定制数据集运行Pytorch中实现的连体网络。Github代码链接:当我尝试运行代码并提供训练数据的路径时，https://github.com/viral-parmar/Voice_Dissimilarity只有一个文件夹，其中只有10个图像。我试着在Google Co Lab和我的本地计算机上运行它，但结果是一样的。batch_size=8)
example_batch = ne
浏览 30提问于2019-02-17得票数 0
当把我们的数据集训练成像CNN这样的深度学习模型时。我想跟踪数据集中的每一幅图像的序列，该数据集是为了训练神经网络中的每一个时代而选择的。是否可以打印所选图像的序列？序列1: 1,2,3,4,5,6,7,8,9,10序列3: 10,8,6,1,2,3,9,7,4,5序列n：?，
浏览 3提问于2021-05-03得票数 0
我们使用Roboflow对我们的自定义数据集使用Yolov4 Pytorch模型进行目标检测。在训练过程中，我们得到以下错误。/pytorch-YOLOv4/train.py", line 447, in <module> File "./local/lib/python3.7/dist-packages/torch/utils/data/dataloade
浏览 114提问于2021-10-28得票数 0
我想用PyTorch训练一个美国有线电视新闻网。我应该如何加载数据以适合用作CNN的输入？(另外，它是1个通道，图像网络的输入是默认的RGB )
浏览 24提问于2021-08-07得票数 0
回答已采纳
当使用num_workers=32 for DataLoader运行num_workers=32培训程序时，htop显示33个python进程，每个进程包含32 GB的VIRT和15 GB的RES。这是否意味着PyTorch培训使用的是33个进程X15GB= 495 GB内存？htop显示只有大约50 GB的RAM和20 GB的交换空间正在整个拥有128 GB内存的机器上使用。是否有更准确的方法来计算主PyTorch程序及其所有子DataLoader工作进程所使用的内存总量？
谢谢
浏览 5提问于2020-08-21得票数 19
我试图使用WordLevel/BPE标记器标记一些数字字符串，创建一个数据排序器，并最终在PyTorch DataLoader中使用它来从头开始训练一个新模型。但是，我收到了一个错误from transformers import)))
train_dataloader = DataLoader(
tra
浏览 0提问于2021-03-26得票数 3
回答已采纳
对于在时间序列数据上实现PyTorch数据管道的“最佳实践”，我有点困惑。我的印象是，DataLoader类将在批处理维度中占优势，但它不是，我得到的是数据形状(N，L)。dataset = HD5Dataset(args.dataset)
浏览 5提问于2020-06-19得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
