腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(370)
视频
沙龙
2
回答
如
何为
tensorflow
/
pytorch
加载
大型
多
文件
拼图
文件
、
、
、
、
我正在尝试从一个目录中为
tensorflow
/
pytorch
将几个
拼图
文件
加载
到Python中。
文件
太大,无法通过pyarrow.parquet函数
加载
这就给了<code>D1</code>。我不确定如何将
文件
加载
到Python中进行ML训练。如果能得到一些快速帮助,我们将非常感激。 谢谢Zash
浏览 12
提问于2020-03-15
得票数 1
1
回答
ML培训的最佳
文件
格式
、
、
、
嗨,我正在用
PyTorch
扩充一个ML管道,以支持各种任务,并且正在寻找一些关于存储处理数据的有效方法的建议。理想情况下,对于每个数据集,最初只执行一次,数据
加载
/培训可以多次完成。我所看到的主要见解是: 视频
文件
:是将它们作为原始像素( (uint8) )存储在.npy
文件
中还是一种好的方法,或者我真的忽略了标准视频格式的优化(MP4/avi.)。我的计划是将轮廓全部保存到一个json
文件
中,该
文件
可以直接
加载
到
PyTorch
数据
浏览 0
提问于2021-01-18
得票数 0
回答已采纳
1
回答
使用Parquet
文件
格式为方案数据创建配置单元(0.10)表
、
、
、
、
我成功地使用avro Tools ReflectData创建了Avro schema,并使用ReflectDatumWriter将数据写出avro
文件
。TBLPROPERTIES 我可以看到有一些方法可以将相同的数据导出为parquet格式的 假设我完成了该任务,并在拼接
文件
中具有相同的数据如何在Hive中查询该导出
拼图
数据?但是我如何指定hive的模式呢?我不想在hive中编写包
浏览 1
提问于2014-10-15
得票数 0
1
回答
转换在CUDNNLSTM中训练的模型,以便训练后的模型也可以在CPU上运行
、
我有一个经过CUDNNLSTM训练的模型,如何在CPU中使用它?我们如何将CUDNNLSTM变量导出到CPU基础权重,以便训练的模型也可以在CPU上运行。
浏览 0
提问于2018-04-23
得票数 0
2
回答
如何确保一个批处理包含来自所有使用
PyTorch
的DataLoader的工作人员的样本?
、
我想知道如何在
PyTorch
中使用torch.utils.data.DataLoader,特别是在
多
工作者的情况下。 我发现DataLoader的一个批处理输出总是来自一个worker。我认为这就是
Tensorflow
中tf.data.Dataset的方式。我们可以在
PyTorch
中实现类似的功能吗?我想使用多个工作进程从
大型
序列化
文件
(
如
Tfrecord)
加载
数据集。在这种情况下,将源
文件
混合在一个批处理中是很重要的,这意味着混合工
浏览 4
提问于2019-08-30
得票数 5
2
回答
如何在部署时隐藏或加密我自己的keras模型
文件
(
如
h5)?
、
、
我为应用程序建立了自己的模型,并将其保存在Keras中作为.h5
文件
。我用PyQt5制作了GUI应用程序,这个应用程序使用了这个模型。我试图在部署这个应用程序时不提供任何关于深度学习模型的信息。如果Keras不支持加密模型,那么还有其他库(
如
PyTorch
)支持此函数吗? 我期待着听到任何建议。谢谢你的回答。
浏览 1
提问于2020-04-16
得票数 8
1
回答
TensorFlow
数据集如何处理无法装入服务器内存的
大型
数据?
问题Spark可以处理具有多个节点的
大型
数据。对于中的问题,答案是使用
Tensorflow
变换,它使用Apache,它需要分布式计算集群(
如
Spark )。如果我们有较大的数据集,比如一个50 do的CSV
文件
,那么如何计算平均值或其他类似的统计数据。创建一个tf.train.ClusterSpec来描述集群 因此,显然有一种方法可以设置
TensorFlow
集群,我认为它可以处理
加载</e
浏览 3
提问于2020-08-09
得票数 1
1
回答
在将.pb模型转换为tf.keras时无法
加载
tf.keras
、
、
、
、
不幸的是,该模型不能仅使用tf.keras直接访问,因此我使用
PyTorch
下载了经过预先训练的模型,将其转换为onnx
文件
,然后用以下代码将其导出为.pb
文件
:
浏览 5
提问于2022-02-13
得票数 2
回答已采纳
3
回答
与Keras的经验是否等同于使用
Tensorflow
的经验?
、
、
、
很多我见过的机器学习工作岗位要求使用
Tensorflow
的经验。如果我有使用
Tensorflow
的经验,但只能通过使用Keras构建神经网络。这算不算?我还没有看到在没有Keras的情况下使用
Tensorflow
的教程或任何代码,所以我看不出人们是如何严格学习
Tensorflow
的。但是为什么雇主不直接要求使用Keras的经验呢?
浏览 0
提问于2021-01-28
得票数 0
回答已采纳
1
回答
加载
TFlite模型进行推理(Python)
、
、
、
我用
Tensorflow
Lite训练图像分类器。我现在存储了一堆*.tflite模型,我正在编写一些代码,允许我选择一个tflite模型
文件
,选择一个数据集,并在该数据集上测试该模型(推断)。model.evaluate_tflite('model.tflite', test_data)loss, accuracy = model.evaluate(test_data) 但是,如果我只是想
加载
一个已经存在的在其他机器学习库(
如
PyTorch
)中,您可以定义模型,然后快速
浏览 10
提问于2022-09-15
得票数 0
2
回答
Spark镶嵌读取性能
、
31个
文件
夹,每个
文件
夹以yyyy-mm-dd格式按日期表示。举例: 2020-01-30 每隔5分钟我们将获得数据,我们将使用spark append mode将数据保存为
拼图
文件
。一小时12个
文件
,一天288个
文件
。因此每个
文件
夹包含大约288个
拼图
文件
。因此,对于一月份,它是关于8928(31*288)
拼图
文件
的。 我将使用spark读取数据。读取这么
多
文件
浏览 41
提问于2020-01-31
得票数 1
3
回答
从MySQL
加载
500万行到Pandas
、
我想问一下,对于那些在DB上处理
大型
数据的人,他们是如
何为
Pandas会话检索数据的? 例如,运行查询时,返回一个带有结果的csv
文件
并将
加载
到Pandas中会更“智能”吗?听起来比你需要的要
多
。
浏览 0
提问于2015-07-29
得票数 8
回答已采纳
3
回答
如何使用
tensorflow
执行
多
标签分类?
、
、
我是
tensorflow
的新手,我想知道是否有任何具有多个网络输出的
多
标签分类的教程或示例。谢谢。
浏览 1
提问于2017-02-13
得票数 4
3
回答
Maven jetty插件-使用
多
模块项目自动重新
加载
、
、
、
、
我正在使用一个
多
模块的maven项目开发一个Java应用程序。在开发应用程序时,在进行代码更改时,我希望jetty服务器重新启动并自动重新
加载
修改后的代码
文件
。当我修改webapp模块内的
文件
时,这很好,但是当我在另一个模块(
如
persistence或business )中修改
文件
时,不工作。但是,由于修改后的
文件
不是由jetty
加载
的,所以<extraClasspath>无法工作。链接的答案使用<webAppConfig>标记
浏览 0
提问于2014-09-08
得票数 9
回答已采纳
7
回答
用从磁盘
加载
预训练模型
从文档中,我知道我不必每次都下载经过预先训练的向量,我可以用以下语法保存它们并从磁盘
加载
: raise OSError( "If you tried to lo
浏览 136
提问于2020-09-21
得票数 27
2
回答
是否有一种方法可以直接将图像数据从主
文件
夹
加载
到培训和验证生成器,而不是再次创建单独的相同
文件
夹?
、
、
、
、
我正在研究一个
多
类分类模型--它有4000多个类--这意味着每个类有4000多个
文件
夹--每个类占用大约30 of的空间,为了训练分类模型,我要将图像复制到每个类的训练和验证
文件
夹中,以便在一个分类
文件
夹结构中我使用keras中的ImageDataGenerator API
加载
数据,并向模型提供如下所示的训练model.fit_generator(t
浏览 3
提问于2021-09-04
得票数 1
回答已采纳
2
回答
Pytorch
:将2D-CNN模型转换为tflite
、
、
为了在移动设备上运行,我想把一个模型(
如
Mobilenet V2)从Py手电筒转换成tflite。我发现的是一种使用ONNX将模型转换为中间状态的方法。Create random inputmodel = torch.hub.load('
pytorch
-input_arrays=input.1 \我的配置: torch 1.6.0.dev
浏览 18
提问于2020-05-08
得票数 1
1
回答
有没有办法在我的终端上运行GPU上的代码?
、
、
我已经使用GPU加速服务,
如
谷歌Colab有一段时间,但我不满意。我不喜欢用朱庇特笔记本来写我所有的代码,我也有一些其他的问题。我想知道是否有一种方法可以在我的终端上运行命令,比如upload train.py,将
文件
train.py上传到服务器,然后运行run train.py或类似的东西在服务器上运行,并将输出显示在本地终端上
浏览 0
提问于2020-12-08
得票数 1
回答已采纳
2
回答
不使用MNIST的例子
、
、
、
您能告诉我,如何将非常简单的数据集
加载
到
tensorflow
不是从
文件
,而是从代码?在互联网上有很多例子,但都是基于MNIST或其他由
大型
神经网络或CNN提供的大数据集。是的,我需要使用
Tensorflow
/Keras因为我需要并且我可以从它将模型导入到Java。编辑: 在静态类型语言(
如
C++、C# )中,Java编写类似KNN的alghoritm相当简单(而且速度相当快)。我发现的一个简单的方法是基于iris.dataset,但数据仍然是从TF的预构建数据集中
加载<
浏览 0
提问于2019-01-25
得票数 3
4
回答
为
PyTorch
使用
大型
数据集的最有效方法?
、
、
、
、
我正在使用
PyTorch
创建一个CNN,用于图像数据的回归。我没有正规的、学术性的编程背景,所以我的许多方法都是临时性的,而且效率很低。实际上,我所做的是将图像数据
加载
到numpy数组中,将这些数组保存在一个.npy
文件
中,然后当我想将上述数据用于模型时,我会导入该
文件
中的所有数据。然而,我的内存使用量高达70%-80% (16 in )时,它被
加载
,它需要20-30秒来
加载
每一次。 我的猜测是,我是愚蠢的方式,我是
加载
它,但坦率地说,我不知道什么是标准。在某种程度上,
浏览 0
提问于2018-12-01
得票数 9
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何用服务器一键部署Llama3大模型
如何将模型部署到安卓移动端,这里有一份简单教程
深度学习开发必备开源框架
AWS和Facebook合作推出PyTorch模型服务框架TorchServe:可让模型快速投入生产
用 keras 建立超简单的汉字识别模型
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券