如何在Tensorflow中保存我的模型的每一步？
在TensorFlow中保存模型的每一步可以通过使用tf.train.Saver类来实现。以下是保存模型的每一步的步骤：
- 导入TensorFlow库：
import tensorflow as tf- 定义模型的计算图：
# 定义输入占位符
x = tf.placeholder(tf.float32, shape=[None, input_size], name='input')
# 定义模型结构
# ...
# 定义输出节点
output = tf.nn.softmax(logits, name='output')- 创建一个Saver对象：
saver = tf.train.Saver()- 在训练循环中，保存模型的每一步：
with tf.Session() as sess:
# 初始化变量
sess.run(tf.global_variables_initializer())
for step in range(num_steps):
# 执行训练步骤
# ...
# 保存模型
saver.save(sess, 'model_checkpoint', global_step=step)在上述代码中，model_checkpoint是保存模型的路径和文件名的前缀，global_step参数用于在文件名中添加当前训练步骤的编号。
- 加载保存的模型：
with tf.Session() as sess:
# 加载模型
saver.restore(sess, tf.train.latest_checkpoint('./'))
# 使用模型进行预测或其他操作
# ...在上述代码中，tf.train.latest_checkpoint('./')会自动找到最新保存的模型文件。
通过以上步骤，你可以在TensorFlow中保存模型的每一步，并在需要时加载这些模型进行预测或其他操作。
相关·内容
我正在用TensorFlow训练一个GPT2文本生成模型，并在我的文本语料库中执行一个时期。我的问题是，我如何每10步左右保存一次我的模型？我的模型在第100步突然停止训练，只有20步到go....oooof。 我知道Model_Checkpoint()回调，但似乎无法在save_freq参数中将steps替换为epoch。 tf.keras.callbacks.ModelCheckpoint(
filepath, monitor='val_loss', verbose=0, save_best_only=False,
save_weights_only=Fa
浏览 39提问于2020-07-06得票数 0
2回答
我正在使用Tensorflow对象检测来训练一个两类模型。在训练时，训练从0开始，分100步进行(每100步可以看到日志)，当步数达到1000 (按100,200,300,400,500....steps)时，它会执行评估，我可以在tensorboard中查看结果。在1000步之后，每一步都会保存检查点，如1001,1002,1003，...而且每一步都会进行评估。这一切为什么要发生？ Tensorflow版本: nvidia-tensorflow 1.15 培训基于：https://colab.research.google.com/github/google-coral/tutorial
浏览 27提问于2021-08-24得票数 0
回答已采纳
我很难恢复一个保存下来的模型。我正在MNIST数据集上训练CNN，所有这些都是根据MNIST关于的教程进行的，我正在用以下代码保存我的模型：
saver.save(sess, './Tensorflow_MNIST', global_step=max_steps)
这将创建以下文件：
Tensorflow_MNIST-1000数据-00000-00001
Tensorflow_MNIST-1000指数
Tensorflow_MNIST-1000元
检查点
稍后，我希望加载该模型并继续使用以下内容进行培训：
with tf.Session() as ses
浏览 0提问于2017-05-10得票数 2
1回答
您好，我想知道如何在节点js中更新TensorFlow js保存的模型，
我使用NodeJS在TensorFlow js中创建了一个基本的神经网络，并保存了训练好的模型，它生成了model.json和weights.bin文件。
我已经看到，我们可以在Python中更新keras中经过训练的模型。
但是在TensorFlow js、NodeJS和JS中没有更新模型的示例。
请有人帮助更新训练好的模型。
模型加载和更新代码
var tf = require('@tensorflow/tfjs-node')
async funtion load(){
const model
浏览 0提问于2020-02-27得票数 2
1回答
我在tensorflow教程中有一个简单的MNIST模型。我想看看第一个卷积层的滤波器是如何随时间变化的。当我使用tf.summary.image时，只显示其中一个步骤，其余步骤被忽略。有什么办法解决这个问题吗？
浏览 0提问于2017-04-23得票数 0
我想在训练期间每5小时保存一次tensorflow变量。 因此，根据Tensorflow Saver doc，我构造了带有参数keep_checkpoint_every_n_hours=5的saver = Saver，并为学习的每一步调用saver.save()。因此，我所期望的是，saver模块以某种方式检测开始训练后经过的时间，并每5小时保存一次模型，而不是在调用它的每个步骤中实际保存模型。 下面简化了我如何使用该功能。 sess = tf.Session()
model = Model(sess)
saver = tf.train.Saver(max_to_keep=5,
浏览 35提问于2019-05-13得票数 1
回答已采纳
实际上，我们正在创建一个能够将AI用例投入生产的平台。TFX是第一选择，但是如果我们想要使用非基于tensorflow的库，比如scikit、learn等，并且想要包含一个python脚本来创建模型，那该怎么办呢？这样的模型的输出将由tensorflow服务器提供。如何确保能够在一个系统设计中同时运行基于tensorflow的模型和基于非tensorflow的库和模型。请提个建议。
浏览 2提问于2019-11-25得票数 1
有谁能解释一下将keras模型(保存的模型格式)冻结为.pb格式的TensorFlow 2格式的过程吗？创建了一个示例mobilenet keras模型并以保存的模型格式将其保存到磁盘中。
import tensorflow as tf
#Tensorflow version: 2.7.0
model = tf.keras.applications.mobilenet.MobileNet(
include_top=True,
weights='imagenet',
input_tensor=None,
poo
浏览 5提问于2021-12-16得票数 0
和咖啡馆一样，互联网上也有一些经过预先训练的TensorFlow模型。然而，与TensorFlow不同的是，Caffe的模型总是伴随着一个指示网络结构和层名的.prototxt文件，而Caffe依赖Python代码来定义神经网络。同时，由于variable_scope的存在，对于TensorFlow中的变量，它的名称可能会很长。这使得通过名称查找特定变量变得非常困难。那么，如果我从互联网上下载了一个预先训练好的TensorFlow模型，而没有网络结构python代码，我如何将它用于我自己的项目呢？
浏览 2提问于2017-07-19得票数 2
我使用tf.train.Supervisor启动一个会话来训练我的模型，并每1000步保存一次模型参数。但似乎tensorflow会自动删除旧的模型文件。仅保存了5个最近的模型。生成model.ckpt-6000后，将删除model.ckpt-1000。但是我找不到任何关于这个行动的文件。
浏览 0提问于2017-02-25得票数 2
在对BERT进行微调分类后，模型大小约为1.3 is，而预训练的模型大小约为400MB。这是由于与模型一起保存的与Adam相关的其他变量造成的，保存时可以删除这些变量，如TensorFlow 1.x的中所述。
在TensorFlow 2.x中如何做到这一点？
浏览 5提问于2020-05-28得票数 0
我已经找到了教程和帖子，其中只说服务tensorflow模型使用张量服务。在model.conf文件中，有一个参数model_platform，其中可以提到tensorflow或任何其他平台。但是，我们如何以tensorflow方式导出其他平台模型，以便通过tensorflow服务加载。
浏览 0提问于2018-04-03得票数 9
要在崩溃后恢复训练，不仅必须恢复模型，还必须恢复进入model.fit(...)过程状态的所有对象和参数。
在我费心编写实现fitting对象的keras代码之前，我想知道用于崩溃恢复的标准方法(如果有的话)是什么，以便从中断的地方恢复TensorFlow 2.0训练。
还是有人真的填补了TensorFlow对象模型中的这个明显的漏洞？
浏览 3提问于2019-12-29得票数 1
我使用TensorFlow库在Pycharm中使用了与我相同的初始模型。每次我运行该项目时，它都会开始训练数据集。我想在每次运行model时跳过训练，因为一旦模型被保存，就不需要一次又一次地训练数据。我如何知道我的模型已成功保存？如何在同一文件中应用保存模型？
浏览 1提问于2019-01-12得票数 0
我试图加载我在training.So期间保存的keras模型，我去了，在那里我看到了这个。
从by_name=False格式加载权重时，只支持拓扑加载( TensorFlow )。请注意，对于继承自TensorFlow : HDF5负载的用户定义类，拓扑加载在tf.keras.Model和HDF5格式之间略有不同，而TensorFlow格式基于对象本地属性名称加载模型的构造函数中的层。
请你解释一下上面的那个好吗？
浏览 3提问于2020-05-08得票数 4
回答已采纳
我已经使用tensorflow罐头模型tf.Estimator.LogisticClassifier以分布式方式训练了一个逻辑回归模型。每X秒创建一个检查点，并对每个检查点执行评估。
是否可以保存每个检查点获得的评估指标？
我注意到评估指标可能已经保存，但我不知道它们可以保存在哪里，以及如何读取它们：
INFO:tensorflow:Saving dict for global step 2000: accuracy = 1.0, accuracy_baseline = 1.0, auc = 1.0, auc_precision_recall = 0.0, average_loss = 0.0
浏览 0提问于2018-09-04得票数 1
我已经开始探索TensorFlow库，并尝试使用MNIST数据的图像分类。我希望模型在培训阶段结束后存储在一个文件中，这样我就可以在需要时使用它。我检查了，它告诉我们如何将值从TensorFlow保存到任何文件中，并读取它。到目前为止，我能够按照链接中的建议使用泡菜将脚本中的一些变量保存到文件中。但是，我无法理解需要在文件中保存什么来存储模型的当前状态以供以后使用。拜托，有人可以用例子来解释这个部分，比如存储模型和加载模型。
浏览 13提问于2017-02-21得票数 0
回答已采纳
2回答
当我尝试从tensorflow-hub resporitory获取模型时。我可以将其视为一种保存的模型格式，但我无法访问模型架构以及每层的权重存储。 import tensorflow_hub as hub
model = hub.load("https://tfhub.dev/tensorflow/centernet/hourglass_512x512/1")
) 有没有什么正式的方法来使用它？ 对于原始模型中的特定层，我可以通过model.__dict__获取的所有属性都不是明确的。 {'_self_setattr_tracking': True,
&#
浏览 131提问于2021-02-09得票数 1
回答已采纳
有人能举例说明如何重用自动编码器的隐藏层用于神经网络的分类任务吗?我想在tensorflow的多层感知器模型中使用自动编码器的两层
浏览 1提问于2017-12-17得票数 0
1回答
我在GCP中通过视觉训练了一个目标检测模型，如何在GitHub中由谷歌提供的普通tensorflow对象检测api中使用该模型？它提供了3个导出模型的选项，使用哪个模型&如何使用？
浏览 2提问于2019-11-06得票数 0
要将tensorflow模型作为守护进程运行，我使用：
nohup python translate.py --data_dir data &
这会将错误消息记录到nohup.out，但它不会捕获Tensorflow标准输出。这个线程提供了相关的描述：，但没有提供解决方案。
我需要像运行模型一样运行守护进程，这需要相当长的时间。这是为了防止ssh因不活动而断开连接。
如何将Tensorflow作为守护进程运行，并将所有输出导入文件？
浏览 3提问于2016-09-08得票数 1
回答已采纳
1回答
在tensorflow 2.0中，一旦对模型进行了培训，我们如何保存该模型以防止从一开始就对其进行再培训？
浏览 0提问于2020-02-05得票数 0
回答已采纳
我使用了TFBertModel和Tensorflow模型来结合和训练拥抱的面部变形。我想保存每个时代的val_accuracy的最佳模型。我使用'tensorflow检查点‘，但我得到了error.How我是否可以保存每个时代的最佳模型与transformers在tensorflow？ from tensorflow.keras.callbacks import EarlyStopping
from tensorflow.keras.initializers import TruncatedNormal
from tensorflow.keras.losses import Cate
浏览 187提问于2021-06-19得票数 0
1回答
为了提高训练模型的延迟性，我尝试使用Tensorflow混合精度。
正如中提到的那样，仅仅设置策略似乎并不能提高模型的速度：
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from tensorflow.keras import mixed_precision
policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_global_policy(policy)
但是
浏览 3提问于2021-11-14得票数 0
我需要将在TensorFlow 1.12.0Python中训练的模型转换为TensorFlow.js的模型。什么版本的tf.js和tf.js转换器与它兼容？
浏览 21提问于2019-10-02得票数 2
回答已采纳
有没有办法convert data-00000-of-00001到Tensorflow Lite模型？文件结构如下所示
|-semantic_model.data-00000-of-00001
|-semantic_model.index
|-semantic_model.meta
浏览 5提问于2020-06-10得票数 1
1回答
我正在尝试使用Tensorflow服务制作一个大的(1.2GB大小)的发球模式，但是我得到了一个：
2017-12-02 21:55:57.711317: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:236] Loading SavedModel from: ...
[libprotobuf ERROR external/protobuf_archive/src/google/protobuf/io/coded_stream.cc:193] A protocol message was rejected becau
浏览 7提问于2017-12-02得票数 3
回答已采纳
有人知道如何在TensorFlow Lite中使用语言模型吗？我有一个用TensorFlow生成的带有LSTM结构的语言模型。我已经将它转换为.tflite，以便在安卓上使用。现在我的问题是如何使用它？我的意图是使用这个模型来预测句子中的下一个单词。最初的模型在Python中工作得很好，现在我需要的是让它在Java或Kotlin中工作并进行预测。
浏览 0提问于2021-01-07得票数 0
我正在尝试冻结一个预先训练的模型，然后将其转换为TF Lite，并将其部署到Android设备中。 通过使用xxd检查生成的.pb文件，我发现它只包含占位符输出变量。.pb的大小是几个字节。 为什么模型中没有包含所有的图形和变量？ 我使用了下面从https://github.com/sankit1/cv-tricks.com/tree/master/Tensorflow-tutorials/freeze_model_and_deploy派生的代码。它适用于其他型号，但不适用于我的型号。 import tensorflow as tf
from tensorflow.python.framew
浏览 7提问于2019-08-30得票数 0
2回答
关于对象检测API检查点的查询
、、、、
我对Tensorflow对象检测API有几个疑问。
训练时，只存储前5个检查点.我想存储更多，说前面的10个检查点。这是如何做到的呢？(我认为它应该是train.proto在对象_检测/协议中的一个参数。)
默认情况下，检查点每10分钟(600秒)存储一次。要改变这一频率，我认为这是必须改变的这两个参数之一，请确认是哪一个参数：
来自/home/user/tensorflow-gpu/lib/python3.5/site-packages/tensorflow/contrib/slim/python/slim中的learning.py
save_summaries_secs=600或
浏览 1提问于2018-08-21得票数 0
有许多方法可以保存模型及其权重。当我们可以阅读和比较它们的属性的方法如此之多，而不是任何来源时，这是令人困惑的。
我知道的一些格式是：
YAML文件-结构
仅JSON文件-结构
H5完全模型- Keras
仅限H5权重- Keras
ProtoBuf -使用TensorFlow服务进行部署
泡菜-科学-学习
学习-取代Pickle，用于包含大数据的对象。
讨论：
与scikit学习不同，Keras不建议您使用泡菜保存模型。相反，模型被保存为HDF5文件。HDF5文件包含所需的一切，您不仅需要加载模型来进行预测(即架构和经过训练的参数)，还需要重新启动培训(即
浏览 0提问于2020-04-09得票数 7
这里有一个问题，我希望我的代码可以在每100步之前保存模型，我的TRAIN_STEPS是3000，所以应该保存将近30个模型，但是它只保存了最后5个模型，检查点中的.The详细信息如下：
model_checkpoint_path: "/home/vrview/tensorflow/example/char/tfrecords/color/model.ckpt-2900"
all_model_checkpoint_paths: "/home/vrview/tensorflow/example/char/tfrecords/color/model.ckpt-2500
浏览 4提问于2017-06-05得票数 0
回答已采纳
3回答
我正在遵循Tensorflow服务文档，将我训练过的模型转换为可以在Docker容器中提供服务的格式。由于我是Tensorflow的新手，我正在努力将这个经过训练的模型转换为适合服务的形式。
模型已经过训练，我有检查点文件和.meta文件。因此，我需要从上述两个文件中获取.pb文件和variables文件夹。有没有人能给我一个建议，告诉我如何在服务模型时做到这一点？
.
|-- tensorflow model
| -- 1
| |-- saved_model.pb
| -- variables
| |-- variables.data-
浏览 0提问于2019-06-18得票数 5
我想把TensorFlow图编译成Movidius图。我使用了Model的ssd_mobilenet_v1_coco模型来在我自己的数据集上训练它。
然后我跑了
python object_detection/export_inference_graph.py \
--input_type=image_tensor \
--pipeline_config_path=/home/redtwo/nsir/ssd_mobilenet_v1_coco.config \
--t
浏览 1提问于2019-07-17得票数 0
我已经创建了keras函数API模型，现在我正在尝试查看它的层输出，为每一层创建子模型，每一层从原始模型的输入开始，以我选择的层结束。我不明白怎样做才是正确的，而不是
WARNING:tensorflow:11 out of the last 11 calls to
<function Model.make_predict_function.<locals>.predict_function at 0x7fb8ebc92700>
triggered tf.function retracing.
Tracing is expensive and the excessi
浏览 0提问于2020-12-06得票数 4
3回答
我正在用一个非常需要CNN模型的记忆来完成分类任务。这对我在训练中可以使用的批次大小提出了一个很大的限制。
一种解决方案是在训练过程中累积梯度，这意味着模型的权重在每一批之后都不会更新。相反，几个批次使用相同的权重，而每个批次的梯度则是累积的，比单个权重更新操作的平均值还要多。
我正在使用Tensorflow后端Keras，并且我非常肯定Keras没有现成的函数/方法来实现这一点。
如何处理Keras/tensorflow模型？
浏览 1提问于2019-03-20得票数 19
回答已采纳
我正在尝试使用新的Java API从磁盘读取模型。
使用Tensorflow的Java API的展示了如何读取同时具有图形定义和参数权重的.pb模型文件。
在Python端，Tensorflow建议使用Saver对象将模型保存到磁盘。它创建一个.meta文件，该文件具有该定义并具有用于权重的.data文件。在Python中，我使用new_saver=tf.train.import_meta_graph(var_filename) new_saver.restore(sess, model_filename)从磁盘读取模型。
如何在Java API中执行此操作？
浏览 5提问于2017-03-16得票数 2
我正在学习TensorFlow文档中的“神经机器翻译与注意”教程，但无法知道如何将模型保存为SavedModel文件。
从文档中可以看出，我可以很容易地保存检查点，但是afaik在与其他应用程序集成时并不十分有用。有人知道如何保存整个“模型”，即使他们没有使用tf.keras.Model
博士：
浏览 1提问于2020-11-05得票数 1
回答已采纳
n_user=20
n_item=100
import argparse
parser = argparse.ArgumentParser()
parser.add_argument("-M", "--model_dir", help="show model")
parser.add_argument("-f", "--file", help="show model help")
args = parser.parse_args()
model_dir='/opt/ml/model'
浏览 1提问于2020-12-30得票数 0
1回答
这是我在Python中的代码：
from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
from matplotlib import pyplot as plt
import numpy as np
我使用以下代码检查了保存的模型是否存在：
tf.compat.v1.saved_model.contains_saved_model(
'/Link_to_the_saved_model_directory/'
)
返
浏览 0提问于2020-03-05得票数 2
我目前正在探索如何在Google ML引擎上部署模型。首先，我使用TensorFlow 1.1.0开发了一个模型，因为它是存在的最新版本(在提出这个问题时)。然而，事实证明，GCP上支持的TensorFlow的最高版本是1.0.1。
问题是，之前当我使用TensorFlow 1.1.0时，SavedModelBuilder会正确地将模型保存为SavedModel，并将其变量保存在variables/目录下。但是，当我切换到TensorFlow 1.0.1时，它的工作方式与此不同:创建了SavedModel文件，但在variables/下没有创建任何文件，因此不能仅使用SavedModel文件构
浏览 1提问于2017-05-04得票数 0
1回答
我们如何在不同的机器上保存和加载通用句子编码器模型？ 我使用USE创建了一个Keras模型，并将其保存在机器A上。 from tensorflow.keras.layers import Dense, Dropout, Input
from tensorflow.keras.models import Model, load_model
import tensorflow_hub as hub
import tensorflow as tf
module_url = "/path/on/machine/A/universal-sentence-encoder_4"
emb
浏览 37提问于2021-11-12得票数 0
回答已采纳
你知道在实验中使用Estimator时是否有选择哪种模型的方法吗？因为每个‘保存_检查点_步骤’都会保存模型，但是这个模型并不一定是最好的。
def model_fn(features, labels, mode, params):
predict = model_predict_()
loss = model_loss()
train_op = model_train_op(loss, mode)
predictions = {"predictions": predict}
return tf.estimator
浏览 2提问于2017-09-05得票数 3
回答已采纳
3回答
我的问题可分为两部分。
是否有可以通过不同库使用的机器学习模型文件的格式？例如，我保存了一个模型，然后使用tensorflow加载它？
如果没有，是否有一个库可以帮助传输格式，以便可以在keras中直接使用py手电筒机器学习模型？
我问这个问题的原因是，最近我需要调整我以前在tensorflow的一些受过训练的模型。
这个问题的更新： Facebook和微软将推出一个名为ONNX的模型标准，该标准用于在不同的框架之间传输模型，例如在Pytorch到Caffe2之间。链接如下：
对此问题的进一步更新： Tensorflow本身使用协议缓冲区格式存储模型文件，该文件可用于不同模型
浏览 12提问于2017-06-01得票数 1
回答已采纳
我正在通过huggingface使用transformers库。 他们在Tensorflow 2.0中为许多架构提供了预先训练的模型。我想在TPU上使用这些模型进行预测。由于TensorFlow2.0的TPU API仍处于实验阶段，因此我想在TensorFlow1.x中实现它 有没有办法将预先训练好的模型从TensorFlow2.0转换到TensorFlow1.x，反之亦然？ TensorFlow2.0的TPUE API描述如下：https://www.tensorflow.org/guide/distributed_training#tpustrategy，目前仍处于实验阶段，尚未共享合适
浏览 31提问于2019-10-01得票数 0
回答已采纳
1回答
我正在尝试使用Java在Tensorflow中加载。
我注意到，随着时间的推移，保存的模型文件的格式发生了变化，现在有了带有.pb、.ckpt和带有model.ckpt.data-00000-of-00001 , model.ckpt.index的模型目录的保存模型。
我遵循阅读中指定的模型的方法。但在本例中，文件格式是protobuf .pb。我看到最新保存的模型是以.ckpt或model.ckpt.data-00000-of-00001 , model.ckpt.index格式保存的。
我尝试在包含文件-- 和model.ckpt.index的export_dir中使用model.ckpt
浏览 1提问于2018-07-19得票数 0
我使用的是tensorflow框架，我注意到在tensorflow模型文件的大小上存在很大的差异。
例如，框架提供了两个模型：
用于微调的预先训练的模型之一，例如
其中包含一个未经训练的版本。
它们都有一个172.539 kb大小
当我在我的模型中应用微调时，在图形中做一些小改动(在框架中有一个模块)并保存我的模型时，大小基本上是相同的：178.525 kb。
首先，我感到有点惊讶的是，我的微调模型有点大，因为我只将最后一层从21个类更改为14个类，所以我希望模型文件的大小会稍微小一些，但由于差异太小，我没有注意到。
但是，当我使用相同的模型文件(我指的是预先训练的模型)训练同
浏览 3提问于2017-11-15得票数 0
1回答
我正在运行tensorflow object_detection模型的model_main.py。我想知道哪个.py文件包含代码，模型在哪里检查'mode_dir‘中的现有检查点，以及模型如何知道从保存的最新检查点加载/启动。 我检查了model_lib.py，但还不能弄清楚。
浏览 13提问于2019-06-15得票数 0
当我运行由tensorflow构建的LSTM模型时，将在命令窗口中打印数千行信息日志。如何抑制这些信息日志？
浏览 2提问于2017-07-12得票数 0
回答已采纳
我知道我可以通过torch.save(model.state_dict(), FILE)或torch.save(model, FILE)保存一个模型。但它们都不能拯救模型的体系结构。
那么，我们如何在PyTorch中保存模型的体系结构，比如在Tensorflow中创建一个.pb文件？我想对我的模型进行不同的调整。如果我不能保存模型的架构，那么我有什么比每次复制整个类定义并创建一个新类更好的方法吗？
浏览 10提问于2020-01-05得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
