补充知识：TensorFlow：.ckpt文件与.ckpt.meta和.ckpt.index以及.pb文件之间的关系是什么？
一个完整的神经网络由这两部分构成，Tensorflow 在保存时除了这两个文件还会在目录下自动生成 checkpoint， checkpoint的内容如下，它只记录了目录下有哪些网络。
本文介绍如何从CKPT模型文件中提取网络结构图并实现可视化。
本博客实现将自己训练保存的ckpt模型转换为pb文件，该方法适用于任何ckpt模型，当然你需要确定ckpt模型输入/输出的节点名称。
2. 使用tf.train.NewCheckpointReader直接读取ckpt文件里的变量，使用tools.inspect_checkpoint里的print_tensors_in_checkpoint_file函数打印ckpt里的东西
然后，在训练循环中，定期调用 saver.save() 方法，向文件夹中写入包含了当前模型中所有可训练变量的 checkpoint 文件。
上面的文件主要可以分成三类：一种是在保存模型时生成的文件，一种是我们在使用tensorboard时生成的文件，还有一种就是plugins这个文件夹，这个是使用capture tpuprofile工具生成的，该工具可以跟踪TPU的计算过程，并对你的模型性能进行分析，这里就不想详细介绍了。本文主要介绍前面两种文件的作用：
网上关于tensorflow模型文件ckpt格式转pb文件的帖子很多，本人几乎尝试了所有方法，最后终于成功了，现总结如下。方法无外乎下面两种：
tensorflow提供了一个非常简单的API来保存和还原一个神经网络模型。这个API就是tf.train.Saver类。以下代码给出了保存tensorflow计算图的方法。
save ├── saved_model.pb └── variables ├── variables.data-00000-of-00001 └── variables.index
1, 首先我们当然可以直接在tensorflow训练中直接保存为pb为格式，保存pb的好处就是使用场景是实现创建模型与使用模型的解耦，使得创建模型与使用模型的解耦，使得前向推导inference代码统一。另外的好处就是保存为pb的时候，模型的变量会变成固定的，导致模型的大小会大大减小。
运行一个结构复杂的深层网络往往需要很长时间，当我们在应用模型到实际的生活中时，不可能每一次都重新训练模型。我们希望训练的结果可以复用，也就是需要将训练得到的模型持久化。
这节是关于tensorflow的Freezing，字面意思是冷冻，可理解为整合合并；整合什么呢，就是将模型文件和权重文件整合合并为一个文件，主要用途是便于发布。
pb 格式模型保存与恢复相比于前面的 .ckpt 格式而言要稍微麻烦一点，但使用更灵活，特别是模型恢复，因为它可以脱离会话（Session）而存在，便于部署。
深度学习中，模型训练一般都需要很长的时间，由于很多原因，导致模型中断训练，下面介绍继续断点训练的方法。
前面都是基础零碎的知识，需要通过一个栗子来为大家把整个流程走一遍，从整体上对TensorFlow进行一个把握，大概分为四篇文章来说明吧(前期准备、前馈计算、模型训练、模型评价)。
TensorFlow模型训练的好网络参数如果想重复高效利用，模型参数保存与加载是必须掌握的模块。本文提供一种简单容易理解的方式来实现上述功能。参考博客地址 备注： 本文采用的是ckpt保存方式，在下篇博文中介绍更加常用的pb保存方式，包括ckpt文件如何转换的pb文件，和如何直接保存问pb文件，感兴趣可以去看看。
通过TensorFlow提供tf.train.Saver类提供的save函数保存模型，生成对应的四个文件，因为TensorFlow将计算图的结构以及图上的变量参数值分开保存，这样能够为模型的载入提供方便的扩展。
Deep Interest Network（DIN）是阿里妈妈精准定向检索及基础算法团队在2017年6月提出的。其针对电子商务领域（e-commerce industry）的CTR预估，重点在于充分利用/挖掘用户历史行为数据中的信息。
在上篇博文中，我们探索了TensorFlow模型参数保存与加载实现方法采用的是保存ckpt的方式。这篇博文我们会使用保存为pd格式文件来实现。 首先，我会在上篇博文基础上，实现由ckpt文件如何转换为pb文件，再去探索如何在训练时直接保存pb文件，最后是如何利用pb文件复现网络与参数完成应用预测功能。
因为需要，要重写训练好的keras模型，虽然只具备预测功能，但是发现还是有很多坑要趟过。其中Dropout这个坑，我记忆犹新。
就在7月19日，MetaAI开源了LLama2大模型，Meta 首席科学家、图灵奖获得者 Yann LeCun在推特上表示Meta 此举可能将改变大模型行业的竞争格局。一夜之间，大模型格局再次发生巨变。
Tensorflow Object Detection API自从发布以来，其提供预训练模型也是不断更新发布，功能越来越强大，对常见的物体几乎都可以做到实时准确的检测，对应用场景相对简单的视频分析与对象检测提供了极大的方便与更多的技术方案选择。tensorflow object detection提供的预训练模型都是基于以下三个数据集训练生成，它们是：
MNIST是一个非常有名的手写体数字识别数据集，在很多资料中，这个数据集都会作为深度学习的入门样例。下面大致介绍这个数据集的基本情况，并介绍temsorflow对MNIST数据集做的封装。tensorflow的封装让使用MNIST数据集变得更加方便。MNIST数据集是NIST数据集的一个子集，它包含了60000张图片作为训练数据，10000张图片作为测试数据。在MNIST数据集中的每一张图片都代表了0~9中的一个数字。图片的大小都为28*28，且数字都会出现在图片的正中间。
本文介绍了如何用 TensorFlow 实现手写数字识别（MNIST 数据集）的模型训练和推理过程。首先介绍了 TensorFlow 的安装和配置过程，然后详细讲解了如何使用 TensorFlow 创建一个简单的神经网络模型，并使用 TensorFlow 的 API 进行模型训练和推理。最后，文章对 TensorFlow 的扩展和定制进行了简单的介绍，并使用 TensorFlow 的预测结果对数字进行识别。
是骡子是马拉出来溜溜就知道，一个模型好还是坏，放在全新的测试集上去测试下就知道了，根据模型测试的结果我们才能衡量模型的泛化性、稳定性等指标如何，从而方便我们根据测试的反馈去进行调参优化模型。
近几年在机器学习和传统搜索算法的结合中，逐渐发展出了一种Search To Optimization的思维，旨在通过构造一个特定的机器学习模型，来替代传统算法中的搜索过程，进而加速经典图论等问题的求解。那么这里面就涉及到一个非常关键的工程步骤：把机器学习中训练出来的模型保存成一个文件或者数据库，使得其他人可以重复的使用这个已经训练出来的模型。甚至是可以发布在云端，通过API接口进行调用。那么本文的内容就是介绍给予MindSpore的模型保存与加载，官方文档可以参考这个链接。
生成三个文件，分别是checkpoint，.ckpt.data-00000-of-00001,.ckpt.index
#摘要： 在实际生产环境中，如何对 Doris 的元数据进行管理。包括 FE 节点建议的部署方式、一些常用的操作方法、以及常见错误的解决方法。
使用tensorflow过程中，训练结束后我们需要用到模型文件。有时候，我们可能也需要用到别人训练好的模型，并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文，相信你一定会有收获！
该文介绍了如何使用TensorFlow实现YOLO v2神经网络模型对图像进行分类，并给出了代码示例和训练过程的详细步骤。
参考博客地址 本博客采用Lenet5实现，也包含TensorFlow模型参数保存与加载参考我的博文，实用性比较好。在训练集准确率99.85%，测试训练集准确率99%+。
预训练中，除了模型尺寸、数据、计算量之外，比较重要的就是batch size和learning rate这两个超参数了。从DeepSeek的scaling law工作[1]中可以看到，不同的学习率可以让loss有一定的波动，影响模型收敛。
样本按照不同类别保存在不同文件夹中，每个文件夹代表一个类别，然后这些文件夹放在同一文件夹中，该文件夹和脚本同一目录下。
保存模型并不限于在训练之后，在训练之中也需要保存，因为TensorFlow训练模型时难免会出现中断的情况。我们自然希望能够将辛苦得到的中间参数保留下来，否则下次又要重新开始。这种在训练中保存模型，习惯上称之为保存检查点。
Code Llama是从Llama-2基础模型微调而来，共有三个版本：基础版、Python版、以及指令遵循。
近日，蚂蚁集团宣布开源大模型分布式训练加速扩展库ATorch。ATorch可针对不同模型和硬件资源，实现深度学习自动资源动态优化和分布式训练稳定性提升，可帮助优化深度学习的智能性，解决大模型训练的提效问题。据了解，ATorch大模型训练算力利用率可达60%，对于千亿模型千卡级训练提效非常友好，相当于为跑车装上了强劲的引擎。
在 Object Detection API 的示例代码中包含了一个训练识别宠物的 Demo，包括数据集和相应的一些代码。虽然本课程中我们会自己准备数据和脚本来进行训练，但是在这之前还需要安装一些库、配置一下环境。在配置完成之后，运行一下这个训练宠物的 Demo，以便检查环境配置是否 OK，同时对训练过程先有个整体的了解，然后再准备自己的数据和训练脚本。 请确保已经安装好了 Python 2.7。 安装 Object Detection API 首先下载 Object Detection API 的代码：
官网地址 官网上提供多种格式数据集，我们选bin。首先观察前25条记录。由于图像像素32*32，很多图像人眼也是难以进行辨别。
CV领域中，在完成数据准备工作和设计定义好模型之后，我们就可以去迭代训练模型了，通过设置调节不同的超参数（这需要理论知识和丰富的经验）来使得损失（loss）和准确率（accuracy）这两个常用的指标达到最优。一般在训练完成之后，都需要通过损失曲线图和准确率曲线图来衡量整个训练过程。
本篇使用TensorFlow框架，利用MNIST手写数字数据集来演示深度学习的入门概念。其训练集共有60000个样本（图片和标签），测试集有10000个样本。手写数字的图片都是尺寸为28*28的二值图：
这里我们重点来看一下这个train方法，在训练的部分有一个非常重要的点就是如何去进行样本的选择。如果使用triplet loss训练我们的网络结构，会存在一个非常严重的问题，就是正负样本的样本对的数量存在很大的差异。这个时候会进行难样本的挖掘，在FaceNet中的策略，我们不能将其称为OHEM，不能称为严格意义上的难例挖掘，但有其核心思想在里面。如果要想使我们的模型训练的更好，此处可以对样本选择的部分进行优化。
猪年快乐之TensorFlow中实现word2vec及如何结构化TensorFlow模型
在上一篇文章中《Tensorflow加载预训练模型和保存模型》，我们学习到如何使用预训练的模型。但注意到，在上一篇文章中使用预训练模型，必须至少的要4个文件：
大多数的大型科技公司(如IBM,谷歌,微软,亚马逊)都有易于使用的视觉识别API。一些规模较小的公司也提供类似的产品,如Clarifai。但没有公司能够提供对象检测。 千年隼号宇宙飞船的检测 以下图
Lag-Llama 是由 LLaMA 团队开发的时间序列基础模型，于2023年发布后迅速受到人工智能界的关注。这些预训练的模型经过大量时间序列数据的预训练，具备了存储不同频率和长度的时间序列数据的一般数据模式的能力，因此能够识别未见过的数据模式，且无需进行大量的微调。对于大型时间序列基础模型进行进一步微调，可以使它们实现与非基础模型相当的预测能力。
深度学习的应用主要包括两个部分，一是通过深度学习框架训练出模型，二是利用训练出来的模型进行预测。
尝试过迁移学习的同学们都知道，Tensorflow的模型保存加载有不同格式，使用方法也不一样，新手会觉得乱七八糟，所以本文做一个梳理。从模型的保存到加载，再到使用，力求理清这个流程。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
