首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何在不使用bazel的情况下执行TensorFlow serving example mnist_export?

TensorFlow Serving是一个用于部署机器学习模型的开源系统,可以提供高性能、可扩展和可靠的模型服务。mnist_export是TensorFlow Serving的一个示例,用于将训练好的MNIST模型导出为TensorFlow Serving可用的格式。下面是在不使用bazel的情况下执行mnist_export的步骤:

  1. 安装TensorFlow Serving:首先,确保已经安装了TensorFlow Serving。可以通过以下命令安装:pip install tensorflow-serving-api
  2. 下载mnist_export示例代码:从TensorFlow Serving的GitHub仓库中下载mnist_export示例代码。可以使用以下命令克隆仓库:git clone https://github.com/tensorflow/serving.git
  3. 切换到mnist_export目录:进入克隆下来的TensorFlow Serving仓库中的tensorflow_serving/example/mnist_export目录。
  4. 准备MNIST模型:确保已经训练好了一个MNIST模型,并将其保存为SavedModel格式。如果还没有训练好的模型,可以使用TensorFlow官方提供的MNIST训练示例进行训练。
  5. 修改mnist_export.py文件:打开mnist_export.py文件,并根据自己的模型路径和版本号修改EXPORT_PATHMODEL_VERSION变量。例如:EXPORT_PATH = '/path/to/your/model' MODEL_VERSION = 1
  6. 执行mnist_export.py:运行以下命令执行mnist_export.py脚本:python mnist_export.py
  7. 导出模型:执行完mnist_export.py脚本后,会在指定的EXPORT_PATH路径下生成一个包含导出模型的文件夹,其名称为<MODEL_NAME>/<MODEL_VERSION>。例如,如果EXPORT_PATH/path/to/your/modelMODEL_VERSION为1,则导出的模型路径为/path/to/your/model/1
  8. 启动TensorFlow Serving:使用以下命令启动TensorFlow Serving,并加载导出的模型:tensorflow_model_server --port=8500 --rest_api_port=8501 --model_name=<MODEL_NAME> --model_base_path=/path/to/your/model其中,<MODEL_NAME>为模型的名称,/path/to/your/model为导出的模型路径。

至此,你已经成功地在不使用bazel的情况下执行了TensorFlow Serving的mnist_export示例。可以通过向TensorFlow Serving提供的REST API发送请求来进行模型推断。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Jetson TX1上安装Tensorflow Serving遇到问题总结

本文目的是分享在TX1上安装Tensorflow Serving时遇到主要问题,避免重复踩坑。...对于Tensorflow训练出来模型,工程部署一般都采用Tensorflow Serving。...这里使用NFS时会出现如下告警 root@tegra-ubuntu:/data/serving# /data/bazel/output/bazel build -c opt --config=cuda...分析BUILD.bazel源码发现,有对平台判断,针对不同平台会拷贝不同目录代码进行编译,而平台里包含aarch64相关,从而不会拷相应代码。...,Makefile等文件是动态生成,这也是修改Makefile等文件生效原因;bazel执行每个目标(libevent)前,会先把此目标的输出(libevent.a)都删除,然后在执行后,再检测输出文件是否存在

2.8K40

面向机器智能TensorFlow实践:产品环境中模型部署

/tensorflow/serving/master/ tensorflow_serving/tools/docker/Dockerfile.devel 请注意,执行上述命令后,下载所有的依赖项可能需要一段较长时间...上述命令执行完毕后,为了使用该镜像运行容器,可输入下列命令: docker run -v $HOME:/mnt/home -p 9999:9999 -it $USER/ tensorflow-serving-devel...Bazel工作区 由于TensorFlow服务程序是用C++编写,因此在构建时应使用GoogleBazel构建工具。我们将从最近创建容器内部运行Bazel。...不幸是,在撰写本书时,TensorFlow服务尚不支持作为Git库通过Bazel直接引用,因此必须在项目中将它作为一个Git子模块包含进去: # 在本地机器上 mkdir ~/serving_example.../configure: # 在Docker容器中 cd /mnt/home/serving_example/tf_serving/tensorflow .

2.2K60
  • 教程 | 从零开始:TensorFlow机器学习模型快速部署指南

    /example_images/flower_photos.tgz && \ tar xzf flower_photos.tgz ; ) && \ bazel build tensorflow/examples...它地址为 bazel-bin/tensorflow/examples/image_retraining/label_image.runfiles/org_tensorflow/tensorflow/examples...完全同步以外:执行图像分类时,Flask 按照接收请求顺序一次处理一个请求,而 TensorFlow 完全占用线程。...两种方式使用 Twisted + Klein 用 Python 写代码;如果你偏好第一类事件循环支持,并希望能够连接到非 Python ML 框架 Torch,则需要使用 Node.js + ZeroMQ...一些有名工具, Consul 和 Zookeeper。设置并学习如何使用此类工具超出了本文范畴,因此,我使用 node.js 服务发现包 seaport 推断了一个非常初级代理。

    88550

    手把手:我深度学习模型训练好了,然后要做啥?

    然而,在更典型应用场景中,图像数量级通常只有数百幅,这种情况下,我建议微调现有的模型。...上面的Tensorflow教程简要而言,是在安装bazeltensorflow之后,需要运行以下代码,用大约30分钟来建模,5分钟来训练: ( cd "$HOME" && \ curl -O http...://download.tensorflow.org/example_images/flower_photos.tgz && \ tar xzf flower_photos.tgz ; ) && \ bazel...有两种可能性:使用Twisted + Klein来保留Python代码,或者如果你更喜欢一流事件循环支持,并且能够连接到非Python ML框架(Torch),则可以使用Node.js + ZeroMQ...o 一旦你在生产中得到了一些不同ML模型,你可能会开始想要混合和匹配不同用例——只有在模型B不确定情况下才运行模型A,在Caffe中运行模型C并将结果传递给模型D在Tensorflow 等等。

    1.6K20

    TensorFlow Serving在Kubernetes中实践

    xidianwangtao@gmail.com 关于TensorFlow Serving 下面是TensorFlow Serving架构图: 关于TensorFlow Serving更多基础概念等知识...模型; 支持从HDFS扫描和加载TensorFlow模型; 提供了用于client调用gRPC接口; TensorFlow Serving配置 当我翻遍整个TensorFlow Serving官方文档...For example: bazel build -c opt --copt=-msse4.1 --copt=-msse4.2 --copt=-mavx --copt=-mavx2 --copt=-mfma...这取决于你运行TensorFlow Serving服务器cpu配置,通过查看/proc/cpuinfo可知道你该用编译copt配置项: 使用注意事项 由于TensorFlow支持同时serve多个...如果你使用protobuf version <= 3.2.0,那么请注意TensorFlow Serving只能加载超过64MB大小model。

    3.1K130

    学习笔记TF067:TensorFlow Serving、Flod、计算加速,机器学习评测体系,公开数据集

    TensorFlow Serving代码 https://hithub.com/tensorflow/serving 。...源代码Bazel编译安装 https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/setup.md,Docker...pip命令安装,与更广泛机器兼容,TensorFlow默认仅在x86机器使用SSE4.1 SIMD指令。源代码安装可以获得最大性能,开启CPU高级指令集支持。...TPU目前版本不能完整运行TensorFlow功能,高效预测推理,涉及训练。 机器学习评测体系。 人脸识别性能指标。 鉴别性能,是否鉴别准确。Top-K识别率,给出前K个结果包含正确结果概率。...参考资料: 《TensorFlow技术解析与实战》 欢迎推荐上海机器学习工作机会,我微信:qingxingfengzi

    2K10

    从零开始:TensorFlow机器学习模型快速部署指南

    安装 BazelTensorFlow 后,你需要运行以下代码,构建大约需要 30 分钟,训练需要 5 分钟: 或者,如果你有 Docker,可以使用预制 Docker 图像, 进入容器中交互式...它地址为 bazel-bin/tensorflow/examples/image_retraining/label_image.runfiles/org_tensorflow/tensorflow/examples...Flask 和 TensorFlow 完全同步以外:执行图像分类时,Flask 按照接收请求顺序一次处理一个请求,而 TensorFlow 完全占用线程。...两种方式使用 Twisted + Klein 用 Python 写代码;如果你偏好第一类事件循环支持,并希望能够连接到非 Python ML 框架 Torch,则需要使用 Node.js + ZeroMQ...一些有名工具, Consul 和 Zookeeper。设置并学习如何使用此类工具超出了本文范畴,因此,我使用 node.js 服务发现包 seaport 推断了一个非常初级代理。

    1.5K70

    学习笔记TF066 : TensorFlow 移动端应用,iOS、Android系统实践

    执行bazel build tensorflow/examples/label_image:label_image bazel-bin/tensorflow/examples/label_image...每个量化操作后执行反量化操作。 量化数据表示。浮点数转8位表示,是压缩问题。权重、经过激活函数处理上层输出,是分布在一个范围内值。量化过程,找出最大值、最小值,将浮点数线性分布,做线性扩展。...下载花卉数据 http://download.tensorflow.org/example_images/flower_photos.tgz 。...每张图片被使用多次,不必重复计算。 编译iOS支持模型。https://petewarden.com/2016/09/27/tensorflow-for-mobile-poets/。...连上iPhone手机,双击tensorflow/contrib/ios_examples/camera/camera_example.xcodeproj编译运行。

    3.1K01

    0490-如何为GPU环境编译CUDA9.2TensorFlow1.8与1.12

    作者:李继武 1 文档编写目的 从CDSW1.1.0开始支持GPU,具体可以参考Fayson之前文章《如何在CDSW中使用GPU运行深度学习》,从最新CDSW支持GPU网站上我们可以查到相应Nvidia...这部分编译不同tensorflow版本需要安装不同版本bazel使用太新版本有 时会报错。...A.Tensorflow1.12使用bazel版本为0.19.2: 1.下载bazel-0.19.2: wget https://github.com/bazelbuild/bazel/releases...使用该--help 命令可以查看其他安装选项。 ? 显示下面的提示表示安装成功: ? 如果使用--user上面的标志运行Bazel安装程序,则Bazel执行文件将安装在$HOME/bin目录中。...B.Tensorflow1.8使用bazel版本为0.13.0: 1.下载bazel-0.13.0 wget https://github.com/bazelbuild/bazel/releases/

    3.6K30

    使用Tensorflow进行实时移动视频对象检测

    本文旨在展示如何通过以下步骤使用TensorFlow对象检测API训练实时视频对象检测器并将其快速嵌入到自己移动应用中: 搭建开发环境 准备图像和元数据 模型配置和训练 将训练后模型转换为TensorFlow...它正在对数据进行序列化以使它们能够被线性读取,尤其是在通过网络流传输数据情况下。...执行完成后,将在data文件夹下看到2个新文件,分别名为test.record和train.record。 生成标签图 现在需要创建一个标签映射,即将每个使用标签映射到一个整数值。...安装Bazel并生成冻结图 将需要首先安装Bazel构建工具(请参阅不同操作系统安装指南)。...bazel version bazel --version 安装完Bazel之后,将选择最新检查点以获取可与TensorFlow Lite一起使用兼容操作TensorFlow冻结图。

    2.1K00

    如何用TF Serving部署TensorFlow模型

    SavedModel是TensorFlow模型一种通用序列化格式。如果你熟悉TF,你会使用 TensorFlow Saver to persist保存模型变量。...例如模型训练完成后,大多数情况下使用推理模式时,计算图中不需要一些用于训练特殊操作,包括优化器、学习率调度变量、额外预处理操作等等。 另外,有时候可能需要将计算图简化作移动端部署。...SignatureDefs定义了一组TensorFlow支持计算签名,便于在计算图中找到适合输入输出张量。简单说,使用这些计算签名,可以准确指定特定输入输出节点。...注如果从bazel运行Serving API,无需Python 2环境也可以运行。可参考TF Serving Installation。 完成这步后,开始真正模型部署。...这样stub就得到了远程调用所必须逻辑,这一切就好像在本地执行一样。 此后,创建并设置请求对象。由于服务器实现TensorFlow预测API,需要解析预测请求。

    3K20

    Keras正式从TensorFlow分离:效率大幅提升

    以后在本地运行 Keras Bazel 测试将不再花费几小时,只需要几分钟。 对于深度学习领域从业者而言,Keras 肯定陌生,它是深度学习主流框架之一。...因此现在在本地运行 Keras Bazel 测试只需要几分钟,而不是几小时。 变更之后,当前 TensorFlow 代码库中 Keras 部分将很快被删除。这意味着: 1....Keras 也会给予反馈并对用户提出更改进行验证。如果更改很小,文档修复中简单 bug 修复,则只需打开 PR 无需讨论。...开发所需工具 使用 Keras 开发所需要工具主要包括如下: 用于创建和测试 Keras 项目的 Bazel 工具和 Python; 用于代码库管理 git 工具。...(Hypernetwork)这两个完整例子展示了如何在实践中使用 Keras。

    1.3K20

    教程 | 如何用TensorFlow在安卓设备上实现深度学习推断

    有几种方法可以实现这些要求,量化、权重剪枝或将大模型提炼成小模型。 在这个项目中,我使用TensorFlow量化工具来进行模型压缩。...在 TensorFlow 目录下运行下列命令行: bazel build tensorflow/tools/graph_transforms:transform_graph bazel-bin/tensorflow...在我项目中,我把 TF speech example 作为模板。这个示例中 gradle 文件帮助我们构建和编译安卓 TF 库。但是,这个预构建 TF 库可能不包括模型所有必要 ops。...为了找到 ops 完整列表,我首先使用 tf.train.write_graph 输出图详细信息。...TensorFlow 有一个音频 op,可以执行该特征提取。然而,事实证明,实现这种转换存在一些变体。

    1.9K50
    领券