我使用TFServing为BERT模型提供服务，并希望使用REST API提取隐藏层。(model, model_save_path) 使用saved_model_cli查看已保存的模型，如下所示。调用，我在请求中构造输入，以使模型期望与我在正常推理期间的操作方式相匹配(根据TFServing documentation https:/
浏览 116提问于2021-04-02得票数 0
我已经使用docker启动了tensorflow服务： -v /tfserving/models:/models \ tensorflow/serving:1.14.0 \
--model_config_fileb
浏览 40提问于2019-11-22得票数 2
我想使用TFServing进行预测，但是，当我调用TFServing的API时，码头容器就会崩溃，但会出现以下错误：terminate called after throwin
浏览 9提问于2022-10-05得票数 0
回答已采纳
TFServin和KFServing都将模型部署在Kubeflow上，让用户可以轻松地将模型作为服务使用，不需要了解Kubernetes的细节，隐藏底层。TFServing来自TensorFlow，它也可以在Kubeflow或独立上运行。KFServing来自Kubeflow，它可以支持多个框架，如PyTorch、TensorFlow、MXNet等。
我的问题是，这两个项目的主要区别是什么？如果我想在生产中推
浏览 5提问于2020-04-03得票数 4
回答已采纳
我有一个经过训练的Tensorflow模型，我想用REST API提供预测方法。我能想到的是使用Flask构建一个简单的REST API，该API接收JSON作为输入，然后调用Tensorflow中的predict方法，然后将预测结果返回给客户端。
浏览 1提问于2016-04-08得票数 10
我正在使用tfserving为特定版本的模型提供服务，该版本可以在任何时候被重写。config { base_path: "/var/models/common"
model_platform: "tensorflow(位于/var/models/common/0上)时，rest</e
浏览 1提问于2021-09-03得票数 1
我正在尝试使用来自tensorflow集线器的嵌入模块作为servable。我是tensorflow的新手。目前，我使用嵌入作为查找，将句子转换为嵌入，然后使用这些嵌入来查找与另一个句子的相似度。我当前将句子转换为嵌入的代码是： session.run([tf.global_variables_initializer(), tf.tables_initializer如何<
浏览 1提问于2018-06-11得票数 8
1回答
/ tensorflow-servings: build: ./some_model_dir - 8501:8501
我相信这是由于不正确
浏览 3提问于2021-09-30得票数 3
回答已采纳
我目前正在尝试设置一个TensorFlow服务客户机，该客户端的任务是处理以下格式的消息队列： "model_url":"http://path/to/some/model",}
换句话说，每一条信息都表示应该使用哪一种模型</
浏览 1提问于2019-01-29得票数 1
回答已采纳
我们要做的是模型服务基础设施。我正在比较和。但是我找不到足够的文档来描述google ai服务的特性以及它是如何实现的。似乎gcloud ai-platform versions create可以创建模型版本资源并开始服务，这是我唯一能找到的点。谷歌人工智能服务和kfserving之间的关系是什么？2，gcloud ai-platform versions cre
浏览 20提问于2020-04-16得票数 1
在将keras模型引入生产环境时，tensorflow服务通常用作REST API。它有一些缺点，因为图像数据需要与网络输入层相同的输入格式，例如json中具有形状(300,300,3)的数组。实现这一点的唯一方法似乎是将tensorflow服务API封装到另一个服务中。
如何才能让tensorflow提供一个接受base64编
浏览 8提问于2019-07-15得票数 0
回答已采纳
我想做的是：
假设ml的培训过程由笔记本电脑处理，一旦满足了模型要求api相关的代码仍将在一个节点上运行，而在wich submit上的那个代码将被调用(如果我
浏览 5提问于2017-04-21得票数 1
2回答
我所做的是，我在Windows上使用Docker部署了张量流服务。我在张量流服务中使用初始模型。它已经开始运行了。现在，使用java，我希望将图像从浏览器上传到这个在tensorflow服务中运行的初始模型，作为响应，我应该获得类名。
任何示例都会有帮助。
浏览 0提问于2018-08-06得票数 0
我有一个小型的web服务器，它可以获得句子的输入，并且需要使用Tensorflow服务返回模型预测。它可以很好地使用我们的单个GPU，但是现在我希望能够进行批处理，这样Tensorflow服务就可以在GPU上对传入的句子进行分组，然后将它们合并在一起处理。我使用的是和，使用了Tensorflow</em
浏览 0提问于2017-05-29得票数 9
回答已采纳
1回答
考虑情况：
我有一个安装了Python、tensorflow和其他库的Ubuntu服务器。我的代码是python脚本，它加载了几个模型，其中一些模型是预先训练过的向量.bin，还有一些文件来自服务器文件夹，等等。当我在终端上运行脚本时，它会启动交互式会话，在其中输入一些文本并将脚本输出回我(比如聊天机器人)。在回答时，它叫我的人工智能模型(Tensorflow，keras)。问题:如何从其他pyth
浏览 0提问于2019-05-24得票数 0
我使用的是通用句子编码器预先训练好的模型，命令如下：import tensorflow_hub as hub
)
如何为RESTFUL API重新加载保存的模型？
浏览 1提问于2019-02-20得票数 2
我试图使用docker组合(服务模型+微服务)运行tensorflow服务，但是tensorflow服务容器失败，错误出现在下面，然后重新启动。.tensorflow-serving(core dumped)
浏览 15提问于2022-09-12得票数 0
我已经训练了10个不同的TensorFlow模型来进行样式转换，基本上每个模型都负责根据样式图像对图像应用滤镜。因此，每个模型都是独立运行的，我希望将其集成到一个应用程序中。有没有办法使用AWS部署这些模型？
我尝试使用API部署这些模型，然后使用AWS Lambda的端点，最后使用API Gateway创建SageMaker。
浏览 2提问于2019-06-11得票数 1
我试图访问我的tensorflow服务模型，它有一个签名，从这个代码段可以看到： inputs={"phase_featurestag_constants.SERVING],builder.save()
它在tf中加载，使用具有以下内容<
浏览 10提问于2017-05-08得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
