0回答
我有10个模型，并想将这些模型集成在一起。我需要做出一个非常非常快的响应时间的推断。std::ref(pred_2d[i])));并且Search::make_infer被定义为：通过这样做，响应时间从我需要将时间减少到10毫秒。我如何进一步优化这一点？
浏览 1提问于2017-12-16得票数 0
1回答
我有两种经过训练的YoloV5模型用于笔尖和笔帽检测(pen.pt，cap.pt)。!weights cap.pt pen.pt --img 640 --conf 0.50 --source VID_20220727_185703.mp4
它运行正常，并分别检测笔和帽，但，它只显示为两个的标签为帽
浏览 3提问于2022-08-06得票数 1
1回答
加速张量流模型
、、、
我使用mxnet框架训练了一个模型。该模型的推理时间约为9毫秒。该模型主要由卷积层组成，并使用深度可分离卷积。 我想在浏览器中运行该模型。我将模型转换为ONNX格式，然后从 ONNX -> tensorflow -> tensorflow. tensorflowjs模型的推理时间约为129毫秒。 有什么建议可以提高模型的</e
浏览 4提问于2019-03-06得票数 0
1回答
有了经过训练的“.h5”Keras模型文件，我正在尝试优化推理时间：
“int8”量化。此时，我可以将模型文件转换为TensorFlow protobuf '.pb‘格式，但作为一个侧面，它还包含几个层的自定义对象。看到了一些关于TensorRT转换和TFLite转换的文章，但我似乎找不到一个可读的健壮实现。有人能解释一下如何做
浏览 1提问于2019-07-06得票数 3
2回答
数据集图像大小和推理速度
、、、
是否在同一数据集上对预先训练过的模型进行训练/微调，但缩小了(例如，70%)的大小，从而提高了推理速度？更普遍地说，对较小图像进行CNN训练是否提高了推理速度？
浏览 0提问于2019-02-18得票数 4
我有一个冻结的图形，PB文件，我导入到TensorFlow，目前所有的数据类型和操作都是在float32中完成的，我如何才能将一切转换为float16，即使是乘法，卷积等操作？
浏览 10提问于2018-02-12得票数 0
1回答
有一个模型显示了99%的性能(10class图像分类)。但我不能使用更大的模型，因为我必须保持推理时间。 如果我使用另一个大模型训练知识蒸馏，是否会产生整体效应？-option-或者让我知道是否有比这更好的方法来提高性能。 enter image description here
浏览 17提问于2021-07-14得票数 0
回答已采纳
我使用的是初始v2 rcnn模型。我有我的实时目标检测程序的代码with detection_graph.as_default():我只能得到大约9帧每秒的速度。e_e
我目前使用的是Nvidia Geforce MX150。会不会是我的</e
浏览 1提问于2020-03-11得票数 1
我正在raspberry pi4B和jetson上运行yolov4对象检测模型。我得记录下推理时间。我使用12张图片进行评估。如何记录该模型的推理时间？有什么可以计算推理时间的吗？
浏览 1提问于2022-07-26得票数 0
2回答
在使用OpenVINO工具包转换模型之后，我试图运行facenet，但是我无法使用.npy和.pickle来完成人脸识别。我成功地使用工具包将.pb文件转换为.bin和.xml文件。
浏览 2提问于2019-02-26得票数 0
1回答
我试图在C++中运行模型推理。我能够在C++中使用torch::jit::load()加载模型。我能够在cpu和gpu上进行推理，但是起点总是torch::from_blob方法，它似乎正在创建cpu端张量。问:如何从cv
浏览 0提问于2018-12-04得票数 1
回答已采纳
我正在使用TensorFlow的对象检测模块中的一个模型来运行推理。我在同一个会话中循环检查我的测试映像，并执行sess.run()。但是，在分析这些运行时，我意识到与后续运行相比，第一次运行的时间总是更长。我正在英特尔的i7 CPU上部署对象检测推断管道。一个session.run()、1、2、3和第4张图像的时间看起来类似于
浏览 1提问于2019-04-08得票数 1
2回答
加速Keras模型的推理
、、、、
我有一个Keras模型，它在Raspberry Pi (用相机)上进行推理。覆盆子Pi有一个非常慢的CPU (1.2.GHz)和没有CUDA GPU，所以model.predict()阶段需要很长时间(~20秒)。我正在寻找办法尽可能地减少这一点。我试过：
，我还能做些什么来提高推理的速度吗？我已经在简单
浏览 0提问于2017-10-16得票数 7
回答已采纳
1回答
首先，你可以在下面看到任何幼稚的说法，我是这个领域的新手。
集成大型机器学习/深度学习模型微调的web应用程序如何处理这些模型的存储和检索以进行推理？我试图实现一个网络应用程序，让用户微调一个稳定的扩散模型，使用他们自己的图像与梦想间。由于微调模型相当大，达到了几千兆字节。在对模型进行训练和保存后，应用程序应该在每次用户访问站点并请求时
浏览 0提问于2023-02-03得票数 0
回答已采纳
我在Tensorflow模型服务器上观察到CPU的性能问题。与原始的Tensorflow模型推理相比，它的推理时间增加了一倍。两者都是用MKL构建的，只用于CPU。mavx --copt=-mavx2 --copt=-mfma --copt=-O3 tensorflow_serving/model_servers:tensorflow_model_server
目标模型是简单的CNN分割<
浏览 7提问于2017-11-27得票数 1
1回答
YoloV5定制再培训
、、、
我在yoloV5s模型中训练了我的自定义数据集，我的推理准确率达到了80%。现在，我需要增加更多的图片和标签，以提高准确性。我的问题是，我已经训练10,000+标签达到80%，为了训练和提高我的准确性，我是否需要把旧的10,000+数据和我的新数据包括在一起？有任何方法，我可以包括新的数据，只是为了重新培训模型，即使我添加了一个新的类？
我怎样才
浏览 12提问于2021-08-31得票数 2
回答已采纳
1回答
评估使用推理器的算法的性能
、、、、
我开发了一种算法(java代码)，它在OWL本体中找到两个给定类之间的特定路径(属性链)。这是F ⊑ =1 r.D
这个瓶
浏览 5提问于2015-05-14得票数 1
我有一个用tensorflow构建的对象检测模型，并与Django项目集成。当前发生的情况是，每当向Django API发出请求时，就会创建tf会话，并在检测完成后关闭。是否可以使用所需的推理图启动Django服务器和tensorflow会话以减少对象检测时间？
浏览 0提问于2018-12-05得票数 0
回答已采纳
我在努力优化我的火把模型。我理解量化的基本原理(将32位浮点数更改为16位或8位中的其他数据类型)，但我不知道这两种方法有何不同或选择了什么。
我看到AMP (自动混合精度) 和规则量化。
浏览 4提问于2021-12-28得票数 2
回答已采纳
我是Tensorflow的爱好者，我正在尝试导出一个模型(用Python语言开发，然后使用Tensorflow工具冻结和优化)，以便在C++项目中使用(只是为了推断)。我所经历的是，即使遵循在其他用户已经打开的其他问题中发现的所有规定，我在编译源代码后获得的C++可执行文件在推理操作(我的意思是会话->运行)中比在Python推理代码中的相同操作慢10倍。我使用以下命令构建了C++项目：
bazel build
浏览 30提问于2018-01-22得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
