我已经训练了一个对象检测模型，用于生产实时应用程序.我有以下两个选择。有人能建议什么是最好的方式运行Jetson的最佳性能推断吗？任何其他建议也是受欢迎的。将模型转换为ONXX格式并与TensorRT一起使用
将模型保存为Torchscript并在C++中运行推理
浏览 9提问于2021-02-08得票数 2
2回答
我已经在Nvidia GPU上训练了分类模型，并保存了模型权重(checkpoint.pth)。如果我想在jetson nano中部署这个模型并对其进行测试。 我应该把它转换成TenorRT吗？如何将其转换为TensorRT？ 我对此还不熟悉。如果有人能纠正我，那将是很有帮助的。
浏览 54提问于2021-04-21得票数 0
我正在做一个项目，在这个项目中我需要用PyTorch在C++中转发网络。网络的权重需要从Tensorflow中训练的模型导入。我将使用火炬编写网络的C++版本，但由于一些问题，我不能在火炬中训练网络。
浏览 1提问于2020-05-13得票数 0
将模型从PyTorch转换为ONNX或TensorRT格式时，参数和FLOPS (每秒浮点操作数)的数量是否会发生变化？
浏览 19提问于2021-11-24得票数 0
我在jetson nano上推断TensorRt模型。它通过onnx从pytorch转换而来。在推理时，TensorRt模型的精度已经急剧下降。它是一个目标检测类型的模型。代码链接：https://github.com/NVIDIA/TensorRT/issues/467
浏览 124提问于2020-03-31得票数 0
回答已采纳
我开发了一个改进版本的yolov4 4-微型模型。我想将这个已开发的模型转换成一个TensorRT模型，但是在参考了附加的URL之后，我发现我只能转换原来的v4-微型模型。我的问题是，其他人如何将他们的原始模型转换为TensorRT？
提前谢谢你。
浏览 16提问于2022-04-06得票数 0
我正在使用PyTorch训练神经网络并将它们输出到ONNX中.我在索引中使用这些模型，该索引通过TensorRT加载ONNX。我需要一些特性的一个热编码，但这真的很难在Vespa框架内实现。如果是这样的话，我应该如何基于PyTorch模型来实现这一点？我已经注意到两件事：
基于PyTorch<
浏览 17提问于2021-03-09得票数 3
回答已采纳
1回答
我有一个python程序，在.py文件中有以下代码片段，它使用trtexec将ONNX模型转换为TRT引擎： subprocess.run([sys.executable, "-c", "trtexec --onnx=rmpx.onnx --saveEngine=rmpx_engine_pytorch.trt --explicitBatch --fp16"]) subprocess.run([sys.executable, "-c&quo
浏览 6提问于2021-06-13得票数 0
1回答
我对在CUDA上运行int8量化模型是否可能感到困惑，或者您是否只能在CUDA上使用fakequantise来训练量化模型，以便在另一个后端(如CPU )上部署。我想用实际的int8指令而不是FakeQuantised float32指令在CUDA上运行该模型，并享受效率的提高。比托尔医生对这件事没有什么特别的解释。如果有可能在CUDA上使用不同的框架(如TensorFlow )运行量化模型，我很想知道。model_quantised = quantize
浏览 0提问于2021-10-26得票数 2
我使用TensorRT将模型从onnx转换为trt -format。该模型最初是来自Tensorflow模型动物园(SSD ResNet50)的一个模型。[E] Engine set up failed &&&& FAILED TensorRT.trtexec # trtexec --onnx=..有人知道如何将模型从Tensorflow模型动物园转换为Ten
浏览 2提问于2021-06-18得票数 4
回答已采纳
我试图加快分割模型(UNET-Mobileenet-512x512)。我将我的tensorflow模型转换为具有tensorRT精度模式的FP16。而且速度比我预期的要慢。经过tensorRT运算后，我得到了14 have。您可以看到，unet 256x256的分割速度是146 FPS。下面是使用TensorRt优化tensorflow保存模型的代码：from tensorflow.pyth
浏览 10提问于2021-02-07得票数 6
回答已采纳
我正在将onnx版本的arcface模型转换为tensorrt。我正在遵循nvidia的官方文档进行这个过程。但是，我得到了一个错误的分割错误核心转储。请提供您最好的建议。
浏览 33提问于2019-11-05得票数 1
1回答
如何将角点序列模型转换为张量-rt？我正在研究人脸识别，我用keras序列模型建立了人脸编码模型。现在我想在jtson上实现这一点。这是模型架构： model = Sequential()
model.add(Dense
浏览 2提问于2020-01-24得票数 1
回答已采纳
1回答
我正在使用Nvidia Tesla P100上的tensorflow 对象检测模型来提取边界框和关键点，用于检测视频中的人。使用来自tensorflow.org的预训练，我能够处理大约16帧每秒.有没有办法提高这个模型的评估速度？以下是我一直在研究的一些想法：
最初试图转换为Ten
浏览 0提问于2020-11-04得票数 5
我遇到了一个问题，我在pytorch 0.4.1中训练我的模型，但我找不到一个工具来将它转换为caffe模型。如何使用init pytorch 0.2.0的pytorch 0.4.1 model
或者如何将pytorch 0.4.1 model转换为caffe model
浏览 12提问于2018-09-12得票数 0
我的代码是 a=torch.randn(1,80,100,requires_grad=True)
torch.onnx.export(waveglow,a, "waveglow.onnx") 我正在尝试将PyTorch模型导出为ONNX格式，这样我就可以在TensorRT中使用它。在PyTorch中测试我的模型时，输入张量维度是(1,80，x)，其中x随输入文本长度而变化(我使用的模型是名为waveglow的TTS模型) 当我尝试运行上面的代码将<e
浏览 631提问于2019-03-10得票数 3
SageMaker Neo相对于每个ML加速器提供的专用本机运行时(如NVIDIA TensorRT、Intel OpenVINO、DeepView RT、CoreML、ArmNN等)有什么优势？我知道Neo在幕后使用了一些框架，比如TensorRT，但是直接为Neo或TensorRT编译模型有什么好处呢？另一点是，根据官方文档，对不同ML模型的支持在MXnet以外的框架中是有限的。如果一家公司在PyTorch或Tensorflow/Keras中有模型，那么它
浏览 10提问于2022-10-31得票数 0
我有一个tensorflow训练模型，并在tensorflow测试，精度达到95%。我该从哪里看这个精度下降的地方？唯一的区别是我在TensorRT中进行批处理推理，而不是在Tensorflow中。
对于Tensorflow和
浏览 6提问于2020-09-11得票数 0
回答已采纳
我试图通过ONNX (opset 11)将torch.nn.functional.grid_sample的模型从Pytorch (1.9)转换为使用INT8量化的INT8 (7)。有了它，转换到TensorRT (有和没有INT8量化)是成功的。没有INT8量化的Pytorch和TRT模型提供的结果接近相同的结果(MSE为e-10阶)。出于测试目的，我创建了只包含grid_sample层的测试模型。在这种情况下，TensorRT结果与不带INT8量化的
浏览 2提问于2021-09-13得票数 0
关于CoreML模型的教程都是将TensorFlow模型或PyTorch模型转换为CoreML模型。如果预先训练好的模型文件是mlmodel类型，我不知道如何在python中使用它，也不知道如何将mlmodel转换为tf模型。如何在Python语言中通过TensorFlow、Keras或PyTorch来读取和部署CoreML模型？
浏览 28提问于2020-09-06得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
