近几日完成ResNet相关实现engine方法，但仅仅基于基于简单分类网络实现转换，且基于Tensorrt C++ API 构建YLOV5实现engine转换相关资料较多，然调用ONNX解析转换engine相关资料较少,因此本文将介绍如何使用onnx构建engine，并推理。

版本：tensorrt版本8.4，可使用8.0以上版本

一.yolov5转onnx方法：

这里我将重点说明，我使用官方export.py能成功导出onnx文件，也能使用python的onnx runtime预测出正确结果，且也能转rknn模型完成测试，但使用tensorrt的onnx解析构建engine时候，便会出错。若知道答案可帮忙回答，万分感谢！

方法一:

需使用github：https://github.com/linghu8812/yolov5 成功转onnx，能被tensorrt的onnx解析，实现网络构建。

其解析构建网络代码：

   const char* onnx_path = "./best.onnx";

    INetworkDefinition* network = builder->createNetworkV2(1U); //此处重点1U为OU就有问题

    IParser* parser = createParser(*network, gLogger);
    parser->parseFromFile(onnx_path, static_cast(ILogger::Severity::kWARNING));
    //解析有错误将返回
    for (int32_t i = 0; i < parser->getNbErrors(); ++i) { std::cout << parser->getError(i)->desc() << std::endl; }
    std::cout << "successfully parse the onnx model" << std::endl;

方法二(修改时间：2022-0905)：

可用github yolov7的转换代码https://github.com/WongKinYiu/yolov7/tree/u5 ，已测试可行。同时也测试了yolov7转换，任然可运行。

二.基于C++ 使用onnx转engine且推理

（1）yolov5 使用onnx转为engine代码，此代码比较原始，未做后处理逻辑而保存代码。

可忽略该版本代码直接使用(2)中代码。

#include "NvInfer.h"
include "cuda_runtime_api.h"
include 
include 
include 
yolov52engine
（2）yolov5 使用onnx转为engine代码，完整代码。
代码重要步骤有解释，具体查看代码。
代码平台：windows10 visual studio 相关安装可参考我以往博客点击这里 和 这里末尾
本代码实现功能如下:
①.onnx转engine；
②.engine推理；
③CPU实现NMS方法

#include "NvInfer.h"
include "cuda_runtime_api.h"
include 
include 
include 
yolov52engine(onnx)
三.预测结果展示:

自己训练模型转换测试结果:

四.CMakeLists.txt编写(添加:2022-1006)
介绍如何使用编译命令在ubuntu(linux)环境中运行，以下代码适用YOLO Onnx及C++ 源码构建，其中target_link_libraries(yolo /home/ubuntu/soft/TensorRT-8.2.5.1/lib/stubs/libnvonnxparser.so)此库的onnx需要调用，若C++则可忽略。
引用链接：https://www.cnblogs.com/tangjunjun/p/16624566.html
engine的CMakeLists.txt构建：
cmake_minimum_required(VERSION 2.6)

project(yolo)

add_definitions(-std=c++11)

option(CUDA_USE_STATIC_CUDA_RUNTIME OFF)
set(CMAKE_CXX_STANDARD 11)
set(CMAKE_BUILD_TYPE Debug)

include_directories(${PROJECT_SOURCE_DIR}/include)
include and link dirs of cuda and tensorrt, you need adapt them if yours are different
cuda
include_directories(/usr/local/cuda/include)
link_directories(/usr/local/cuda/lib64)
tensorrt
include_directories(/home/ubuntu/soft/TensorRT-8.2.5.1/include/)
link_directories(/home/ubuntu/soft/TensorRT-8.2.5.1/lib/)

include_directories(/home/ubuntu/soft/TensorRT-8.2.5.1/samples/common/)
#link_directories(/home/ubuntu/soft/TensorRT-8.2.5.1/lib/stubs/)

opencv
find_package(OpenCV REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS})
add_executable(yolo ${PROJECT_SOURCE_DIR}/main.cpp)
target_link_libraries(yolo nvinfer)
target_link_libraries(yolo cudart)
target_link_libraries(yolo ${OpenCV_LIBS})
target_link_libraries(yolo /home/ubuntu/soft/TensorRT-8.2.5.1/lib/stubs/libnvonnxparser.so)

add_definitions(-O2 -pthread)


Original: https://www.cnblogs.com/tangjunjun/p/16639361.html
Author: tangjunjun
Title: YOLOV5使用onnx转tensorrt(engine)