YOLOv8 Tensorrt Python/C++部署教程

2023-06-08 0 2,675

B站教学视频

https://www.bilibili.com/video/BV1Pa4y1N7HS

Github仓库地址

https://github.com/Monday-Leo/YOLOv8_Tensorrt

Introduction

  • 基于Tensorrt加速Yolov8,本项目采用ONNX转Tensorrt方案
  • 支持Windows10Linux
  • 支持Python/C++

YOLOv8

Environment

  • Tensorrt 8.4.3.
  • Cuda 11.6 Cudnn 8.4.1
  • onnx 1.12.0

Quick Start

安装yolov8仓库,并下载官方模型。

pip install ultralytics==8.0.5
pip install onnx==1.12.0
# download offical weights(".pt" file)
https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt

使用官方命令导出ONNX模型

yolo mode=export model=yolov8n.pt format=onnx dynamic=False

使用本仓库v8_transform.py转换官方的ONNX模型,会自动生成yolov8n.transd.onnx。

python v8_transform.py yolov8n.onnx

将生成的onnx模型复制到tensorrt/bin文件夹下,使用官方trtexec转化onnx模型。FP32预测删除--fp16参数即可

trtexec --onnx=yolov8n.transd.onnx --saveEngine=yolov8n_fp16.trt --fp16

C++

配置OpencvTensorrt环境,具体可参考https://github.com/Monday-Leo/Yolov5_Tensorrt_Win10

打开本仓库的CMakeLists.txt,修改OpencvTensorrt路径,之后cmake。

#change to your own path
##################################################
set(OpenCV_DIR "E:/opencv/build")  
set(TRT_DIR "E:/TensorRT-8.4.3.1")  
##################################################

预测图片zidane.jpg和模型yolov8n_fp16.trt放入exe文件夹,直接运行程序,没有做warmup预测,首次预测时间不准,想要精确计时请自行修改代码做warmup。想要修改模型路径和图片路径请修改主程序。

int main() {
	std::string img_path = "zidane.jpg";
	std::string model_path = "yolov8n_fp16.trt";
	single_inference(img_path,model_path);
	return 0;
}

Python

在刚才的C++工程中右键yolov8,点击属性,修改为动态链接库

将本仓库的python_trt.py复制到dll文件夹下。

设置模型路径,dll路径和想要预测的图片路径,特别注意模型路径需要加b’’

det = Detector(model_path=b"./yolov8n_fp16.trt",dll_path="./yolov8.dll")  # b'' is needed
img = cv2.imread("./zidane.jpg")

Reference

https://github.com/ultralytics/ultralytics

https://github.com/shouxieai/infer

文章来源于互联网:YOLOv8 Tensorrt Python/C++部署教程

银河教育 网络教程 YOLOv8 Tensorrt Python/C++部署教程 https://www.edufly.cn/data/tutorial/885.html

常见问题

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务