跳到主要内容

模型转换

模型转换1、Jetson Orin YOLO11(基准测试)2、启用主板最佳性能2.1、启用MAX功率模式2.2、启用Jetson时钟3、模型转换3.1、CLI:pt → onnx → engine 3.2、Python:pt → onnx → engine4、模型预测CLI使用常见问题ERROR: onnxslim参考资料

1、Jetson Orin YOLO11(基准测试)

YOLO11基准测试数据来源Ultralytics团队,对多种不同格式的模型进行测试(数据仅供参考)

image-20241231113339184

2、启用主板最佳性能

2.1、启用MAX功率模式

在Jetson上启用 MAX Power Mode(最大功率模式)将确保打开所有CPU 、GPU 内核:

xxxxxxxxxx sudo nvpmodel -m 2

2.2、启用Jetson时钟

启用Jetson Clocks将确保所有CPU,GPU内核都以最大频率运行:

xxxxxxxxxx sudo jetson_clocks

3、模型转换

根据Ultralytics团队提供的不同格式模型下的测试参数,我们可以发现在使用TensorRT进行推理性能最佳!

首次使用YOLO11的导出模式会自动安装一些依赖,等待自动完成即可!

3.1、CLI:pt → onnx → engine

将PyTorch格式的模型转化成TensorRT:转化过程会自动生成ONNX模型

xxxxxxxxxx cd /home/jetson/ultralytics/ultralytics x yolo export model=yolo11n.pt format=engine # yolo export model=yolo11n-seg.pt format=engine # yolo export model=yolo11n-pose.pt format=engine # yolo export model=yolo11n-cls.pt format=engine # yolo export model=yolo11n-obb.pt format=engine

image-20241231122558848

3.2、Python:pt → onnx → engine

将PyTorch格式的模型转化成TensorRT:转化过程会自动生成ONNX模型

x cd /home/jetson/ultralytics/ultralytics/yahboom_demo x python3 model_pt_onnx_engine.py ​ x from ultralytics import YOLO # Load a YOLO11n PyTorch model # model = YOLO("/home/jetson/ultralytics/ultralytics/yolo11n.pt") model = YOLO("/home/jetson/ultralytics/ultralytics/yolo11n-seg.pt") # model = YOLO("/home/jetson/ultralytics/ultralytics/yolo11n-pose.pt") # model = YOLO("/home/jetson/ultralytics/ultralytics/yolo11n-cls.pt") # model = YOLO("/home/jetson/ultralytics/ultralytics/yolo11n-obb.pt") # Export the model to TensorRT model.export(format="engine")

注意:转换生成的模型文件位于转化的模型文件位置

image-20241231130524974

4、模型预测

CLI使用

CLI目前只支持调用USB摄像头,CSI摄像头用户可以直接修改前面的python代码进行onnx和engine模型的调用!

x cd /home/jetson/ultralytics/ultralytics x yolo predict model=yolo11n.onnx source=0 save=False show

image-20241231141309294

x yolo predict model=yolo11n.engine source=0 save=False show

image-20241231141137709

常见问题

ERROR: onnxslim

image-20241231120636237

解决办法:终端输入onnxslim安装命令

x sudo pip3 install onnxslim

image-20241231120751992

参考资料

https://docs.ultralytics.com/guides/nvidia-jetson/

https://docs.ultralytics.com/integrations/tensorrt/