ONNXRUNTIME C++ 版本推理部署踩坑记录

↑ 点击 蓝字  关注极市平台

作者丨gloomyfish

来源丨OpenCV学堂

编辑丨极市平台

极市导读

 

Faster-RCNN转ONNX踩坑过程全记录，功夫不负有心人，最后得到了解决的办法，附代码详解～ >>加入极市CV技术交流群，走在计算机视觉的最前沿

前言

之前我安装了CUDA10.0跟cuDnn7.6.5 然后我在VS2017中配置了包含路径、库路径跟连接器，把环境变量加上，重启一下就可以运行onnxruntime-1.4 gpu版本，用YOLOv5导出onnx格式模型，跑的很欢畅。

-VS2017
-CUDA10.1
-cuDnn7.6.5
-onnxruntime-1.4-gpu

Faster-RCNN转ONNX

周末的时候我想试试tensorRT+YOLOv5最新版本，就把CUDA升级到11.02了，然后cuDnn改到8.3.2，然后我发现官方没有对应编译好的onnxruntime-gpu版本，就下载了onnxruntime1.7 CPU版本，跟以前的配置又走了一次，结果我得到下面的错误：

(进程 9336)已退出，返回代码为: -1073741701。

-VS2017
-cuda11.0.2
-cudnn8.3.2
-onnxruntime1.7-cpu
-python3.6.5

然后我发现只要不引用onnxruntime就没事，用了就无法启动，百度一搜索各种说法的都有，总结最关键一条，DLL加载失败了，有些依赖没有找到，然后我直接用dumpbin.exe分析依赖一波，发现这些DLL都有啊，怀疑人生ing~~~~~~

然后就开始疯狂各种版本测试，结果还是这个错误！

折腾了一天，到晚上问了两个人，都建议我直接onnxruntime相关的lib跟dll文件copy到编译的exe目录下，还配置个毛线环境变量！然后我照做了，死马当活马医！然后居然奇迹出现了，正常启动了，可以跑了，有图为证！

std::shared_ptr<YOLOv5ORTDetector> detector(new YOLOv5ORTDetector());
std::vector<DetectResult> results;
detector->initConfig("D:/python/yolov5-6.1/yolov5s.onnx", 0.4, 0.25f);
cv::VideoCapture capture("D:/images/video/sample.mp4");
cv::Mat frame;
while (true) {
    bool ret = capture.read(frame);
    detector->detect(frame, results);
    for (DetectResult dr : results) {
        cv::Rect box = dr.box;
        cv::putText(frame, classNames[dr.classId], cv::Point(box.tl().x, box.tl().y - 10), cv::FONT_HERSHEY_SIMPLEX, .5, cv::Scalar(0, 0, 0));
    }
    cv::imshow("YOLOv5-6.1 + ONNXRUNTIME1.7 - by gloomyfish", frame);
    char c = cv::waitKey(1);
    if (c == 27) { // ESC 退出
        break;
    }
    // reset for next frame
    results.clear();
}

总结

遇见此错误，直接无脑copy dll跟lib文件到exe目录下就好啦！

必须说三遍！

别多想，操作系统跟VS配置有时候没那么靠谱：

(进程 9336)已退出，返回代码为: -1073741701。

公众号后台回复“数据集”获取100+深度学习数据集下载～

△点击卡片关注极市平台，获取 最新CV干货

# CV技术社群邀请函 #

△长按添加极市小助手

添加极市小助手微信（ID : cvmart4）

备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳）

即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群

每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~

觉得有用麻烦给个在看啦~