intel核显推理需要要安装核显的opencl驱动.
./opencl/download_opencl.sh
如果下载超时可以手动浏览器下载所有的deb包,检查文件完整后可以进行安装:
./opencl/install_opencl.sh
查看核显loading: sudo intel_gpu_top
查看cpu loading: htop
用于openvino模型转换和优化,脚本使用python env配置虚拟环境.
./openvino/ovdt/install_ovdt.sh
激活环境命令: ovenv_activate 或: source ~/venv/openvino_env/bin/activate
openvino cpp推理器.
./openvino/ovrt/install_ovrt.sh
如果工程到了openvino runtime库,在cmake之前需要执行以下命令(否则会报错找不到库):
ovrt_set 或 source /opt/intel/openvino_2022.3.0/setupvars.sh
主要希望使用到dnnl库中的avx512 cpu优化
首先需要升级cmake到3.25.0版本: ./onnxruntime_dnnl/update_cmake.sh
检查cmake版本是否切换,如果切换到了3.25.0,可以开始安装onnxruntime_dnnl: ./onnxruntime_dnnl/install_ort_dnnl.sh