企业官网建设流程全解析

OpenVINO在openEuler平台的完整指南：10分钟快速部署AI推理环境

【免费下载链接】intel-openvinoOpenVINO openEuler portal for maintaining the OpenVINO dependencies and projects项目地址: https://gitcode.com/openeuler/intel-openvino

前往项目官网免费下载：https://ar.openeuler.org/ar/

OpenVINO是一款开源的深度学习模型优化与部署工具包，专为提升计算机视觉、自动语音识别、生成式AI等任务的性能而设计。本文将为你提供在openEuler平台上快速部署OpenVINO AI推理环境的详细步骤，让你在10分钟内完成从安装到运行的全过程。

OpenVINO核心优势

OpenVINO作为英特尔推出的AI推理优化工具，具有三大核心优势：

• 推理性能优化：显著提升各类深度学习任务的运行效率，包括计算机视觉、自然语言处理等多个领域。
• 多框架支持：兼容TensorFlow、PyTorch、ONNX等主流深度学习框架，无需依赖原框架即可完成模型转换与部署。
• 跨平台兼容性：支持从边缘设备到云端的多种平台，包括CPU（x86、ARM）、GPU以及AI加速器（如Intel NPU）。

准备工作：系统要求

OpenVINO已从openEuler 24.03 LTS SP1版本开始原生集成，因此请确保你的系统满足以下条件：

• 操作系统：openEuler 24.03 LTS SP1或更高版本
• 网络连接：用于下载安装包和模型文件
• 权限：需要sudo权限以安装系统包

一键安装Intel GPU驱动与运行时库

OpenVINO在GPU上的加速依赖于Intel的图形驱动和计算运行时库。幸运的是，这些组件已集成到openEuler的软件仓库中，只需执行以下命令即可完成安装：

sudo dnf install -y intel-gmmlib intel-gsc intel-igc-cm intel-igc-core intel-igc-opencl \ intel-level-zero-gpu intel-ocloc intel-opencl level-zero libmetee ocl-icd

快速安装OpenVINO核心组件

查看可用的OpenVINO包

首先，通过以下命令查看openEuler仓库中提供的OpenVINO相关包：

sudo dnf list *openvino*

你将看到类似以下的输出，显示所有可用的OpenVINO包：

libopenvino.x86_64 2024.3.0-1.oe2403 @oe-openvino libopenvino-auto-batch-plugin.x86_64 2024.3.0-1.oe2403 @oe-openvino libopenvino-auto-plugin.x86_64 2024.3.0-1.oe2403 @oe-openvino libopenvino-devel.x86_64 2024.3.0-1.oe2403 @oe-openvino libopenvino-intel-cpu-plugin.x86_64 2024.3.0-1.oe2403 @oe-openvino libopenvino-intel-gpu-plugin.x86_64 2024.3.0-1.oe2403 @oe-openvino ...

安装基础OpenVINO包

执行以下命令安装OpenVINO的核心组件，包括CPU和GPU插件、开发库以及示例代码：

sudo dnf install -y libopenvino libopenvino-intel-cpu-plugin libopenvino-intel-gpu-plugin openvino-samples libopenvino-devel

构建并运行OpenVINO示例程序

安装构建工具

为了编译示例代码，需要安装CMake和编译器等构建工具：

sudo dnf install -y cmake gcc g++ wget sudo dnf install -y opencl-headers opencl-clhpp ocl-icd-devel

编译示例代码

OpenVINO的示例代码位于/usr/share/openvino/samples/cpp/目录下，使用提供的脚本即可一键构建：

cd /usr/share/openvino/samples/cpp/ ./build_samples.sh

构建完成后，你将在~/openvino_cpp_samples_build/intel64/Release目录下找到所有编译好的示例程序。

运行设备查询示例

运行hello_query_device示例程序可以查看系统中支持的OpenVINO设备：

cd ~/openvino_cpp_samples_build/intel64/Release ./hello_query_device

该程序将输出类似以下的信息，显示系统中可用的AI加速设备（CPU、GPU等）及其详细属性：

[ INFO ] Available devices: [ INFO ] CPU [ INFO ] SUPPORTED_PROPERTIES: [ INFO ] Immutable: FULL_DEVICE_NAME : 11th Gen Intel(R) Core(TM) i9-11900K @ 3.50GHz [ INFO ] Immutable: OPTIMIZATION_CAPABILITIES : WINOGRAD FP32 INT8 BIN EXPORT_IMPORT ... [ INFO ] GPU.0 [ INFO ] SUPPORTED_PROPERTIES: [ INFO ] Immutable: FULL_DEVICE_NAME : Intel(R) UHD Graphics 750 (iGPU) [ INFO ] Immutable: GPU_EXECUTION_UNITS_COUNT : 32 ... [ INFO ] GPU.1 [ INFO ] SUPPORTED_PROPERTIES: [ INFO ] Immutable: FULL_DEVICE_NAME : Intel(R) Arc(TM) A770 Graphics (dGPU) [ INFO ] Immutable: GPU_EXECUTION_UNITS_COUNT : 512 ...

使用基准测试工具评估性能

OpenVINO提供了benchmark_app工具，可以帮助你评估模型在不同设备上的推理性能。以下是使用方法：

下载示例模型

首先，从Intel Open Model Zoo下载一个预训练模型（以ASL识别模型为例）：

wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2023.0/models_bin/1/asl-recognition-0004/FP16/asl-recognition-0004.xml wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2023.0/models_bin/1/asl-recognition-0004/FP16/asl-recognition-0004.bin

在CPU上测试延迟

运行以下命令在CPU上测试模型的推理延迟：

./benchmark_app -m asl-recognition-0004.xml -d CPU -hint latency

典型的输出结果如下，显示了推理的延迟（中位数约26.26 ms）和吞吐量（约37.86 FPS）：

[ INFO ] Count: 2273 iterations [ INFO ] Duration: 60034.21 ms [ INFO ] Latency: [ INFO ] Median: 26.26 ms [ INFO ] Average: 26.40 ms [ INFO ] Min: 25.29 ms [ INFO ] Max: 35.82 ms [ INFO ] Throughput: 37.86 FPS

在GPU上测试吞吐量

运行以下命令在GPU上测试模型的推理吞吐量：

./benchmark_app -m asl-recognition-0004.xml -d GPU.1 -hint throughput

典型的输出结果如下，显示了GPU上的推理性能（吞吐量可达476.26 FPS）：

[ INFO ] Count: 28580 iterations [ INFO ] Duration: 60009.64 ms [ INFO ] Latency: [ INFO ] Median: 8.24 ms [ INFO ] Average: 8.36 ms [ INFO ] Min: 3.27 ms [ INFO ] Max: 13.66 ms [ INFO ] Throughput: 476.26 FPS

总结与下一步

通过本文的步骤，你已经成功在openEuler平台上部署了OpenVINO AI推理环境，并通过示例程序验证了其功能和性能。OpenVINO提供了强大的模型优化能力和广泛的硬件支持，是在openEuler上构建AI应用的理想选择。

接下来，你可以：

• 探索更多OpenVINO示例程序，了解不同场景下的应用
• 尝试将自己的模型转换为OpenVINO格式并进行优化
• 查阅官方文档docs/openvino_samples.md获取更多技术细节

希望本文能帮助你快速上手OpenVINO，在openEuler平台上构建高效的AI应用！

【免费下载链接】intel-openvinoOpenVINO openEuler portal for maintaining the OpenVINO dependencies and projects项目地址: https://gitcode.com/openeuler/intel-openvino