企业官网建设流程全解析

一、视频膨胀操作的大体流程图

本章节是利用RV1126的视频流结合OPENCV的API对视频流进行膨胀，然后对其进行编码保存。要完成这个功能我们首先要初始化VI、VENC的模块，并且使能，然后需要创建两个线程。第一个线程是opencv_vi_dliate_thread，它的主要功能是获取VI原始数据并用OPENCV转换成Mat矩阵然后用dilate对其VI数据进行膨胀，然后把VI数据发送到VENC编码器。

第二个线程是GET_VENC_STREAM_THREAD它主要是获取H264的VENC码流数据，并且保存到H264文件。

二、具体代码实现：

// Copyright 2020 Fuzhou Rockchip Electronics Co., Ltd. All rights reserved. // Use of this source code is governed by a BSD-style license that can be // found in the LICENSE file. #include <assert.h> #include <fcntl.h> #include <getopt.h> #include <opencv2/imgproc.hpp> #include <pthread.h> #include <signal.h> #include <stdbool.h> #include <stdio.h> #include <stdlib.h> #include <time.h> #include <unistd.h> // #include "common/sample_common.h" #include "rkmedia_api.h" #include <opencv2/core.hpp> // #include <opencv2/imgoroc.hpp> #include <opencv2/highgui.hpp> #include <opencv2/opencv.hpp> using namespace cv; using namespace std; #define CAMERA_PATH "rkispp_scale0" #define CAMERA_ID 0 #define CAMERA_CHN 0 #define VENC_CHN 0 #define WIDTH 1920 #define HEIGHT 1080 void *opencv_vi_dliate_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb = NULL; while (1) { mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI数据 if (!mb) { printf("Get Vi stream break...\n"); break; } Mat rv1126_vi_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb)); //把VI数据转换成OPENCV的Mat矩阵 Mat rv1126_vi_structure = getStructuringElement(MORPH_RECT, Size(15, 15));//获取内核，内核的形状是矩形，长度大小是15 * 15 dilate(rv1126_vi_mat, rv1126_vi_mat, rv1126_vi_structure);//对Mat矩阵进行dilate膨胀 RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把膨胀后的数据传输到VENC编码器 RK_MPI_MB_ReleaseBuffer(mb);//释放资源 } return NULL; } void *get_venc_stream_thread(void * args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb = NULL; FILE *opencv_dliate_file = fopen("test_opencv_dliate.h264", "w+"); while (1) { mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1); if (!mb) { printf("Get Venc stream break...\n"); break; } printf("Get Dlite_Venc Stream Success...\n"); fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, opencv_dliate_file); RK_MPI_MB_ReleaseBuffer(mb); } return NULL; } int main() { int ret; VI_CHN_ATTR_S vi_chn_attr; vi_chn_attr.pcVideoNode = CAMERA_PATH; // Path vi_chn_attr.u32Width = 1920; // Width vi_chn_attr.u32Height = 1080; // Height vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12; // ImageType vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufType vi_chn_attr.u32BufCnt = 3; // Cnt vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Mode ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr); if (ret) { printf("Vi Set Attr Failed.....\n"); return 0; } else { printf("Vi Set Attr Success.....\n"); } ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN); if (ret) { printf("Vi Enable Attr Failed.....\n"); return 0; } else { printf("Vi Enable Attr Success.....\n"); } VENC_CHN_ATTR_S venc_chn_attr; memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S)); venc_chn_attr.stVencAttr.u32PicWidth = 1920; venc_chn_attr.stVencAttr.u32PicHeight = 1080; venc_chn_attr.stVencAttr.u32VirWidth = 1920; venc_chn_attr.stVencAttr.u32VirHeight = 1080; venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12; venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264; venc_chn_attr.stVencAttr.u32Profile = 66; venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR; venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25; venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = 1920 * 1080 * 3; venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1; venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25; venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1; venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25; ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr); if (ret) { printf("ERROR: Create venc failed!\n"); exit(0); } ret = RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN); if (ret) { printf("start vi stream failed.....\n"); } else { printf("start vi stream success.....\n"); } pthread_t pid; pthread_create(&pid, NULL, opencv_vi_dliate_thread, NULL);//膨胀处理线程 pthread_create(&pid, NULL, get_venc_stream_thread, NULL);//获取VENC线程 while (1) { sleep(2); } RK_MPI_VENC_DestroyChn(VENC_CHN); RK_MPI_VI_DisableChn(CAMERA_ID, CAMERA_CHN); return 0; }

2.1. RV1126模块初始化并启动VI工作

RV1126模块的初始化，包括VI模块的初始化(RK_MPI_VI_SetChnAttr)、使能VI模块(RK_MPI_VI_EnableChn)、VENC模块的初始化(RK_MPI_VENC_CreateChn)、启动VI工作(RK_MPI_VI_StartStream)。关于这方面的参数设置，我们就不详细说了，因为这方面的内容之前的课程已经详细说过。

2.2. opencv_dliate_vi_thread线程的讲解

void *opencv_vi_dliate_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb = NULL; while (1) { mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI数据 if (!mb) { printf("Get Vi stream break...\n"); break; } Mat rv1126_vi_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb)); //把VI数据转换成OPENCV的Mat矩阵 Mat rv1126_vi_structure = getStructuringElement(MORPH_RECT, Size(15, 15));//获取内核，内核的形状是矩形，长度大小是15 * 15 dilate(rv1126_vi_mat, rv1126_vi_mat, rv1126_vi_structure);//对Mat矩阵进行dilate膨胀 RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把膨胀后的数据传输到VENC编码器 RK_MPI_MB_ReleaseBuffer(mb);//释放资源 } return NULL; }

上面是opencv_dliate_vi_thread线程的具体实现，首先我们要通过RK_MPI_SYS_GetMediaBuffer获取每一帧的VI视频原始数据，然后把每一帧的原始数据通过OPENCV转换成Mat矩阵。Mat矩阵的转换用构造器就可以，Mat rv1126_vi_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb))，第一个参数是HEIGHT：1080，第二个参数WIDTH：1920，第三个参数：图像格式CV_8UC1，第四个参数:具体的图像数据RK_MPI_MB_GetPtr(mb)。然后调用dilate的对其Mat矩阵进行膨胀，这里的膨胀参数我们设置成矩形和Size(15,15)(具体的如下：Mat rv1126_vi_structure = getStructuringElement(MORPH_RECT, Size(15, 15));)

2.3. get_venc_stream_thread线程的讲解

void *get_venc_stream_thread(void * args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb = NULL; FILE *opencv_dliate_file = fopen("test_opencv_dliate.h264", "w+"); while (1) { mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1); if (!mb) { printf("Get Venc stream break...\n"); break; } printf("Get Dlite_Venc Stream Success...\n"); fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, opencv_dliate_file); RK_MPI_MB_ReleaseBuffer(mb); } return NULL; }

上面是get_venc_stream_thread的具体实现，在这个线程里面要通过RK_MPI_SYS_GetMediaBuffer获取每一帧H264的编码数据，然后用fwrite写入

经过上面的编码后，输出的H264文件。这个视频流更加的明亮，整个视频流的细节都变大了

三、视频腐蚀操作的大体流程图

本章节是利用RV1126的视频流结合OPENCV的API对视频流进行腐蚀，然后对其进行编码保存。要完成这个功能我们首先要初始化VI、VENC的模块，并且使能，然后需要创建两个线程。第一个线程是opencv_vi_erode_thread，它的主要功能是获取VI原始数据并用OPENCV转换成Mat矩阵然后用erode对其VI数据进行腐蚀，然后把VI数据发送到VENC编码器。

第二个线程是GET_VENC_STREAM_THREAD它主要是获取H264的VENC码流数据，并且保存到H264文件。

四、具体代码实现：

#include <assert.h> #include <fcntl.h> #include <getopt.h> #include <opencv2/imgproc.hpp> #include <pthread.h> #include <signal.h> #include <stdbool.h> #include <stdio.h> #include <stdlib.h> #include <time.h> #include <unistd.h> // #include "common/sample_common.h" #include "rkmedia_api.h" #include <opencv2/core.hpp> // #include <opencv2/imgoroc.hpp> #include <opencv2/highgui.hpp> #include <opencv2/opencv.hpp> using namespace cv; using namespace std; #define CAMERA_PATH "rkispp_scale0" #define CAMERA_ID 0 #define CAMERA_CHN 0 #define VENC_CHN 0 #define WIDTH 1920 #define HEIGHT 1080 void *opencv_vi_erode_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb = NULL; while (1) { mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI数据 if (!mb) { printf("Get Vi Stream break.....\n"); break; } Mat rv1126_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));//把VI数据转换成OPENCV的Mat矩阵 Mat rv1126_structure = getStructuringElement(MORPH_RECT, Size(15, 15));//获取内核，内核的形状是矩形，长度大小是15 * 15 erode(rv1126_mat, rv1126_mat, rv1126_structure);//对Mat矩阵进行erode腐蚀 RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把腐蚀后的数据传输到VENC编码器 RK_MPI_MB_ReleaseBuffer(mb);//释放资源 } return NULL; } void *get_venc_stream_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb = NULL; FILE * opencv_erode_h264_file = fopen("opencv_erode.h264", "w+"); while (1) { mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1); if (!mb) { printf("Get Venc Stream break.....\n"); break; } printf("Get ERODE_STREAM Success...\n"); fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, opencv_erode_h264_file); RK_MPI_MB_ReleaseBuffer(mb); } return NULL; } int main() { int ret; VI_CHN_ATTR_S vi_chn_attr; vi_chn_attr.pcVideoNode = CAMERA_PATH; // Path vi_chn_attr.u32Width = 1920; // Width vi_chn_attr.u32Height = 1080; // Height vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12; // ImageType vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufType vi_chn_attr.u32BufCnt = 3; // Cnt vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Mode ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr); if (ret) { printf("Vi Set Attr Failed.....\n"); return 0; } else { printf("Vi Set Attr Success.....\n"); } ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN); if (ret) { printf("Vi Enable Attr Failed.....\n"); return 0; } else { printf("Vi Enable Attr Success.....\n"); } VENC_CHN_ATTR_S venc_chn_attr; memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S)); venc_chn_attr.stVencAttr.u32PicWidth = 1920; venc_chn_attr.stVencAttr.u32PicHeight = 1080; venc_chn_attr.stVencAttr.u32VirWidth = 1920; venc_chn_attr.stVencAttr.u32VirHeight = 1080; venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12; venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264; venc_chn_attr.stVencAttr.u32Profile = 66; venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR; venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25; venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = 1920 * 1080 * 3; venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1; venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25; venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1; venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25; ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr); if (ret) { printf("ERROR: Create venc failed!\n"); exit(0); } ret = RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN); if (ret) { printf("ERROR: Start Vi failed.....!\n"); return -1; } else { printf("SUCCESS: Start Vi success.....!\n"); } pthread_t pid; pthread_create(&pid, NULL, opencv_vi_erode_thread, NULL);//腐蚀处理线程 pthread_create(&pid, NULL, get_venc_stream_thread, NULL);//获取VENC线程 while (1) { sleep(2); } RK_MPI_VENC_DestroyChn(VENC_CHN); RK_MPI_VI_DisableChn(CAMERA_ID, CAMERA_CHN); return 0; }

4.1. RV1126模块初始化并启动VI工作

RV1126模块的初始化，包括VI模块的初始化(RK_MPI_VI_SetChnAttr)、使能VI模块(RK_MPI_VI_EnableChn)、VENC模块的初始化(RK_MPI_VENC_CreateChn)、启动VI工作(RK_MPI_VI_StartStream)。关于这方面的参数设置，我们就不详细说了，因为这方面的内容之前的课程已经详细说过。

2.2. opencv_erode_vi_thread线程的讲解：

void *opencv_vi_erode_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb = NULL; while (1) { mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI数据 if (!mb) { printf("Get Vi Stream break.....\n"); break; } Mat rv1126_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));//把VI数据转换成OPENCV的Mat矩阵 Mat rv1126_structure = getStructuringElement(MORPH_RECT, Size(15, 15));//获取内核，内核的形状是矩形，长度大小是15 * 15 erode(rv1126_mat, rv1126_mat, rv1126_structure);//对Mat矩阵进行erode腐蚀 RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把腐蚀后的数据传输到VENC编码器 RK_MPI_MB_ReleaseBuffer(mb);//释放资源 } return NULL; }

上面是opencv_erode_vi_thread线程的具体实现，首先我们要通过RK_MPI_SYS_GetMediaBuffer获取每一帧的VI视频原始数据，然后把每一帧的原始数据通过OPENCV转换成Mat矩阵。Mat矩阵的转换用构造器就可以，Mat rv1126_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));，第一个参数是HEIGHT：1080，第二个参数WIDTH：1920，第三个参数：图像格式CV_8UC1，第四个参数:具体的图像数据RK_MPI_MB_GetPtr(mb)。然后调用erode的对其Mat矩阵进行腐蚀，这里的膨胀参数我们设置成矩形和Size(15,15)，具体的(Mat rv1126_structure = getStructuringElement(MORPH_RECT, Size(15, 15)))。

2.3. get_venc_stream_thread线程的讲解

void *get_venc_stream_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb = NULL; FILE * opencv_erode_h264_file = fopen("opencv_erode.h264", "w+"); while (1) { mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1); if (!mb) { printf("Get Venc Stream break.....\n"); break; } printf("Get ERODE_STREAM Success...\n"); fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, opencv_erode_h264_file); RK_MPI_MB_ReleaseBuffer(mb); } return NULL; }

上面是get_venc_stream_thread的具体实现，在这个线程里面要通过RK_MPI_SYS_GetMediaBuffer获取每一帧H264的编码数据，然后用fwrite写入。

经过上面的编码后，我们来看看输出的H264文件。这个视频流明显更加暗淡，并且细节都变小了