Android 在自己的项目中接入OpenCV+YOLOv8+NCNN : 实现人像分割

た入场券 2024-04-25 20:23 43阅读 0赞

### 1. 前言 ###

通过前两篇文章 [Android 导入ncnn-android-yolov8-seg : 实现人体识别和人像分割][Android _ncnn-android-yolov8-seg _] 、[Android ncnn-android-yolov8-seg源码解析 : 实现人像分割][Android ncnn-android-yolov8-seg_ _] ，我们已经跑起来了程序，也分析了其源码。  
接下来，这篇文章我们来实战一下，抽取出`Demo`的核心代码，在自己的项目中，使用`Java`层的`Camera API`，在`JNI`层使用`OpenCV+YOLOv8+NCNN`，来实现人体识别和人像分割功能。

实现效果如下，整个图像的是相机的原图，左上角部分，是我们进行人像识别、人像分割后，处理得到的图像 `(未做镜像处理，所以暂时和原图左右是相反的)`

![在这里插入图片描述][e75607911b4a46b89065b791cd89478d.png]

>>> 本文的源码demo可以直接看这里 :  
 [Android 基于 OpenCV+YOLOv8+NCNN 实现人像分割 Demo 源码下载][Android _ OpenCV_YOLOv8_NCNN _ Demo]

### 2. 新建项目 ###

#### 2.1 新建主项目 ####

![在这里插入图片描述][101383cdf78549128a2526682ecbd8b5.png]

#### 2.2 新建 Native library ####

![在这里插入图片描述][8e5e585bd4724baba5df081fe911da15.png]

#### 2.3 在app中添加MyNcnnLib依赖 ####

implementation(project(mapOf("path" to ":MyNcnnLib")))

#### 2.4 配置NDK版本 ####

记得在项目根目录下的`local.properties`中，配置`NDK`版本，这里的`NDK`版本需要在`NDK16-NDK20`之间

# 这里的路径需修改为你电脑中ndk的具体路径
    ndk.dir=C\:\\Developer\\Android_SDK\\ndk\\20.0.5594570

### 3. 接入OpenCV+YOLOv8+NCNN ###

#### 3.1 导入NCNN和OpenCV ####

我们将`ncnn-20221128-android-vulkan`和`opencv-mobile-4.6.0-android`复制到`cpp`文件夹下

![在这里插入图片描述][ca973e21d9f14112bc57eaa8f7597646.png]

#### 3.2 复制cpp文件 ####

将`yolo.cpp`、`yolo.h`复制到`cpp`文件夹下  
![在这里插入图片描述][65f8e39a504e424891750a4879a10de9.png]

#### 3.3 配置Cmake ####

新版`Android Studio`中`CMakeLists.txt`的位置和`Android Studio 3.6`中`CMakeLists.txt`的路径位置不一样，所以`CMakeLists.txt`在设置配置的时候，设置的路径也是不一样的。

初始的`CMakeLists.txt`

cmake_minimum_required(VERSION 3.22.1)
    
    
    project("myncnnlib")
    
    
    add_library(${
       
        CMAKE_PROJECT_NAME} SHARED
            myncnnlib.cpp)
    
    target_link_libraries(${
       
        CMAKE_PROJECT_NAME}
            android
            log)

配置后的`CMakeLists.txt`

cmake_minimum_required(VERSION 3.22.1)
    
    project("myncnnlib")
    
    set(OpenCV_DIR ${
       
        CMAKE_SOURCE_DIR}/opencv-mobile-4.6.0-android/sdk/native/jni)
    
    find_package(OpenCV REQUIRED core imgproc)
    
    set(ncnn_DIR ${
       
        CMAKE_SOURCE_DIR}/ncnn-20221128-android-vulkan/${
       
        ANDROID_ABI}/lib/cmake/ncnn)
    
    find_package(ncnn REQUIRED)
    
    add_library(${
       
        CMAKE_PROJECT_NAME} SHARED
            myncnnlib.cpp
            yolo.cpp)
    
    target_link_libraries(${
       
        CMAKE_PROJECT_NAME}
            ncnn
            camera2ndk
            mediandk
            ${
       
        OpenCV_LIBS}
            android
            log)

### 4. 创建JNI接口 ###

#### 4.1 新建JNI接口 ####

在`NcnnNativeLib.kt`中，新增两个`JNI`方法

/**
     * 初始化NCNN
     *
     * @return 是否成功
     */
    external fun load(mgr: AssetManager, modelid: Int, cpugpu: Int): Boolean
    
    /**
     * 人像检测
     *
     */
    external fun detect(data: ByteArray?, width: Int, height: Int, cameraId: Int): ByteArray

#### 4.2 cpp中增加对应JNIf方法 ####

在`myncnnlib.cpp`中，增加对应的`JIN`方法

extern "C"
    JNIEXPORT jboolean JNICALL
    Java_com_heiko_myncnnlib_NativeLib_load(JNIEnv *env, jobject thiz, jobject assetManager,
                                            jint modelid, jint cpugpu) {
       
        
    
    }
    extern "C"
    JNIEXPORT jbyteArray JNICALL
    Java_com_heiko_myncnnlib_NativeLib_detect(JNIEnv *env, jobject thiz, jbyteArray data_,
                                              jint w, jint h, jint camera_id) {
       
        
    
    }

#### 4.3 声明include ####

#include <jni.h>
    #include <string>
    #include <platform.h>
    #include <benchmark.h>
    #include <android/asset_manager.h>
    #include <android/asset_manager_jni.h>
    #include "opencv2/opencv.hpp"
    #include <string>
    #include <iostream>
    #include "yolo.h"
    
    static Yolo *g_yolo = 0;
    static ncnn::Mutex lock;

#### 4.4 加载模型 ####

这里将`Demo`中的`loadModel`中的代码，全部拷贝过来

extern "C"
    JNIEXPORT jboolean JNICALL
    Java_com_heiko_myncnnlib_NativeLib_load(JNIEnv* env, jobject thiz, jobject assetManager, jint modelid, jint cpugpu)
    {
       
        
        if (modelid < 0 || modelid > 6 || cpugpu < 0 || cpugpu > 1)
        {
       
        
            return JNI_FALSE;
        }
    
        AAssetManager* mgr = AAssetManager_fromJava(env, assetManager);
    
        __android_log_print(ANDROID_LOG_DEBUG, "ncnn", "loadModel %p", mgr);
    
        const char* modeltypes[] =
                {
       
        
                        "n",
                        "s",
                };
    
        const int target_sizes[]

[Android _ncnn-android-yolov8-seg _]: https://blog.csdn.net/EthanCo/article/details/133383640
[Android ncnn-android-yolov8-seg_ _]: https://blog.csdn.net/EthanCo/article/details/133382921
[e75607911b4a46b89065b791cd89478d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/c94d0d4e023a435d82f10121b531d6bb.png
[Android _ OpenCV_YOLOv8_NCNN _ Demo]: https://download.csdn.net/download/EthanCo/88402813
[101383cdf78549128a2526682ecbd8b5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/8f09b5e907cb46e0ba370090af216042.png
[8e5e585bd4724baba5df081fe911da15.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/0aaf4f306db242dcb65c34bd5c172ac2.png
[ca973e21d9f14112bc57eaa8f7597646.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/65a63dff8b424691824682d28b342025.png
[65f8e39a504e424891750a4879a10de9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/25/8e15462f1f8246a59f4149f5b98b822c.png