使用 NDK 移植 Linux C/C++ 程序到 Android 系统

淩亂°似流年 2023-06-14 11:57 1阅读 0赞

## 区分基础概念：JNI 与 NDK ##

*  JNI（Java Native Interface）是一种 Java 语言特性

用于 Java 程序与 C、C++ 库间的互相调用。

*  NDK（Native Development Kit）是 Google 提供的使用 C/C++ 编写 Android 程序的开发工具包

它使用 JNI 实现 Java 程序调用 C/C++ 本地代码，允许 C/C++ 本地代码访问 Android API，不只是用来开发或移植 C/C++ 库，也可以是 C/C++ 程序。

引用自 [Android NDK  |  Android NDK  |  Android Developers][Android NDK _ Android NDK _ Android Developers]

> Android NDK
> 
> The Android NDK is a toolset that lets you implement parts of your app in native code, using languages such as C and C++. For certain types of apps, this can help you reuse code libraries written in those languages.

NDK 提供一系列稳定的 C/C++ API，头文件在 `sysroot/usr/include` 下，主要包括 C 标准库、C++ 标准库、jni、math、pthread、zlib、OpenGL、Android 相关的库， [NDK 支持的 API][NDK _ API] 也会随着需求的增加而日趋完善。

## 移植使用 GNU Autotools 的项目 ##

NDK 提供了创建独立工具链的工具，对于移植使用 GNU Autotools 的项目到 Android 平台很有帮助，省去写 `Android.mk` 。

*  创建独立工具链
    
        /opt/android-ndk/build/tools/make_standalone_toolchain.py \
            --arch arm64 --api 28 --stl=libc++ --install-dir /opt/android-toolchain
 *  环境变量配置
    
        export PATH=$PATH:/opt/android-toolchain/bin
        export CC=aarch64-linux-android-clang
        export CXX=aarch64-linux-android-clang++
        export LD=aarch64-linux-android-ld
        export AR=aarch64-linux-android-ar
        export STRIP=aarch64-linux-android-strip
        export RANLIB=aarch64-linux-android-ranlib
        export AS=aarch64-linux-android-clang
        export CFLAGS="-fPIE -fPIC"
        export CXXFLAGS="-fPIE -fPIC"
        export LDFLAGS="-pie"
        export SYSROOT=/opt/android-toolchain/sysroot
        export CROSS_COMPILE_HOST=aarch64-linux-android
 *  交叉编译
    
        ./configure --host=${CROSS_COMPILE_HOST} --prefix=/opt/local
        make
        make install

## 移植 Nginx 遇到的问题 ##

*  编译出错 `cstddef:43:25: fatal error: stddef.h: No such file or directory`
    
    看起来是 C++ 编译器找不到 C 头文件，是已知问题，在 Standalone 工具链中使用 `gcc` 就会出现，见
    
    [stddef.h: No such file or directory · Issue \#215 · android-ndk/ndk][stddef.h_ No such file or directory _ Issue _215 _ android-ndk_ndk]
    
    改为使用 `clang` 就好了，以后的 NDK 将彻底移除对 `gcc` 的支持。
 *  交叉编译 OpenSSL
    
    网上有大量的移植文档，基本上是基于 [OpenSSL Android - OpenSSLWiki][] ，最大的问题是使用的 NDK 和 OpenSSL 版本都比较旧，最后主要参考
    
    [couchbaselabs/couchbase-lite-libcrypto: Pre-built OpenSSL libcrypto static libraries][couchbaselabs_couchbase-lite-libcrypto_ Pre-built OpenSSL libcrypto static libraries]
    
    移植成功。OpenSSL 的交叉编译需要完整的 NDK 包，最好新开一个 Shell 来编译 OpenSSL，避免为独立工具链设置的环境变量影响到 OpenSSL 的编译。
    
    编译过程中会报错 `crtbegin_so.o: No such file: No such file or directory` ，将它从工具链中拷到当前目录即可， `crtend_so.o` 、 `crtbegin_dynamic.o` 、 `crtend_android.o` 也进行相同处理，参考 [gcc - crtbegin\_so.o missing for android toolchain (custom build) - Stack Overflow][gcc - crtbegin_so.o missing for android toolchain _custom build_ - Stack Overflow]
    
        # Download
        wget https://codeload.github.com/openssl/openssl/zip/OpenSSL_1_1_0-stable -O openssl-OpenSSL_1_1_0-stable.zip
        unzip openssl-OpenSSL_1_1_0-stable.zip
        wget https://raw.githubusercontent.com/couchbaselabs/couchbase-lite-libcrypto/master/build-android-setenv.sh -O openssl.setenv
        sed -i -e 's/^_ANDROID_NDK=/#_ANDROID_NDK=/g' openssl.setenv
        
        # Config
        export ANDROID_NDK_ROOT=/opt/android-ndk
        export _ANDROID_TARGET_SELECT=arch-arm64-v8a
        export _ANDROID_NDK="android-ndk"
        export ANDROID_EABI_PREFIX=aarch64-linux-android
        export _ANDROID_EABI="${ANDROID_EABI_PREFIX}-4.9"
        export _ANDROID_ARCH=arch-arm64
        export _ANDROID_API="android-28"
        source openssl.setenv
        
        # Build
        cd openssl-OpenSSL_1_1_0-stable
        ./Configure dist
        ./Configure no-ssl2 no-ssl3 no-comp no-hw no-engine --openssldir=/opt/local/ --prefix=/opt/local/ linux-generic64 -DB_ENDIAN -B$ANDROID_DEV \
                    -I${ANDROID_NDK_ROOT}/sysroot/usr/include -I${ANDROID_NDK_ROOT}/sysroot/usr/include/${ANDROID_EABI_PREFIX} \
                    -fPIE -pie -L${ANDROID_NDK_ROOT}/platforms/${_ANDROID_API}/${_ANDROID_ARCH}/usr/lib
        ln -s ${SYSROOT}/usr/lib/crtbegin_so.o
        ln -s ${SYSROOT}/usr/lib/crtend_so.o
        ln -s ${SYSROOT}/usr/lib/crtbegin_dynamic.o
        ln -s ${SYSROOT}/usr/lib/crtend_android.o
        make -j6
        make install
 *  交叉编译出的配置检测程序无法直接运行
    
    Nginx 没有使用 GNU Autotools，而是有自已的 Configure 脚本，遇到的第一个问题就是 Nginx 是通过使用编译器编译一个测试程序来获取配置信息，交叉编译出来的程序肯定是无法在编译机上运行的，一个可靠的办法就是修改 Configure 脚本，改为上传到目标设备上执行。
    
    下面是我写好的一个远程执行脚本 `execute`
    
        #!/bin/bash
        
        if [ $# != 2 ] || ([ $1 != "-c" ] && [ $1 != "-f" ]) ; then
            echo "usage: $0 -<c|f> <cmd|file>" >> /dev/stderr
            exit 22 #Invalid argument
        fi
        
        LOG_FILE=/dev/null
        
        if [[ "$CROSS_COMPILE_HOST" = *"android"* ]]; then
            adb connect ${CROSS_COMPILE_DEVICE_IP} >>$LOG_FILE 2>&1
            adb wait-for-device
            adb root >>$LOG_FILE 2>&1
            adb connect ${CROSS_COMPILE_DEVICE_IP} >>$LOG_FILE 2>&1
            adb wait-for-device
            adb remount >>$LOG_FILE 2>&1
            adb connect ${CROSS_COMPILE_DEVICE_IP} >>$LOG_FILE 2>&1
            adb wait-for-device
            if [ $1 == "-f" ]; then
                tempfile=`mktemp -u XXXXXXXX`
                tempdir=/tmp/cross-compile
                adb shell mkdir ${tempdir} >>$LOG_FILE 2>&1
                adb push $2 ${tempdir}/${tempfile} >>$LOG_FILE 2>&1
                adb shell "find ${tempdir} -ctime +1 -type f -exec rm {} \; >/dev/null 2>&1; cd ${tempdir} && chmod a+x $tempfile && ./$tempfile"
            else
                adb shell $2
            fi
        else
            if [ $1 == "-f" ]; then
                tempfile=`mktemp -u XXXXXXXX`
                tempdir=/tmp/cross-compile
                ssh -o StrictHostKeyChecking=no root@${CROSS_COMPILE_DEVICE_IP} mkdir ${tempdir} >>$LOG_FILE 2>&1
                scp -o StrictHostKeyChecking=no $2 root@${CROSS_COMPILE_DEVICE_IP}:${tempdir}/${tempfile} >>$LOG_FILE 2>&1
                ssh -o StrictHostKeyChecking=no root@${CROSS_COMPILE_DEVICE_IP} "find ${tempdir} -mmin +1 -type f -exec rm {} \; >/dev/null 2>&1; cd ${tempdir} && chmod a+x $tempfile && ./$tempfile"
            else
                ssh -o StrictHostKeyChecking=no root@${CROSS_COMPILE_DEVICE_IP} $2
            fi
        fi
    
    修改 `nginx-1.14.0` 的配置脚本，将本地运行测试程序的地方改为远程执行
    
        sed -i -e 's/\/bin\/sh -c $NGX_AUTOTEST/timeout 10 \/build\/execute -f $NGX_AUTOTEST/g' `find auto -type f`
        sed -i -e 's/$NGX_AUTOTEST >\/dev\/null/timeout 10 \/build\/execute -f $NGX_AUTOTEST >\/dev\/null/g' `find auto -type f`
        sed -i -e 's/`$NGX_AUTOTEST`/`timeout 10 \/build\/execute -f $NGX_AUTOTEST`/g' `find auto -type f`
    
    运行时需要预先设置环境变量 `CROSS_COMPILE_DEVICE_IP` 为目标设备 IP，对于嵌入式 Linux 设备，需要使用 `ssh-copy-id` 命令设置为本机免密码 ssh 登录，对于 Android 设备需要预先 adb 授权通过。
 *  编译时找不到 `crypt.h`
    
    `crypt.h` 属于 `glibc` ， `glibc` 是 Linux 下的 C 标准库实现，除了实现 `ANSI C` 标准库还有大量方便 Linux 开发的扩展功能。而 NDK 提供的 C 标准库并非 `glibc` 而是 [Bionic libc][] ，这导致移植 Nginx 时由于缺少 `crypt.h` 头文件而编译不过。
    
    可以将 `crypt` 调用替换为 `DES_crypt`
    
        sed -i -e 's/#include <crypt.h>/#if (NGX_HAVE_CRYPT_H)\n#include <crypt.h>\n#endif\n#include <openssl\/des.h>/g' src/os/unix/ngx_linux_config.h
        sed -i -e 's/= crypt(/= DES_crypt(/g' src/os/unix/ngx_user.c
 *  链接时找不到 `glob` 函数
    
    NDK 工具链是有提供 `glob.h` 头文件的，但是链接时却找不到 `glob` 函数。网络上有很多单独提供 [glob][] 下载的，但是都无法直接通过编译，因为里面有很多平台相关的特性。
    
    [Undefined reference to glob and globfree in libc.so · Issue \#718 · android-ndk/ndk][Undefined reference to glob and globfree in libc.so _ Issue _718 _ android-ndk_ndk] 中说是已经在 `r17b` 版本解决，需安装 `android-ndk-r17-beta2` 同时设置 `API Level` 为 `28` 即可。
 *  交叉编译 Nginx
    
    可使用独立工具链来交叉编译 Nginx，参考前面环境变量配置部分先设置好工具链的环境变量。
    
        CC_TEST_FLAGS="${CFLAGS} ${LDFLAGS}" ./configure --with-ld-opt="${LDFLAGS}" --prefix=/opt/local --crossbuild=`/build/execute -c 'uname -srm' | tr ' ' ':'` --user=root --group=root --with-select_module --with-poll_module --with-file-aio --with-http_ssl_module --without-mail_pop3_module --without-mail_imap_module  --without-mail_smtp_module
        make
        make install
 *  编译出的 Nginx 无法在低版本的 Android 上运行
    
    之前为了使用最新的 NDK 工具链包含的函数 `glob` ，而将 `API Level` 设置成 `28` ，这就意味着编译出来的程序无法在低版本的 Android（<=8.1） 上运行，在 Android 7.1 上运行会报错 `/system/bin/nginx: No such file or directory` 。
    
    将 NDK 最新工具链带的 `so` 也拷到设备上，运行程序前设置一下 `$LD_LIBRARY_PATH` 优先使用最新的 `so` ，Nginx 运行后直接卡死或者立即崩溃。
    
    添加 `-static -Wl,--dynamic-linker=/system/bin/linker` 链接选项静态编译，运行时会报错 `/system/bin/nginx: Accessing a corrupted shared library` 的错误，需要使用 `/system/bin/linker64` 。
    
    由于 `-static` 与 `-pie` 是互相冲突的选项，静态编译的程序运行时会报错 `only position independent executables (PIE) are supported.` 。
 *  编译在 Android 5 及以上版本运行的 Nginx
    
    参考以下项目，通过使用 docker 方便交叉编译 nginx-1.14.0
    
    [tangxinfa/android-nginx: Cross compile nginx with android ndk][tangxinfa_android-nginx_ Cross compile nginx with android ndk]

## 结论 ##

一般的 C/C++ 库通常本身就会注重可移植性，不会生硬地依赖系统底层特性，使用 NDK 移植是可行的，即使是 `ffmpeg` 这种大型的库也可以成功移植到 Android。

而对于一些 Linux 下的程序，使用 NDK 直接移植会有很大的失败机率，因为他们可能使用了 NDK 不支持的特性（如 `glibc` ）。

NDK 一直在改进，以前阻碍我们移植到 Android 的问题很可能会在新版本中解决，遗憾的是编译出的程序无法运行在旧版本 Android 上。

## 参考 ##

*  [Concepts  |  Android NDK  |  Android Developers][Concepts _ Android NDK _ Android Developers]
 *  [Android NDK vs AOSP Build System][]
 *  [Android NDK Native APIs  |  Android NDK  |  Android Developers][NDK _ API]
 *  [Building an Android\* Command-Line Application Using the NDK Build Tools | Intel® Software][Building an Android_ Command-Line Application Using the NDK Build Tools _ Intel_ Software]
 *  [Android NDK开发扫盲及最新CMake的编译使用 - 简书][Android NDK_CMake_ -]
 *  [在命令行下用cmake交叉编译可在android中运行的so包 - CSDN博客][cmake_android_so_ - CSDN]
 *  [cmake使用独立工具链交叉编译可在android中运行的so包 - CSDN博客][cmake_android_so_ - CSDN 1]
 *  [Building Open Source libraries with Android NDK | Thoughts and Ideas In Warped Times][Building Open Source libraries with Android NDK _ Thoughts and Ideas In Warped Times]
 *  [交叉编译带RTMP模块的Nginx到Android | Tom's Blog][RTMP_Nginx_Android _ Tom_s Blog]
 *  [Android Static Linking vs Dynamic Linking against glibc - Stack Overflow][]
 *  [android 5.0 lollipop - GCC: -static and -pie are incompatible for x86? - Stack Overflow][android 5.0 lollipop - GCC_ -static and -pie are incompatible for x86_ - Stack Overflow]

[Android NDK _ Android NDK _ Android Developers]: https://developer.android.com/ndk/
[NDK _ API]: https://developer.android.com/ndk/guides/stable_apis
[stddef.h_ No such file or directory _ Issue _215 _ android-ndk_ndk]: https://github.com/android-ndk/ndk/issues/215
[OpenSSL Android - OpenSSLWiki]: https://wiki.openssl.org/index.php/Android
[couchbaselabs_couchbase-lite-libcrypto_ Pre-built OpenSSL libcrypto static libraries]: https://github.com/couchbaselabs/couchbase-lite-libcrypto
[gcc - crtbegin_so.o missing for android toolchain _custom build_ - Stack Overflow]: https://stackoverflow.com/questions/6881164/crtbegin-so-o-missing-for-android-toolchain-custom-build
[Bionic libc]: https://github.com/android/platform_bionic/
[glob]: https://github.com/tatowilson/Cross-Compile-Nginx-with-RTMP-Module-for-Android/tree/master/glob
[Undefined reference to glob and globfree in libc.so _ Issue _718 _ android-ndk_ndk]: https://github.com/android-ndk/ndk/issues/718
[tangxinfa_android-nginx_ Cross compile nginx with android ndk]: https://github.com/tangxinfa/android-nginx
[Concepts _ Android NDK _ Android Developers]: https://developer.android.com/ndk/guides/concepts
[Android NDK vs AOSP Build System]: http://www.jkeabc.com/475203.html
[Building an Android_ Command-Line Application Using the NDK Build Tools _ Intel_ Software]: https://software.intel.com/en-us/articles/building-an-android-command-line-application-using-the-ndk-build-tools
[Android NDK_CMake_ -]: https://www.jianshu.com/p/6332418b12b1
[cmake_android_so_ - CSDN]: https://blog.csdn.net/minghuang2017/article/details/78938852
[cmake_android_so_ - CSDN 1]: https://blog.csdn.net/minghuang2017/article/details/79000345
[Building Open Source libraries with Android NDK _ Thoughts and Ideas In Warped Times]: https://warpedtimes.wordpress.com/2010/02/03/building-open-source-libraries-with-android-ndk/
[RTMP_Nginx_Android _ Tom_s Blog]: https://zhangtom.com/2017/07/11/%E4%BA%A4%E5%8F%89%E7%BC%96%E8%AF%91%E5%B8%A6RTMP%E6%A8%A1%E5%9D%97%E7%9A%84Nginx%E5%88%B0Android/
[Android Static Linking vs Dynamic Linking against glibc - Stack Overflow]: https://stackoverflow.com/questions/10380422/android-static-linking-vs-dynamic-linking-against-glibc
[android 5.0 lollipop - GCC_ -static and -pie are incompatible for x86_ - Stack Overflow]: https://stackoverflow.com/questions/27082959/gcc-static-and-pie-are-incompatible-for-x86