自定义Python环境创建spark任务

r囧r小猫 2022-11-27 07:24 113阅读 0赞

**说明：**  
spark2.1.0(含)以下的版本不支持Python3.6  
安装注意版本，请先检查版本

### 步骤 ###

1. 创建虚拟python环境

这个不多介绍了，不管是通过annaconda还是virtualenv，创建好你自己的python环境。如果你也碰到了离线的平台，建议自己用docker做一个和服务器一样的系统版本，在上面完成虚拟的环境的创建，再将其拷贝出来；

2. 打包虚拟环境并将其上传hdfs

创建好环境后，进入到环境所在的文件夹，例如你的环境是 \*\*\*/\*\*\*/py35, cd到py35下，使用打包命令将当前目录下的文件打包

zip -r py35.zip ./*

在当前文件夹下，将其上传至hdfs

hadoop fs -put ***/***/py35.zip hdfs://***/***/***/env/

3. 使用spark-submit命令引用

**client模式下**

--conf spark.yarn.dist.archives=hdfs://***/***/***/env/py35.zip#py35\
    --conf spark.pyspark.driver.python=./py35/bin/python \
    --conf spark.pyspark.python=./py35/bin/python \

注意 archivs命令后的\#是必须的，它指的是将这个zip包解压到的文件夹

**cluster模式下**，driver端可以略去

--conf spark.yarn.dist.archives=hdfs://***/***/***/env/py35.zip#py35\
    --conf spark.pyspark.python=./py35/bin/python \

一般其他的文章到这一步就结束了，但我的还是报错，说pandas的的dependency numpy包不存在，但事实上install pandas时，numpy必定是已经装过的，所以就到处找，应该是环境没有设置

4. python环境设置

除了上述设置后，在代码中显示的指定python的环境，例如

# test.py #
    #!/usr/bin/env python
    # -*- coding: utf-8 -*- 
    import os 
    from pyspark import SparkContext 
    os.environ['PYSPARK_PYTHON'] = './py35/bin/python' 
    sc = SparkContext(appName="test").getOrCreate() 
    def fun(x): 
    	import pandas 
    	return pandas.__version__ 
    a = sc.parallelize([1,4,5,5,6],3) 
    print(a.map(lambda x:fun(x)).collect())

--------------------

### 最后 ###

也可以在submit的命令中设置这些路径

spark.yarn.dist.archives=hdfs://***/***/***/env/py35.zip#py35\
    --conf spark.pyspark.python=./py35/bin/python \ 
    --conf spark.executorEnv.PYSPARK_PYTHON=./py35/bin/python \ 
    --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./py35/bin/python \ 
    --conf spark.executorEnv.LD_LIBRARY_PATH=/AnacondaInstall/anaconda3/lib \

如果报libffi.so.6不存在，则加入最后一个conf。

参考：

[https://imshuai.com/python-pip-install-package-offline-tensorflow][https_imshuai.com_python-pip-install-package-offline-tensorflow]

[https_imshuai.com_python-pip-install-package-offline-tensorflow]: https://imshuai.com/python-pip-install-package-offline-tensorflow%EF%BC%8C%E9%87%8C%E9%9D%A2%E8%AF%A6%E7%BB%86%E4%BB%8B%E7%BB%8D%E4%BA%86%E5%A6%82%E6%9E%9C%E8%BF%9B%E8%A1%8C%E7%A6%BB%E7%BA%BFpython%E7%8E%AF%E5%A2%83%E7%9A%84%E7%A7%BB%E6%A4%8D