spark-sql配置并优化

阳光穿透心脏的1/2处 2024-02-19 15:14 17阅读 0赞

**配置好hive后，spark sql 配置就很简单了，实际上只要配置一个hive-site.xml文件，拷贝到spark/conf目录下。这个文件是给spark使用的，hive的配置文件用自己的配置文件。**

### 一：配置文件 ###

[hadoop@hadoop001 conf]$ vi hive-site.xml
    
    <property>
    <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://localhost:3306/ruoze_d5?createDatabaseIfNotExist=true</value>
    </property>
    
    <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
    </property>
    
    <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>root</value>
    </property>
    
    <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>123456</value>
    </property>

### 二：优化重点 ###

[hadoop@hadoop001 conf]$ vi spark-defaults.conf
    spark.executor.extraClassPath /home/hadoop/lib/others/mysql-connector-java-5.1.27.jar
    sdoop@hadoop001 conf]$ vi spark-defaults.conf
    spark.driver.extraClassPath /home/hadoop/lib/others/mysql-connector-java-5.1.27.jar

这里有的税后需要配置2个客户端  
**为什么这么做，这是为以后方便，如果spark升级的话，可以节省很多事情**  
在这之前需要自己创建文件夹others  
要把mysql-connector-java-5.1.27.jar传在这里

### 三：查看 ###

[hadoop@hadoop001 spark-2.4.0-bin-2.6.0-cdh5.7.0]$ cd bin
    [hadoop@hadoop001 bin]$ ./spark-sql
    18/12/27 22:42:47 INFO ObjectStore: Initialized ObjectStore
    18/12/27 22:42:48 INFO StateStoreCoordinatorRef: Registered StateStoreCoordinator endpoint
    Spark master: local[2], Application Id: local-1545921767101
    18/12/27 22:42:49 INFO SparkSQLCLIDriver: Spark master: local[2], Application Id: local-1545921767101
    spark-sql (default)>

### 四：效果 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/c8ab75357ab148d4a625d7076f6a51af.png