动态挂在分区脚本

ゝ一纸荒年。 2021-12-03 23:41 248阅读 0赞

\#/usr/bin/env python2.7

# \-*- coding: utf-8 -*\- #

import os  
import string  
import datetime  
from pyspark.sql.types import \*  
from pyspark.sql import SparkSession  
os.environ\[‘PYSPARK\_PYTHON’\]=’/appcom/service/python27/bin/python2.7’

def main():  
spark = SparkSession.builder  
.master(“yarn”)  
.appName(“data\_management”)  
.enableHiveSupport()  
.getOrCreate()

begin = datetime.date(2016,10,11)
    end = datetime.date(2017,6,19)
    d = begin
    delta = datetime.timedelta(days=1)
    
    sql3 = "set mapred.job.queue.name=queue_ndf_dev"
    spark.sql(sql3)
    sql2 = "set yarn.scheduler.minimum-allocation-mb=2048"
    spark.sql(sql2)
    sql1 = "set hive.exec.dynamic.partition.mode=nonstrict"
    spark.sql(sql1)
    sql4 = "set yarn.nodemanager.pmem-check-enabled = false"
    spark.sql(sql4)
    sql5 = "set yarn.nodemanager.vmem-check-enabled = false"
    spark.sql(sql5)
    sql6 = "SET mapred.reduce.tasks=1"
    spark.sql(sql6)
    
    
    while d <= end:
     #   sql4 = "insert overwrite table data_mining.two partition (part_dt) select * from data_mining.f_xcf_user_vip_info \
         #       where part_dt = '"+ str(d) +"'distribute by part_dt "
        sql4="atler table  data_mining.f_ph_user_fin_liq add partition(part_dt='$d') location '/user/hive/warehouse/data_mining.db/f_ph_user_fin_liq/part_dt='$d'"
        spark.sql(sql4)
        print(sql4)
        d = d + delta

if **name** == ‘**main**’:  
main()

ps：str不用+会报语法错误，sql语句存在问题，如果分区存在会一直报错，所以最好  
ALTER TABLE xxxDROP IF EXISTS PARTITION (xx=‘xxx’)  
同时alter table xxx if not exists add partition( part\_dt = xx) location ’ 目录’

spark-submit --master yarn --deploy-mode client --queue datamining --executor-memory 4g --num-executors 2 [one.py][]

[one.py]: http://one.py

发表评论取消回复

表情：

评论列表（有 0 条评论，248人围观）

还没有评论，来说两句吧...

相关阅读

相关动态分区与静态分区

静态分区在插数语句的后边就要添加字段和字段值后，不需要再sql的查询语句再添加该字段动态分区再插数语句后边添加字段后，还需要在sql的查询语句的最后，把该字段加上转载于

朱雀/ 2023年06月05日 12:37/ 0 赞/ 240 阅读

相关 Doris动态分区

1、说明本文主要是测试Doris动态分区相关功能；关于动态分区相关理论部分请参考官方文档： [http://doris.incubator.apache.or

我不是女神ヾ/ 2022年09月09日 14:50/ 0 赞/ 369 阅读

相关 MySQL自动分区脚本

一、使用说明: 1.此脚本为分区后,定时自动增加分区.（被自动分区的表,一定要先手动分几个区） 2.每隔15天,定时器会执行一个存储过程,对分区日期最后的那天再往后新增

古城微笑少年丶/ 2022年06月17日 13:54/ 0 赞/ 280 阅读

相关 hive 动态分区

[前面文章][Link 1]介绍了Hive中是支持分区的。关系型数据库（如Oracle）中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分

叁歲伎倆/ 2022年06月06日 02:24/ 0 赞/ 259 阅读

相关 hive动态分区

实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入实验步骤 1. 在本地文件/home/grid/a.tx

深藏阁楼爱情的钟/ 2022年06月05日 06:13/ 0 赞/ 285 阅读

相关 Linux 自动挂在磁盘脚本

Linux 运维以及脚本干货: 欢迎分享，欢迎folk [https://unnunique.github.io/AADocs/skill-docs/linux/][htt

谁践踏了优雅/ 2022年05月25日 00:10/ 0 赞/ 153 阅读

相关 12306防挂脚本

一年一度的“抢票运动会”又开始了，期间12306网站承受的压力越来越大，极不稳定。随着人们对互联网越来越熟悉，导致大量刷票软件的用户量猛增，大量的访问将12306快压垮了，以至

小灰灰/ 2022年05月14日 16:22/ 0 赞/ 129 阅读

相关动态分区存储管理

实验目的：熟悉并掌握动态分区分配的各种算法。熟悉并掌握动态分区中分区回收的各种情况，并能够实现分区合并。实验内容：用高级语言模拟实现动态分区存储管理，要求： 1.

悠悠/ 2022年01月31日 12:57/ 0 赞/ 257 阅读

相关动态挂在分区脚本

\/usr/bin/env python2.7 \-- coding: utf-8 -\- import os import string import dat

ゝ一纸荒年。/ 2021年12月03日 23:41/ 0 赞/ 249 阅读

相关 mac 挂在硬盘

ls /Volumes/ //查看移动硬盘的格式 sudo nano /etc/fstab 添加这句

港控/mmm°/ 2021年09月14日 14:42/ 0 赞/ 290 阅读