PostgreSQL备份至OSS 工具集镜像制作

你的名字 2022-02-19 14:29 411阅读 0赞

# PostgreSQL备份至OSS 工具集镜像制作 #

alpine版本:3.9 目前最新  
PostgreSQL版本: 11.2

本文档只针对 备份工具以及OSS工具的镜像制作，不涉及具体的备份部署，请参考PostgreSQL备份文档

## 这里提供已经制作好的镜像，各位新手可以直接使用 ##

为了镜像的安全，各位公司开发还是基于dockerfile自行构建

docker pull liyx/postgres_backup_to_oss:1.0

## 原理 ##

使用PostgerSQL的官方 alpine dockerfile文件，删除该文件的PostgreSQL启动部分，达到构建Postgres客户端的目的。  
需要注意的是:在国内官方dockerfile中部分apk的安装会异常慢，可以使用国外服务器制作，上传至docker hub。

### 问题1： 为什么不直接 使用**apk add postgresql-client** ###

postgresql-client安装后只能执行 psql命令，无法执行pg\_dump命令，  
我采用的解决方法是：使用PostgreSQL的安装文件构建一个带有PostgreSQL服务器的服务，只不过不开启服务，只是用其中的命令工具

## 一、 编辑dockerfile文件 ##

文件内容见附录

## 二、 构建容器镜像 ##

docker build -t oss:2.1 . -f dockerfile

## 三、 测试构建的镜像 ##

# 测试容器
    docker run -it --rm oss:1.1
    $ psql --help
    $ pg_dump --help
    $ ossutil --help

## 四 测试PostgreSQL数据库连接 ##

docker run -it --rm oss:1.1
    psql -U admin -h 192.168.0.69 -p5432
    # 输入密码

## 五、测试备份 ##

测试备份，并将备份文件挂载到磁盘中

docker run -it --rm -v /home/lyx/backup:/var/backup oss:1.1
    # 使用gzip压缩文件，以减小存储体积
    pg_dump "host=192.168.0.69 port=5432 user=admin password=密码 dbname=备份的数据库" | gzip > back.sql.gz

## 六、测试还原备份 ##

docker run -it --rm -v /home/lyx/backup:/var/backup oss:1.1
    # 解压文件
    gzip -d daily_20190416_120004.sql.gz
    psql -U admin -h 192.168.0.69 -p5432 -d 备份到的数据库名 < /var/backup/daily_20190416_120004.sql
    # 输入密码登录

## 上传镜像 ##

1.  上传至阿里云镜像仓库

# 登录 阿里云镜像仓库
    docker login --username=登录名 registry.cn-qingdao.aliyuncs.com
    # 重命名镜像的名称和版本
    docker tag 【IMAGE ID】 registry.cn-qingdao.aliyuncs.com/【仓库名】/postgres_backup_to_oss:1.0
    # 上传镜像
    docker push registry.cn-qingdao.aliyuncs.com/【仓库名】/postgres_backup_to_oss:1.0
    
    # 拉取镜像
    docker  pull registry.cn-qingdao.aliyuncs.com/【仓库名】/postgres_backup_to_oss:1.0
    # 最后记住要退出登录，因为docker会自动以base64的方式（明文）记录 login的内容，包括密码，logout后会自动删除
    docker logout registry.cn-qingdao.aliyuncs.com

2.上传至docker hub 仓库

# 上传镜像
    docker login
    输入 用户名和密码登录至 docker hub仓库
    docker tag 【IMAGE ID】【仓库名】/postgres_backup_to_oss:1.0
    docker push 【仓库名】/postgres_backup_to_oss:1.0
    # 拉取镜像
    docker pull 【仓库名】/postgres_backup_to_oss:1.0
    
    # 退出登录 因为docker会自动以base64的方式（明文）记录 login的内容，包括密码，logout后会自动删除
    docker logout

## 踩坑之旅 ##

### 为什么我构建下面的镜像一直卡住 ###

由于是使用官方的dockerfile，有部分是从 国外下载的文件，导致异常慢。我试过换成国内的镜像源（清华大学的），发现 有部分apk的安装会报错 找不到包，其他国内镜像源没试过。我是直接使用亚马逊的国外服务器，在其中构建的。

### 镜像最后有多大 ###

安装了PostgreSQL和Ossutil之后有109MB，只安装PostgreSQL有70MB左右。

### PostgreSQL是怎么构建的 ###

首先下载官方的源码文件 [官方源码地址][Link 1]，然后编译执行，最后将源码文件删除，保证镜像的大小

## 附录 ##

dockerfile内容

FROM alpine:3.9
    MAINTAINER "lyx"
    
    ### ---------- 设置时区为北京时区 ---------- 
    ENV  TIME_ZONE Asia/Shanghai
    
    #Alpine目录并无timezone及locatime配置,所以需要先安装
    #dockerfile增加命令
    RUN \
    #安装tzdata安装包
    apk add --no-cache tzdata \
    #设置时区
    && echo "${TIME_ZONE}" > /etc/timezone \ 
    && ln -sf /usr/share/zoneinfo/${TIME_ZONE} /etc/localtime 
    
    ###---------- 安装postgres 使用官方的dockerfile -----------
    # alpine includes "postgres" user/group in base install
    # /etc/passwd:22:postgres:x:70:70::/var/lib/postgresql:/bin/sh
    # /etc/group:34:postgres:x:70:
    # the home directory for the postgres user, however, is not created by default
    # see https://github.com/docker-library/postgres/issues/274
    
    RUN apk --no-cache add ca-certificates wget
    
    RUN set -ex; \
    	postgresHome="$(getent passwd postgres)"; \
    	postgresHome="$(echo "$postgresHome" | cut -d: -f6)"; \
    	[ "$postgresHome" = '/var/lib/postgresql' ]; \
    	mkdir -p "$postgresHome"; \
    	chown -R postgres:postgres "$postgresHome"
    
    # su-exec (gosu-compatible) is installed further down
    
    # make the "en_US.UTF-8" locale so postgres will be utf-8 enabled by default
    # alpine doesn't require explicit locale-file generation
    ENV LANG en_US.utf8
    
    RUN mkdir /docker-entrypoint-initdb.d
    
    ENV PG_MAJOR 11
    ENV PG_VERSION 11.2
    ENV PG_SHA256 2676b9ce09c21978032070b6794696e0aa5a476e3d21d60afc036dc0a9c09405
    
    RUN set -ex \
    	\
    	&& apk add --no-cache --virtual .fetch-deps \
    		ca-certificates \
    		openssl \
    		tar \
    	\
    	&& wget -O postgresql.tar.bz2 "https://ftp.postgresql.org/pub/source/v$PG_VERSION/postgresql-$PG_VERSION.tar.bz2" \
    	&& echo "$PG_SHA256 *postgresql.tar.bz2" | sha256sum -c - \
    	&& mkdir -p /usr/src/postgresql \
    	&& tar \
    		--extract \
    		--file postgresql.tar.bz2 \
    		--directory /usr/src/postgresql \
    		--strip-components 1 \
    	&& rm postgresql.tar.bz2 \
    	\
    	&& apk add --no-cache --virtual .build-deps \
    		bison \
    		coreutils \
    		dpkg-dev dpkg \
    		flex \
    		gcc \
    # krb5-dev \
    		libc-dev \
    		libedit-dev \
    		libxml2-dev \
    		libxslt-dev \
    		make \
    # openldap-dev \
    		openssl-dev \
    # configure: error: prove not found
    		perl-utils \
    # configure: error: Perl module IPC::Run is required to run TAP tests
    		perl-ipc-run \
    # perl-dev \
    # python-dev \
    # python3-dev \
    # tcl-dev \
    		util-linux-dev \
    		zlib-dev \
    		icu-dev \
    	\
    	&& cd /usr/src/postgresql \
    # update "DEFAULT_PGSOCKET_DIR" to "/var/run/postgresql" (matching Debian)
    # see https://anonscm.debian.org/git/pkg-postgresql/postgresql.git/tree/debian/patches/51-default-sockets-in-var.patch?id=8b539fcb3e093a521c095e70bdfa76887217b89f
    	&& awk '$1 == "#define" && $2 == "DEFAULT_PGSOCKET_DIR" && $3 == "\"/tmp\"" { $3 = "\"/var/run/postgresql\""; print; next } { print }' src/include/pg_config_manual.h > src/include/pg_config_manual.h.new \
    	&& grep '/var/run/postgresql' src/include/pg_config_manual.h.new \
    	&& mv src/include/pg_config_manual.h.new src/include/pg_config_manual.h \
    	&& gnuArch="$(dpkg-architecture --query DEB_BUILD_GNU_TYPE)" \
    # explicitly update autoconf config.guess and config.sub so they support more arches/libcs
    	&& wget -O config/config.guess 'https://git.savannah.gnu.org/cgit/config.git/plain/config.guess?id=7d3d27baf8107b630586c962c057e22149653deb' \
    	&& wget -O config/config.sub 'https://git.savannah.gnu.org/cgit/config.git/plain/config.sub?id=7d3d27baf8107b630586c962c057e22149653deb' \
    # configure options taken from:
    # https://anonscm.debian.org/cgit/pkg-postgresql/postgresql.git/tree/debian/rules?h=9.5
    	&& ./configure \
    		--build="$gnuArch" \
    # "/usr/src/postgresql/src/backend/access/common/tupconvert.c:105: undefined reference to `libintl_gettext'"
    # --enable-nls \
    		--enable-integer-datetimes \
    		--enable-thread-safety \
    		--enable-tap-tests \
    # skip debugging info -- we want tiny size instead
    # --enable-debug \
    		--disable-rpath \
    		--with-uuid=e2fs \
    		--with-gnu-ld \
    		--with-pgport=7852 \
    		--with-system-tzdata=/usr/share/zoneinfo \
    		--prefix=/usr/local \
    		--with-includes=/usr/local/include \
    		--with-libraries=/usr/local/lib \
    		\
    # these make our image abnormally large (at least 100MB larger), which seems uncouth for an "Alpine" (ie, "small") variant :)
    # --with-krb5 \
    # --with-gssapi \
    # --with-ldap \
    # --with-tcl \
    # --with-perl \
    # --with-python \
    # --with-pam \
    		--with-openssl \
    		--with-libxml \
    		--with-libxslt \
    		--with-icu \
    	&& make -j "$(nproc)" world \
    	&& make install-world \
    	&& make -C contrib install \
    	\
    	&& runDeps="$( \ scanelf --needed --nobanner --format '%n#p' --recursive /usr/local \ | tr ',' '\n' \ | sort -u \ | awk 'system("[ -e /usr/local/lib/" $1 " ]") == 0 { next } { print "so:" $1 }' \ )" \
    	&& apk add --no-cache --virtual .postgresql-rundeps \
    		$runDeps \
    		bash \
    		su-exec \
    # tzdata is optional, but only adds around 1Mb to image size and is recommended by Django documentation:
    # https://docs.djangoproject.com/en/1.10/ref/databases/#optimizing-postgresql-s-configuration
    		tzdata \
    	&& apk del .fetch-deps .build-deps \
    	&& cd / \
    	&& rm -rf \
    		/usr/src/postgresql \
    		/usr/local/share/doc \
    		/usr/local/share/man \
    	&& find /usr/local -name '*.a' -delete
    
    # make the sample config easier to munge (and "correct by default")
    RUN sed -ri "s!^#?(listen_addresses)\s*=\s*\S+.*!\1 = '*'!" /usr/local/share/postgresql/postgresql.conf.sample
    
    RUN mkdir -p /var/run/postgresql && chown -R postgres:postgres /var/run/postgresql && chmod 2777 /var/run/postgresql
    
    ENV PGDATA /var/lib/postgresql/data
    RUN mkdir -p "$PGDATA" && chown -R postgres:postgres "$PGDATA" && chmod 777 "$PGDATA" # this 777 will be replaced by 700 at runtime (allows semi-arbitrary "--user" values)
    VOLUME /var/lib/postgresql/data
    ## 此处省略启动程序
    # ----------- 仅安装postgres 程序，但是不启动，因为只是用其客户端，不使用服务端 ------#
    
    ### -------------安装 ossutils 工具---------------- ###
    
    #******************Alpine安装 Glibc(依赖库) https://github.com/sgerrand/alpine-pkg-glibc *****************
    RUN apk --no-cache add ca-certificates wget
    RUN wget -q -O /etc/apk/keys/sgerrand.rsa.pub https://alpine-pkgs.sgerrand.com/sgerrand.rsa.pub
    RUN wget https://github.com/sgerrand/alpine-pkg-glibc/releases/download/2.29-r0/glibc-2.29-r0.apk
    RUN apk add glibc-2.29-r0.apk
    
    RUN rm -rf /etc/apk/keys/sgerrand.rsa.pub
    RUN rm -rf /glibc-2.29-r0.apk
    
    # 安装 grep 原装不支持 正则判断 -P
    RUN apk add grep
    
    # 下载 oss命令行工具 ossutil
    RUN wget -O ossutil http://gosspublic.alicdn.com/ossutil/1.5.0/ossutil64
    RUN mv ossutil /usr/local/bin/
    
    RUN chmod +x /usr/local/bin/ossutil 
    
    # 创建挂载执行脚本的目录
    RUN mkdir /usr/local/shell
    
    # 创建备份文件夹
    RUN mkdir /var/backup
    
    # 设置默认工作空间
    WORKDIR /usr/local/shell

[Link 1]: https://www.postgresql.org/ftp/source/