docker + pytorch + jupyter 环境配置

野性酷女 2022-09-08 05:58 261阅读 0赞

### 文章目录 ###

*  0x01 背景
 *  0x02 环境选择
 *  0x03 docker 安装
 *   *  3.1 安装docker
     *  3.2 安装nvidia-docker
     *  3.3 镜像加速
     *  3.4 测试
 *  0x04 获取 pytorch 镜像
 *  0x05 快速开始一个新的docker容器
 *  0x06 docker + jupyter
 *  0x07 其他常用的命令

docker 很强，很得劲，很上头

# 0x01 背景 #

因为来自东方的神秘原因，现在需要用到 pytorch。

“工欲善其身，必先利其器”

本文仅介绍 pytorch 在docker 的 jupyter 中如何成功运行，

具体详细的学习 pytorch 的教程网上大佬有过很多高质量的分享。

# 0x02 环境选择 #

# 检验是否使用 GPU
    import torch
    
    torch.cuda.is_available()

深度学习框架不外乎有三种方式，

*  第一种，安装在本地，也是我在自己电脑上装的，比较适合单人开发、不需要太多的版本管理。

通过 `pip` 安装。优点很明显。但是缺点也很明显。

如果你是 cpu，没有显卡，可以无视以下缺点。

缺点1：需要手动安装 cuda 和 cudnn。现在可以选择 `.deb` 安装，算是很友好了。

缺点2：需要注意显卡驱动和 cuda 和 cudnn 之间的版本关系。

缺点3：一旦某个项目需要特定的深度学习框架版本，就需要重新安装。

缺点4：torch 的依赖库和其他深度学习框架的依赖库版本有冲突。（我到现在还没有解决，能用，就不管了）

*  第二种，通过 Anaconda 安装，推荐单人使用。

一旦电脑上使用的用户多起来了以后，硬盘内存管理简直就是个灾难。

而且一不注意，他的整个文件夹的占用的内存很容易超过 10G。而我整个硬盘容量才 250G，再往里面塞一些数据集妥妥爆炸。

现在我自己电脑上有在使用的是 miniconda，使用体验以后来补充。

优点也很明显，无需安装 cuda 和 cudnn，它会自动适配对应的版本。懒人最爱。

*  第三种，通过 docker 安装。因为公司服务器是多人使用，人一多之后，各种问题都会冒出来。

再维修了n次的系统环境之后，我忍受不住了。我是一个算法工程师啊，不是运维工程师啊。

上什么conda，统一上 docker。用了之后是真香。**推荐个人和公司使用**

优点：不用担心版本兼容，不用担心环境突然故障，内存占用比 conda 少，而且好管理。随便用，使劲霍霍，用炸了算我输。

缺点：上手的学习成本有点高。这也是我之前为什么不用他的主要原因。我会使用docker，但是同事不会啊。

--------------------

最近也在选择键盘，在看很多款，我自用的是宁芝静电容，想要把家里的升级一下。看中了cherry的mx8和hhkb。

看了很多测评，其中有一句话说的很正：

“当你买了一个价格相对廉价的键盘之后，那么它的优点是价格便宜，剩下全是缺点；

当你买了一个价格相对昂贵的键盘之后，那么它的缺点是价格昂贵，剩下全是优点”

用在docker上是一样的，缺点就是学习周期长了点，剩下全是优点。

这就是我这篇文章的意义，加速让你上手 docker 使用 pytorch。

# 0x03 docker 安装 #

## 3.1 安装docker ##

官网链接： https://docs.docker.com/engine/install/ubuntu/

## 3.2 安装nvidia-docker ##

官网链接：https://github.com/NVIDIA/nvidia-docker

## 3.3 镜像加速 ##

> 阿里云：https://cr.console.aliyun.com， 点进去注册账号，管理中心，左侧有个镜像加速器，找到网址，替换。

请在 /etc/docker/daemon.json 中写入如下内容（如果文件不存在请新建该文件）

sudo mkdir -p /etc/docker
    sudo tee /etc/docker/daemon.json <<-'EOF'
    {
      "registry-mirrors": ["<https://xxxxxx.mirror.aliyuncs.com>"]
    }
    EOF

**注意，一定要保证该文件符合 json 规范，否则 Docker 将不能启动.** 之后重新启动服务。

$ sudo systemctl daemon-reload
    $ sudo systemctl restart docker
    
    # 查看是否生效
    $ docker info

## 3.4 测试 ##

$ docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi

# 0x04 获取 pytorch 镜像 #

官方镜像仓库：https://hub.docker.com/

torch镜像：搜索torch，选择适合你系统的版本。我选的是图片中的版本。下载下来是 4.4 G

命令行运行：

$ docker pull pytorch/pytorch:1.9.0-cuda10.2-cudnn7-runtime

![image-20210825125304592][]

# 0x05 快速开始一个新的docker容器 #

> 拉取了镜像之后需要创建一个容器，之后我们所有的工作都是在容器中运行。
> 
> 一旦容器炸了，我们就把容器删掉，重新建一个即可

# 假设已经有 pytorch/pytorch:1.9.0-cuda10.2-cudnn7-runtime 镜像在本地了
    $ docker run -it --gpus all -p 7777:8898 --name torch -v /home/lebhoryi/lebhoryi:/home/lebhoryi pytorch/pytorch:1.9.0-cuda10.2-cudnn7-runtime

命令解析：

1.  run 新建一个容器并且运行命令
2.  \-i 交互式，连接网络
3.  \-t tty 打开终端
4.  –gpus all 使用服务器的所有显卡
5.  7777:8888 将容器的8888端口映射到服务器的7777端口，这个在用jupyter会用到
6.  –name torch 该容器命名为torch
7.  \-v 本地绝对路径:容器绝对路径 设置共享文件夹
8.  pytorch/pytorch:1.9.0-cuda10.2-cudnn7-runtime 本地镜像

当有一个容器创建好之后，想要启动容器并且进去，推荐使用 `docker start torch && docker attach torch`

正常流程： 创建 --> 启动 --> 进入

# 创建
    $ docker create -it --gpus all -p 7777:8898 --name torch -v /home/lebhoryi/lebhoryi:/home/lebhoryi pytorch/pytorch:1.9.0-cuda10.2-cudnn7-runtime
    
    # 启动 进入
    $ docker start torch && docker attach torch
    
    # 验证
    $ nvidia-smi
    
    # 挂起  ctrl + p + q
    # 返回容器
    docker attach <name>

# 0x06 docker + jupyter #

假定你的容器已经创建好了。

# 进入容器
    $ docker attach torch
    
    # 容器中运行
    $ apt update && apt install git vim 
    $ pip install jupyter
    $ jupyter notebook --generate-config  # 记录 config.py 文件的位置和文件名

设置 jupyter 密码，

$ ipython
    
    # In [1]: from notebook.auth import passwd
    # In [2]: passwd()
    # Enter password: 
    # Verify password: 
    # Out[2]: 'argon2:$argon2id$v=xxxxxx'

修改 config.py 文件，新增：

#  service
    c.NotebookApp.allow_remote_access = True  # 允许远程
    c.NotebookApp.ip = '*'   # 允许其他ip接入
    c.NotebookApp.port = 7777  # 容器端口
    c.NotebookApp.password =  'argon2:$argon2id$v=xxxxxx'  # 密
    c.NotebookApp.open_browser = False   # 默认不打开浏览器
    c.NotebookApp.allow_root = True  # 使用root
    c.NotebookApp.notebook_dir = '/home/lebhoryi'  # 默认打开路径

最后命令行中输入：`jupyter notebook` 即可。

在本地输入 `服务器的ip:7777`

# 0x07 其他常用的命令 #

docker --help
    docker create name  # 创建容器
    docker start name    # 开启容器
    docker pause name    # 暂停容器
    docker kill name    # 杀死容器
    docker restart name    # 重启容器
    docker attach name    # 终端进入已经开启的容器
    docker inspect name    # 查看容器的详细信息
    docker logs name    # 查看容器日志
    docker ps    # 查看正在运行的容器
    docker ps -a    #查看所有容器
    docker rm name    # 删除容器
    docker rmi name    # 删除镜像
    docker images    # 管理镜像

[image-20210825125304592]: /images/20220829/111b44d16a46442697901414ddf71afe.png