深度学习模型搭载google drive训练NER

小灰灰 2021-09-28 13:54 434阅读 0赞

一、首先需要在[https://drive.google.com/][https_drive.google.com]上登录并且创建文件夹和文件，并且上传自己的脚本

二、在[https://colab.research.google.com][https_colab.research.google.com]上创建一个notebook来搭载并访问google云上面的数据和脚本，搭载步骤如下：

1）!apt-get install -y -qq software-properties-common python-software-properties module-init-tools  
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null  
!apt-get update -qq 2>&1 > /dev/null  
!apt-get -y install -qq google-drive-ocamlfuse fuse  
from google.colab import auth  
auth.authenticate\_user()  
from oauth2client.client import GoogleCredentials  
creds = GoogleCredentials.get\_application\_default()  
import getpass  
!google-drive-ocamlfuse -headless -id=\{creds.client\_id\} -secret=\{creds.client\_secret\} < /dev/null 2>&1 | grep URL  
vcode = getpass.getpass()  
!echo \{vcode\} | google-drive-ocamlfuse -headless -id=\{creds.client\_id\} -secret=\{creds.client\_secret\}

**此步骤需要进行两次用户名和密码验证，点击链接，并且允许后，会生成一个code，然后把code复制过去就行。**

2）!mkdir -p drive  
!google-drive-ocamlfuse drive

3）from google.colab import drive  
drive.mount('/content/drive')

**此步骤操作如步骤1）**

4）import os  
path = "/content/drive/My Drive/Colab/NER/"  
os.chdir(path)

5）\# 训练模型

!python BERT\_NER.py \\  
                --data\_dir=data/ \\  
                --bert\_config\_file=checkpoint/bert\_config.json \\  
                --init\_checkpoint=checkpoint/bert\_model.ckpt \\  
                --vocab\_file=vocab.txt \\  
                --output\_dir=./output/result\_dir/

6） \# 评估和预测模型

[https_drive.google.com]: https://drive.google.com/
[https_colab.research.google.com]: https://colab.research.google.com/