pytorch-pretrained-bert的模型下载慢

r囧r小猫 2023-10-05 11:25 3阅读 0赞

第一步，先安装模型框架

pip install pytorch-pretrained-bert

第二步，一般如果调用BertModel等模型的时候，需要下载相应的预先训练模型，下载后的文件存放在cache文件夹：~/.pytorch\_pretrained\_bert/，但是往往服务器的速度受限，会下载很慢，因此我们可以直接下载下来，再放到指定位置去

model = BertModel.from_pretrained('../temp/bert-base-uncased', cache_dir=temp_dir)

下面是模型的下载地址

PRETRAINED_MODEL_ARCHIVE_MAP = {
            'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz",
            'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.tar.gz",
           'bert-base-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased.tar.gz",
           'bert-base-multilingual': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual.tar.gz",
            'bert-base-chinese': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese.tar.gz",
        }

vocab的地址为

PRETRAINED_VOCAB_ARCHIVE_MAP = {
        'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt",
        'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-vocab.txt",
        'bert-base-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-vocab.txt",
        'bert-large-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-cased-vocab.txt",
        'bert-base-multilingual-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-uncased-vocab.txt",
        'bert-base-multilingual-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased-vocab.txt",
        'bert-base-chinese': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt",
    }

最后需要的是一个文件夹下包含三个文件，如下所示  
![在这里插入图片描述][20201009195149339.png_pic_center]  
我这里文件夹名称是bert\_pretrain,对应加载的代码如下(cache\_dir随便写)：

model = BertModel.from_pretrained('./bert_pretrain', cache_dir='/home/cache')

参考文献：[https://zhuanlan.zhihu.com/p/50773178][https_zhuanlan.zhihu.com_p_50773178]

[20201009195149339.png_pic_center]: https://img-blog.csdnimg.cn/20201009195149339.png#pic_center
[https_zhuanlan.zhihu.com_p_50773178]: https://zhuanlan.zhihu.com/p/50773178