下载bert的预训练模型并加载训练

系统管理员 2022-12-26 11:18 480阅读 0赞

# 总结 #

*  使用 `huggingface`下载预训练好的bert模型，并加载。
 *  文章来源：`csdn：LawsonAbs`
 *  文章写于\[20201205\]

--------------------

# 1.具体步骤 #

*  step1.进入网址 `https://huggingface.co` 搜索自己需要的模型名(下面以`bert-base-uncased` 为例)
 *  step2.在如下的界面中，找到一个 `Files and versions`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]
 *  step3. 进入如下的界面，（这里以下载pytorch版的模型为例）  
    下载如下三个红框中的内容即可。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]
 *  step4.具体使用  
    我将上述下载好的内容放到了 `/home/lawson/pretrain/bert-base-uncased` 文件夹下。那么我就可以在程序中这么用：

import torch as t
    from transformers import BertTokenizer,BertModel
    str = "I used to be a bank, but I lose interest." 
    tokenzier = BertTokenizer.from_pretrained("/home/lawson/pretrain/bert-base-uncased")
    bert = BertModel.from_pretrained("/home/lawson/pretrain/bert-base-uncased")

# 2.文件释义 #

## 2.1 模型文件 ##

`pytorch_model.bin` 就是一个pytorch版的模型文件，同样可以在链接中下载tensorflow，或者是rust的模型文件。

## 2.2 配置文件 ##

`config.json` 是预训练模型的配置文件，内容如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]

# 3.其它问题 #

可能有的时候加载训练好的模型会报错，明明操作是对的，但是就是报错，常见的错误有：`OSError: Couldn't reach server at '/home/lawson/pretrain/.... to download configuration...'`，如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]这种情况的出现是因为 `config.json` 这个文件中的内容是错误的，导致程序无法识别，删除掉重新下载就好了。【这种情况常出现在网络不佳时下载文件导致】

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: /images/20221120/639680cfcd3c4c4bb6b50df4b0a3b74a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]: /images/20221120/7111c275705b497a93b9f582896437fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]: /images/20221120/5b8ac51250f84f189e1be0d659972c3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]: /images/20221120/6b0f1f8c943f4ab4ab732ee77115cd8b.png