LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】

忘是亡心i 2023-10-12 21:04 11阅读 0赞

GitHub：[GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)][GitHub - ymcui_Chinese-LLaMA-Alpaca_ _LLaMA_Alpaca_CPU_GPU_ _Chinese LLaMA _ Alpaca LLMs]

#### 中文LLaMA模型 ####

中文LLaMA模型在原版的基础上扩充了中文词表，使用了中文通用纯文本数据进行二次预训练。

<table> 
 <thead> 
  <tr> 
   <th>模型名称</th> 
   <th>训练数据</th> 
   <th>重构模型[1]</th> 
   <th>大小[2]</th> 
   <th>LoRA下载[3]</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Chinese-LLaMA-7B</td> 
   <td>通用20G</td> 
   <td>原版LLaMA-7B</td> 
   <td>770M</td> 
   <td><a href="https://pan.baidu.com/s/1oORTdpr2TvlkxjpyWtb5Sw?pwd=33hb" title="[百度网盘]" rel="nofollow">[百度网盘]</a><br><a href="https://drive.google.com/file/d/1iQp9T-BHjBjIrFWXq_kIm_cyNmpvv5WN/view?usp=sharing" title="[Google Drive]" rel="nofollow">[Google Drive]</a></td> 
  </tr> 
  <tr> 
   <td>Chinese-LLaMA-Plus-7B&nbsp;⭐️</td> 
   <td>通用120G</td> 
   <td>原版LLaMA-7B</td> 
   <td>790M</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

[GitHub - ymcui_Chinese-LLaMA-Alpaca_ _LLaMA_Alpaca_CPU_GPU_ _Chinese LLaMA _ Alpaca LLMs]: https://github.com/ymcui/Chinese-LLaMA-Alpaca