LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】

忘是亡心i 2023-10-12 21:04 60阅读 0赞

GitHub：[GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)][GitHub - ymcui_Chinese-LLaMA-Alpaca_ _LLaMA_Alpaca_CPU_GPU_ _Chinese LLaMA _ Alpaca LLMs]

#### 中文LLaMA模型 ####

中文LLaMA模型在原版的基础上扩充了中文词表，使用了中文通用纯文本数据进行二次预训练。

<table> 
 <thead> 
  <tr> 
   <th>模型名称</th> 
   <th>训练数据</th> 
   <th>重构模型[1]</th> 
   <th>大小[2]</th> 
   <th>LoRA下载[3]</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Chinese-LLaMA-7B</td> 
   <td>通用20G</td> 
   <td>原版LLaMA-7B</td> 
   <td>770M</td> 
   <td><a href="https://pan.baidu.com/s/1oORTdpr2TvlkxjpyWtb5Sw?pwd=33hb" title="[百度网盘]" rel="nofollow">[百度网盘]</a><br><a href="https://drive.google.com/file/d/1iQp9T-BHjBjIrFWXq_kIm_cyNmpvv5WN/view?usp=sharing" title="[Google Drive]" rel="nofollow">[Google Drive]</a></td> 
  </tr> 
  <tr> 
   <td>Chinese-LLaMA-Plus-7B&nbsp;⭐️</td> 
   <td>通用120G</td> 
   <td>原版LLaMA-7B</td> 
   <td>790M</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

[GitHub - ymcui_Chinese-LLaMA-Alpaca_ _LLaMA_Alpaca_CPU_GPU_ _Chinese LLaMA _ Alpaca LLMs]: https://github.com/ymcui/Chinese-LLaMA-Alpaca

发表评论取消回复

表情：

评论列表（有 0 条评论，60人围观）

还没有评论，来说两句吧...

相关阅读

相关大模型微调技术LoRA与QLoRA

大模型的参数量都在100B级别，由于算力的吃紧，在这个基础上进行所有参数的微调变得不可能。LoRA正是在这个背景下提出的解决方案。 1|2原理虽然模型的参数众多，但其

太过爱你忘了你带给我的痛/ 2024年03月17日 12:59/ 0 赞/ 82 阅读

相关 LLM-LLaMA中文衍生模型：LLaMA-ZhiXi【没有对词表进行扩增、全参数预训练、部分参数预训练、指令微调】

> 下图展示了我们的训练的整个流程和数据集构造。整个训练过程分为两个阶段： > > （1）全量预训练阶段。该阶段的目的是增强模型的中文能力和知识储备。 > > （2）使用L

太过爱你忘了你带给我的痛/ 2024年03月16日 23:05/ 0 赞/ 60 阅读

相关 LLM-大模型训练-步骤(二)-预训练/Pre-Training(2)：重参数式预训练(Part-Param Pre-Training)【Lora/ptuning...】【中文无监督学习语料】

GitHub项目：[KnowLM][]、[Chinese-LLaMA-Alpaca][] 二、Pre-Training sample data pt\_sample\_

我就是我/ 2024年03月16日 22:45/ 0 赞/ 40 阅读

相关大模型参数高效微调技术原理综述之 LoRA、AdaLoRA、QLoRA

随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的[预训练][Link 1]或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科

小咪咪/ 2023年10月14日 12:41/ 0 赞/ 28 阅读

相关 LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】

GitHub：[GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese

忘是亡心i/ 2023年10月12日 21:04/ 0 赞/ 61 阅读

相关大模型词表扩充必备工具SentencePiece

背景随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、[ChatSQL][]等

心已赠人/ 2023年10月12日 20:17/ 0 赞/ 33 阅读

相关 Full-Parameter全参数微调与LoRA低秩微调

近年来，大型语言模型的指令微调是自然语言处理领域的一个重要研究领域。由于资源和成本的限制，一些研究人员采用了参数有效的调整技术，如LoRA，并取得了不错的结果。与全参数微

超、凢脫俗/ 2023年10月12日 15:11/ 0 赞/ 118 阅读

相关使用BERT预训练模型+微调进行文本分类

本文记录使用BERT预训练模型，修改最顶层softmax层，微调几个epoch，进行文本分类任务。 BERT源码首先BERT源码来自谷歌官方tensorflow版：[

╰半橙微兮°/ 2023年10月11日 12:16/ 0 赞/ 87 阅读

相关预训练和微调

所谓预训练，其实就是已经提前训练好的模型。比如，你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失

朴灿烈づ我的快乐病毒、/ 2023年01月04日 11:54/ 0 赞/ 254 阅读

相关 .BERT模型预训练与微调

原文链接：[https://blog.csdn.net/weixin\_46649052/article/details/118936381?ops\_request\_mis

╰半夏微凉°/ 2022年09月11日 12:27/ 0 赞/ 312 阅读