LLaMA模型微调版本：斯坦福 Alpaca 详解

古城微笑少年丶 2024-03-17 17:16 39阅读 0赞

### Alpaca 总览 ###

Alpaca 是 LLaMA-7B 的微调版本，使用Self-instruct\[2\]方式借用text-davinct-003构建了52K的数据，同时在其构建策略上做了一些修改。

性能上作者对Alpaca进行了评估，与openai的text-davinct-003模型在self-instruct\[2\]场景下的性能表现相似。所以比起成本来看，Alpaca更便宜。

> text-davinct-003 与 chatGPT 同为 [gpt3.5模型][gpt3.5]之一，比GPT-3模型 curie、babbage、ada 模型更好的质量、更长的输出和一致的指令遵循来完成任何语言任务

整体思路如下图

![b48299df2d516b941cbef40d522429bc.png][]

### 基于 Self-instruct 的数据生成 ###

#### Self-instruct ####

**Self-instruct是一个利用LLM来生成指令遵循数据来指令微调模型的框架，核心贡献是生成指令遵循数据**。

**指令数据由指令、输入、输出组成**。作者的数据生成piple包含四个步骤：

1）生成任务指令，

2）确定指令是否代表分类任务，方便3区别

3）正常任务使用输入优先方法，分类任务使用输出优先的prompt指令方法生成实例

4）过滤低质量的数据。

![963c489cb16af4ed850e067e445bbc51.png][]

详细的Self-instruct可以看我别的文章。

#### Alpaca ####

Alpaca基于self-instruct，

1.  改用GPT-3.5：text-davinci-003来生成指令数据（self-instruct使用的GPT-3：davinci）
2.  指令生成时使用新的[prompt][]，直接一次性生成20个任务的指令（self-instruct是迭代生成的，更费钱）
3.  指令生成不区分 分类/非分类任务，可能是GPT3.5更好，不需要区别了。
4.  每个指令只生成1个实例。

最终的结果是以少于$500的便宜价格获得了52K的数据，下图反映了其数据多样性，内圈是词根是动词的指令，外圈是表示目标的指令。

![9c29dc886c6d3d914a8cbb9117b64e49.png][]

[gpt3.5]: https://openai.xiniushu.com/docs/models#gpt-35
[b48299df2d516b941cbef40d522429bc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/a9192919360c4407964998562f79efd7.png
[963c489cb16af4ed850e067e445bbc51.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/6eabf251e0d441f6a9e5329b8d39340e.png
[prompt]: https://github.com/tatsu-lab/stanford_alpaca/blob/main/prompt.txt
[9c29dc886c6d3d914a8cbb9117b64e49.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/3337a6b31fd443d79ee38c6f5ff073bf.png