大模型-微调技术：LLM-Adapters库【对 PEFT 库的扩展，是一个简单易用的框架，将各种适配器集成到 LLM 中】

向右看齐 2023-10-13 10:28 59阅读 0赞

**LLM-Adapters**[\[1\]][1] **是对 PEFT 库的扩展**，是一个简单易用的框架，将各种适配器集成到 LLM 中，可针对不同的任务执行 LLM 的基于适配器的 PEFT 方法，除了 PEFT 支持的 LoRA、Prefix Tuning、P-Tuning、Prompt Tuning 方法外，主要扩增了 AdapterH、AdapterP 和 Parallel 三种方法。

> AdapterH: [Parameter-Efficient Transfer Learning for NLP][]  
> AdapterP: [GMAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer][GMAD-X_ An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer]  
> Parallel: [Towards a Unified View of Parameter-Efficient Transfer Learning][]

--------------------

[大模型参数高效微调(PEFT) - 知乎][PEFT_ -]

[1]: https://zhuanlan.zhihu.com/p/621700272#ref_1
[Parameter-Efficient Transfer Learning for NLP]: https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1902.00751.pdf
[GMAD-X_ An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer]: https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2005.00052.pdf
[Towards a Unified View of Parameter-Efficient Transfer Learning]: https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2110.04366.pdf
[PEFT_ -]: https://zhuanlan.zhihu.com/p/621700272