盘点十大开源大模型

雨点打透心脏的1/2处 2024-05-05 22:11 94阅读 0赞

大模型时代，开源与闭源模型不断涌现，构成了大模型领域的双重引擎。开源大模型为AI领域注入了新的活力，基于开源大模型的应用如雨后春笋般出现，同时也为研究者和开发者提供了更广阔的创新空间。

在此，**我们梳理了当前开源大模型的部分论文和开源代码**，让我们共同探寻这些令人振奋的进展。

### Llama 2 ###

>  *  **论文**：Llama 2: Open Foundation and Fine-Tuned Chat Models
>  *  **开源：** https://github.com/meta-llama/llama
>  *  **机构：** Meta AI

**Llama 2 是一系列预训练和微调的大型语言模型，参数规模从70亿到700亿不等。** 其中，特别推出了经过优化用于对话场景的微调模型，称为Llama 2-Chat。

这些模型在测试的大多数基准测试中均胜过开源对话模型，在用户评估中获得了良好的帮助性和安全性评分，有可能成为封闭源模型的合适替代品。

![图片][843b32d5a23147cba9e98c380195ef37.png]

### CodeGeeX ###

>  *  \*\*论文：\*\*CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Evaluations on HumanEval-X
>  *  **开源：** https://github.com/THUDM/CodeGeeX
>  *  **机构：** 清华大学、智谱AI、华为

**CodeGeeX，是一个拥有130亿参数的多语言代码生成模型。** 它的优势在于能够生成语法和功能正确的代码，极大地提高了程序员的编码效率，并使我们对人工智能的普适性更加接近。

CodeGeeX在2022年6月基于230亿token的23种编程语言进行了预训练。大量实验证明，CodeGeeX在HumanEval-X上的表现优于规模相似的多语言代码模型，无论是在代码生成还是翻译任务上。

![图片][9d2856d68c6f1efdea7ac93e7760e93f.png]

### MiniGPT-4 ###

>  *  \*\*论文：\*\*MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models
>  *  **开源：** https://minigpt-4.github.io/
>  *  **机构：** King Abdullah University of Science and Technology

**MiniGPT-4结合了一个冻结的视觉编码器和一个冻结的大型语言模型Vicuna，仅使用一个投影层。** MiniGPT-4展现出类似于GPT-4的多种能力，比如生成详细的图像描述，从手写草稿创建网站等。

此外，MiniGPT-4还展示了其他新兴的能力，包括根据给定图像创作故事和诗歌，为图像中展示的问题提供解决方案，根据食物照片教用户如何烹饪等。

![图片][b6af94bd596b61c1a8823128c98a2f9e.png]

### OPT ###

>  *  **论文**：OPT: Open Pre-trained Transformer Language Models
>  *  **开源：** https://github.com/facebookresearch/metaseq
>  *  **机构：** Meta AI

**OPT是一系列仅包含解码器的预训练transformers模型，参数范围从125M到175B。** 这些模型在零样本学习和少样本学习方面展现出卓越的能力。

与其他大型语言模型相比，OPT模型具有重要优势：首先，这些模型的训练成本较低，仅需1/7的碳足迹即可达到类似GPT-3的性能水平；其次，OPT模型的权重可完全和负责任地与感兴趣的研究人员共享，这为研究者提供了更多研究和实验的机会。

![图片][8e6ebd75fee4963e30c4e3a623c0798f.png]

### CPM ###

>  *  **论文**：CPM: A Large-scale Generative Chinese Pre-trained Language Model
>  *  **开源：** https://github.com/TsinghuaAI/CPM-1-Generate
>  *  **机构：** 清华大学

**CPM是中文预训练语言模型。CPM由26亿参数和100GB中文训练数据组成，是目前为止最大的中文预训练语言模型之一。** 它采用了大规模中文训练数据进行生成式预训练，旨在为多项下游中文自然语言处理任务提供支持。

相较于其他模型，CPM专注于中文训练数据，因此在处理中文自然语言处理任务时更为得心应手。

![图片][726639d4e1a2d8eef4280d0a88f12a49.png]

### CPM-2 ###

>  *  **论文**：CPM-2: Large-scale cost-effective pre-trained language models
>  *  **开源：** https://github.com/TsinghuaAI/CPM
>  *  **机构：** 清华大学

**CPM-2是一个基于大规模预训练语言模型（PLMs）的成本效益技术套件。** 它通过一系列技术来解决PLMs的效率问题，包括知识继承、提示微调和推理工具包infmoe。

首先，利用知识继承加速预训练过程，利用现有的PLMs而不是从头开始训练模型。其次，探索了大规模PLMs的提示微调最佳实践，显著减少了任务特定参数的数量。最后，实现了一个新的推理工具包infmoe，用于在有限的计算资源下使用大规模PLMs。

![图片][f4b8e2dd7d31c5dd793b115a22fa40c4.png]

### CodeGen ###

>  *  **论文**：CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis
>  *  **代码：** https://github.com/salesforce/CodeGen
>  *  **机构：** University of California & Salesforce

**CodeGen是一个由自然语言和编程语言数据训练而成的大型语言模型系列，拥有高达16.1B个参数。** CodeGen的优势在于能够通过输入-输出示例或自然语言描述来生成计算机程序，这是程序合成的重要应用。

相较于先前的技术，CodeGen展示出在零样本Python代码生成上与现有最先进技术相媲美的实力，这归功于其在人类评估上的表现。

![图片][be119d7b56cb7a3d51584f8245da7e4e.png]

### BLOOM ###

>  *  **论文**：BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
>  *  **开源：** https://huggingface.co/bigscience/bloom

**BLOOM是一个拥有1760亿参数的开放获取语言模型。** BLOOM由数百名研究人员合作设计和构建，是一个仅包含解码器的Transformer语言模型。

它在ROOTS语料库上进行训练，该语料库包含46种自然语言和13种编程语言的数百个来源（总共59种语言）。BLOOM在各种基准测试中表现出色，经过多任务提示微调后的结果更加强大。

![图片][73bfc1f4045b2a8cbdcf99d18ba05559.png]

### GLM-130B ###

>  *  **论文**：GLM-130B: An Open Bilingual Pre-trained Model
>  *  **开源：** https://github.com/THUDM/GLM-130B
>  *  **机构：** 清华大学

**GLM-130B是一个拥有1300亿参数的双语（英文和中文）预训练语言模型。**

该模型旨在开源一个至少与GPT-3一样出色的1000亿规模模型，并揭示这种规模的模型如何成功地进行预训练。

![图片][e217ad6efdfb8f20100cde0d2f34607e.png]

### mT5 ###

>  *  **论文**：mT5: A massively multilingual pre-trained text-to-text transformer
>  *  **开源：** http://goo.gle/mt5-code
>  *  **机构：** Google

**mT5是T5的多语言变体，** 采用了统一的text-text格式和大规模训练，通过在覆盖101种语言的新Common Crawl数据集上进行预训练。

mT5的设计和修改训练方法在论文中有详细描述，展示了在许多多语言基准任务上的最先进表现。

![图片][498e3802677ea4e114c13c4cba12c6eb.png]  
**-END-**

--------------------

##### ?AI大模型学习路线汇总? #####

大模型学习路线图，整体分为7个大的阶段：**（全套教程文末领取哈）**  
![448cfbab7a724a27bfaebe0bc5bdf791.png_pic_center][]  
**第一阶段：** 从大模型系统设计入手，讲解大模型的主要方法；

**第二阶段：** 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

**第三阶段：** 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

**第四阶段：** 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

**第五阶段：** 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

**第六阶段：** 以SD多模态大模型为主，搭建了文生图小程序案例；

**第七阶段：** 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

#### ?大模型实战案例? ####

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

![在这里插入图片描述][4b0fdd83a09b4b90aab93db1c99eadb4.jpeg_pic_center]

#### ?大模型视频和PDF合集? ####

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。  
![在这里插入图片描述][fe8993b5c87b4577860ff02c0542e2b6.png_pic_center]  
![在这里插入图片描述][7977122a35ff4635a1b15565b4181435.png_pic_center]

#### ?学会后的收获：? ####

**• 基于大模型全栈工程实现**（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

**• 能够利用大模型解决相关实际项目需求：** 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，**实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能，** 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

**• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力：** 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

#### ?获取方式： ####

?有需要的小伙伴，可以保存图片到**wx扫描二v码**免费领取【`保证100%免费`】?  
![234a36150ed901b26f264a281a41c0b1.png][]

[843b32d5a23147cba9e98c380195ef37.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/c93d8ba18f7a4a0bbbf9214bd8497021.png
[9d2856d68c6f1efdea7ac93e7760e93f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/558e639e582c4c179922bfb5afe233fa.png
[b6af94bd596b61c1a8823128c98a2f9e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/dfefee4c15834b468b9efd11d62ef161.png
[8e6ebd75fee4963e30c4e3a623c0798f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/838036edcf0543efa62772e3516b9417.png
[726639d4e1a2d8eef4280d0a88f12a49.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/3f43bcf408364cd3978e4e16d83654e8.png
[f4b8e2dd7d31c5dd793b115a22fa40c4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/3b850bb823a64dcf87b76c9a0e15dc3f.png
[be119d7b56cb7a3d51584f8245da7e4e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/b06a4e3174924580b4a5935bba93b81a.png
[73bfc1f4045b2a8cbdcf99d18ba05559.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/2b53be2cb9624adea6705a567d0eccb7.png
[e217ad6efdfb8f20100cde0d2f34607e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/4fc0d74cdce54c2899769e2e6c1b8a6f.png
[498e3802677ea4e114c13c4cba12c6eb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/f6b7a835e6694fa6af461dc8212140ca.png
[448cfbab7a724a27bfaebe0bc5bdf791.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/d3005b68313044d58c37398563813e69.png
[4b0fdd83a09b4b90aab93db1c99eadb4.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/245610ecb1ad48d09126ed365a804c50.jpeg
[fe8993b5c87b4577860ff02c0542e2b6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/799811f451084bfc8b9bd8b1add16e58.png
[7977122a35ff4635a1b15565b4181435.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/11e341dc33cf465fa1fe4ce16029935b.png
[234a36150ed901b26f264a281a41c0b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/6d0c71932c874f2b88beafc62daea2ac.png