书生·浦语大模型全链路开源体系介绍

末蓝、 2024-04-20 11:50 49阅读 0赞

## 背景介绍 ##

随着人工智能技术的迅猛发展，大模型技术已成为当今人工智能领域的热门话题。2022 年 11 月 30 日，美国 OpenAI 公司发布了 ChatGPT 通用型对话系统 并引发了全球 的极大关注，上线仅 60 天月活用户数便超过 1 亿，成为历史上用户增长最快的互联网 应用产品。2023 年 3 月 14 日，OpenAI 公司再次发布了升级版模型 GPT-4 又展现 出了更高阶的能力，再一次实现了技术飞跃，并在全球范围掀起大模型发展浪潮。不仅国外科技巨头纷纷加码布局，推动大模型产业的快速落地，国内的头部企业也积极追赶步伐，竞相抢滩大模型的新赛道，抢抓认知智能大模型带来的历史机遇，下图为ChatGPT的发布时间线。  
![\[图片\]][01411a460e1c48129667855250469bca.png]  
在OpenAI发布GPT3.5后，各大模型厂商积极跟进，相继推出各类大模型。国内本土已经发布近80款参数量在十亿量级以上的大模型，主要有华为、阿里、百度、腾讯等，亦有清华大学等高校机构。  
![在这里插入图片描述][8fa6f54468d440559f08516b57749c8e.png]  
**专用大模型：** 针对特定任务，一个模型解决一个问题，比如适用于围棋比赛的围棋大模型  
![在这里插入图片描述][38bb318a736f4c66a5113cd1578a29d4.png]  
**通用大模型：** 一个模型应对多种任务、多种模态

## 大模型介绍 ##

书生·浦语大模型开源历程：  
![在这里插入图片描述][64f55392ecff4a96afec63f95b410a59.png]  
书生·浦语大模型系列：  
![在这里插入图片描述][f6ec9bd398654905a14c150c8f42e9ab.png]  
以20B开源大模型为例，其性能全面领先相近量级的开源模型（包括Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型），以不足三分之一的参数量，达到Llama2-70B水平。  
![在这里插入图片描述][e4019c9cda914198b469bd82748958ab.png]

## 大模型开源开放体系 ##

![在这里插入图片描述][4415c1056526452d9385383c3f1010ad.png]  
**数据：** 开放了书生万卷，具有2TB数据，涵盖多种模态与任务  
**预训练：** 开源了InternLM-Train框架，支持并行训练，进行了极致优化，速度达到3600 tokens/sec/gpu  
**微调：** 开源了XTuner框架，支持 全参数微调，支持LoRA等低成本微调  
**部署：** 开源了LMDeploy框架，支持全链路部署，性能领先，每秒生成2000+ tokens  
**评测：** 开源OpenCompass框架，支持全方位评测，性能可复现，80套评测集，40万道题目  
**应用：** 开源了Lagent、AgentLego项目，支持多种智能体，支持代码解析器多种工具调用

### 数据-书生万卷 ###

![在这里插入图片描述][5d5f0eb317c740cd83b04b92fe784fd7.png]  
![在这里插入图片描述][cc5a88ebd6ce4db5b5a2b68bd26718da.png]

### 预训练 ###

![在这里插入图片描述][6d27715a32c54147901df059f427468e.png]

### 微调 ###

![在这里插入图片描述][6b59e4c2cd714a438ce3ae27d01a889e.png]  
![在这里插入图片描述][7a9a6312f6394133965c5f60722aef3d.png]  
![在这里插入图片描述][98332dbaec56403f9a6a8642b44579cc.png]

### 评测 ###

![在这里插入图片描述][a77fa4afd76a4bc39e677141fd0142de.png]  
OpenCompass提供的评测集  
![在这里插入图片描述][14a1cc6ffc90440e95490c9a5728166f.png]  
OpenCompass 开源评测平台架构  
![在这里插入图片描述][9ff82aec4f8a478fb869c7c6d87af2b2.png]  
OpenCompass的亮点  
![在这里插入图片描述][574166949eb54b87b3a84de2fdbe0b52.png]  
OpenCompass支持的模型  
![在这里插入图片描述][4d18880f7789447eb769a6d83101b967.png]

### 部署 ###

![在这里插入图片描述][75c224be6c7442ca8d98064025d713fd.png]

LMDeploy 提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务

![在这里插入图片描述][16c0d981d69041e587cdd88ae8f53279.png]

### 智能体应用 ###

![在这里插入图片描述][2ccf0452296c41b58774e55e7365ea72.png]  
轻量级智能体框架Lagent  
![在这里插入图片描述][641671429fb74b4990cc59f3633a4f16.png]  
多模态智能体工具箱 AgentLego  
![在这里插入图片描述][1b018f7adcc24c76bafb3d01acffff73.png]

## 总结 ##

总之书生浦语是一个大模型全链路开源体系，为开发者提供了从数据集准备到模型训练、部署和应用的全套解决方案。通过该体系，开发者可以自由定制和扩展模型，满足不同场景下的需求。

本文提到的相关框架工具地址：  
OpenDataLab: https://opendatalab.com/home  
书生万卷：https://opendatalab.com/OpenDataLab/WanJuan1\_dot\_0  
预训练框架：https://github.com/InternLM/InternEvo  
微调框架XTuner：https://github.com/InternLM/xtuner  
部署框架LMDeploy：https://github.com/InternLM/lmdeploy  
Lagent：https://github.com/InternLM/lagent  
AgentLego：https://github.com/InternLM/agentlego  
评估框架OpenCompass: https://github.com/open-compass/opencompass

--------------------

> 作者其他不相干的专栏，也来看看：
> 
>  *  [Prometheus+Grafana 实践派][Prometheus_Grafana]
> 
> > Prometheus来自CNCF的产品，云原生时代监控产品； Grafana是一款开源的指标可视化工具，拥有大量的插件和图表工具来查询，展示您的指标，本专栏从基础知识开始学习，逐渐进阶，最终实现企业级统一监控目标
> 
>  *  [Loki + Tempo][Loki _ Tempo]
> 
> > 一步步学习Grafana家族的轻量型聚合日志框架-Loki，链路追踪框架-Tempo
> 
>  *  [Spring Boot 3.x][]
> 
> > Spring Boot 具有 Spring 一切优秀特性，Spring 能做的事，Spring Boot 都可以做，本专栏将全面介绍Spring Boot特性，继而对其进行全面的源码分析，不再犀牛望月，Spring Boot 版本：3.x
> 
>  *  [Spring Security][]
> 
> > 使用Spring Security版本5.7.2
> 
>  *  [Spring Boot Admin2][]
> 
> > SBA2 源码解析
> 
>  *  [阿提小作][Link 1]
> 
> > 作者平时心血来潮开发的小系统，都在运行玩了一段时间后停了
> 
> 等等，还有其他很多

[01411a460e1c48129667855250469bca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/4d94610d1f9c4583b2cbe0297d88e707.png
[8fa6f54468d440559f08516b57749c8e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/6ff7b0d6550744f085cddaa685fd826a.png
[38bb318a736f4c66a5113cd1578a29d4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/0090d3afd53f4286b6717934e51f7286.png
[64f55392ecff4a96afec63f95b410a59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/823931be492b459e97d41127152b1018.png
[f6ec9bd398654905a14c150c8f42e9ab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/b65a419641204b3da6ea067a5181b9a4.png
[e4019c9cda914198b469bd82748958ab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/d53cf774467f4b469dfdf86ca65c24c8.png
[4415c1056526452d9385383c3f1010ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/532a78b61586420a8a2a00a133c6d143.png
[5d5f0eb317c740cd83b04b92fe784fd7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/7e9387108bc04b19a35a03eb4b4ff537.png
[cc5a88ebd6ce4db5b5a2b68bd26718da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/950e2c13b53a48e581682212f9f96b1e.png
[6d27715a32c54147901df059f427468e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/97e7cff9df1c4bf1a9e0fef9e92f4184.png
[6b59e4c2cd714a438ce3ae27d01a889e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/4fde5ba1da3d4ae5bfcd02be44604a88.png
[7a9a6312f6394133965c5f60722aef3d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/266a2406081b40b6aa70923f0b23012f.png
[98332dbaec56403f9a6a8642b44579cc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/eff8378391964af0879f9205e0a4eb16.png
[a77fa4afd76a4bc39e677141fd0142de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/5874c20710f741e2aa4ef9f6ab84eab3.png
[14a1cc6ffc90440e95490c9a5728166f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/79d95d6b140442508a8959a92f124e5e.png
[9ff82aec4f8a478fb869c7c6d87af2b2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/4bad2d83118540e6b02de56dd25f153f.png
[574166949eb54b87b3a84de2fdbe0b52.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/bbc2fa3d666943818bccf13b88276614.png
[4d18880f7789447eb769a6d83101b967.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/23beeba93f0d41b8a697cabbb5289d67.png
[75c224be6c7442ca8d98064025d713fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/07abc1dba71f41a8a4d53c5ce263e8b0.png
[16c0d981d69041e587cdd88ae8f53279.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/5f4430a009f34d02a0f32d67305d4973.png
[2ccf0452296c41b58774e55e7365ea72.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/5667052088a349ef9087306b32cd503a.png
[641671429fb74b4990cc59f3633a4f16.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/3e34cb1399fa4c1fbccc3bc1f25dd3c0.png
[1b018f7adcc24c76bafb3d01acffff73.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/660fdc1785594061baa5d5eddf1d7e3d.png
[Prometheus_Grafana]: https://blog.csdn.net/weixin_40972073/category_12137446.html
[Loki _ Tempo]: https://blog.csdn.net/weixin_40972073/category_12529059.html
[Spring Boot 3.x]: https://blog.csdn.net/weixin_40972073/category_12178066.html
[Spring Security]: https://blog.csdn.net/weixin_40972073/category_11954818.html
[Spring Boot Admin2]: https://blog.csdn.net/weixin_40972073/category_12114362.html
[Link 1]: https://blog.csdn.net/weixin_40972073/category_12571010.html