是否在业务中使用大语言模型？

约定不等于承诺〃 2024-03-26 23:47 17阅读 0赞

是否在业务中使用大语言模型？  
from: [https://avoid.overfit.cn/][https_avoid.overfit.cn]

ChatGPT取得了巨大的成功，在短短一个月内就获得了1亿用户，并激发了企业和专业人士对如何在他们的组织中利用这一工具的兴趣和好奇心。

但LLM究竟是什么，它们如何使你的企业受益?它只是一种炒作，还是会长期存在?

在这篇文章中我们将讨论上面这个问题并尝试解答为什么LLM对企业来说是一项伟大的投资，或者不是。是大炮打蚊子 还是 物尽其用？这就要看何时以及如何有效和高效地使用这个大模型了。

训练  
LLM的训练是非常昂贵……但是这并不意味着每次要使用LLM完成特定任务时都要训练它，也不意味着你根本就不需要训练它。有很多方法可以利用LLM的现有知识和技能，无需从头开始训练。

LLM能够根据单词和短语相互跟随的概率生成文本。也可以通过让它“根据上下文阅读”来“模仿”这种行为。这就好比给某人一本书，然后让他们在书中找到他们认为可能有X问题答案的那一章。一旦读者找到这一章，他们就会阅读，然后试图向你解释他们刚刚读到的内容。

这需要某种程度上对他进行提示，这也就是我们常说的prompt。网上有很多关于关于提示教程，提示工程以及如何为LLM生成良好的提示。所以当你试图得到上下文答案时，LLM可以很好的工作。但不要指望机器知道一切，因为它们擅长的是放置文字，而不是阐述事实。

只有当你想让机器像专业人士一样说话时，你才需要重新训练它。

业务专业术语  
所有组织和企业都有自己的行话和特定于其领域的技术术语。例如，Jam可以指甜甜的Smucker草莓果冻，但也可以指非正式播放的音乐。

这意味着不是每个人都能很容易地理解特定业务使用的语言，除非他们熟悉其词汇和概念。所以对于不熟悉该领域的潜在客户或合作伙伴来说可能是一个障碍。使用llm可以将技术语言翻译成更自然和可访问的语言。

LLM可以根据所需的风格和细节水平，使用提更简单的单词或示例来帮助解释复杂术语或概念的含义，这可以使信息对任何人都更具吸引力和可理解性。

知识图谱是在图结构中组织信息的一种方式，其中实体及其关系表示为节点和边。这使得存储和访问信息比使用传统文本格式更容易。知识图谱可以独立于任何大型语言模型(llm)构建，并且知识图谱也可以从llm的功能中受益。

![在这里插入图片描述][6cfdd32b5b57478cba1d8a4169a382da.png]

要创建知识图谱，需要从数据源(如pdf)中提取实体和关系，并将它们插入图数据库中。llm可以帮助完成这项任务，通过生成代码将数据插入到数据库中。

![在这里插入图片描述][b838e83dab824f24b35981416573b35d.png]

llm还可以帮助使用自然语言查询知识图谱，以简单易懂的方式解释结果。通过这种方式，用户可以使用文本与数据进行交互，并从知识图中获得事实和相关的答案。

LLM可以从提供的上下文中使用更简单的单词或示例来帮助解释复杂术语或概念的含义

敏感数据  
还记得三星的问题吧，工程师的一些机密源代码被意外上传到ChatGPT，

你一直觉得，这种风险仅适用于使用OpenAI网站上的免费ChatGPT界面。其实任何被称为“免费”的东西都可能以某种方式获得投资回报。比如使用你的信息来改进模型。一个稍微好一些的选择是通过API使用付费LLM服务，该服务不会使用任何敏感数据进行再训练。

显示现在就好很多了，有许多替代ChatGPT的方法。比如Falcon、Llama、Palm或其他性能与ChatGPT相似甚至更好的模型。我们还可以根据自己的具体需求定制自己的模型或解决方案。  
![在这里插入图片描述][7920c10bb6b84382af836470d08c248c.png]

通过托管自己的LLM，可以确保它仅用于预期目的，并且可以在将来需要时对其进行重新训练。还可以探索通过使用这些模型生成的数据，以改进您的业务。例如，查看向模型提出的最重要的问题，可以创建更好的业务解决方案并从中获利。

有了开源的基础模型，我们可以搭建自己的LLM，并且随时调整训练。

部分还是全部  
这里我们以推荐系统为例：

推荐系统是一种基于某些标准推荐项目或操作的系统。例如，Spotify使用你的收听历史和偏好来为你创建个性化的播放列表。你可以把它想象成根据其他人的喜好推荐音乐，这可能与你的喜好相匹配。

LLM也可以做到这一点，通过嵌入来衡量两个信息片段之间的相似性或差异性，比如一个问题和一个答案。但是如果我们只把LLM简化到这个程度（只生成嵌入），那么推荐系统不是要更简单吗，而且推荐系统能够得到更准确的结果，需要的资源还更少。

那我们为什么要用LLM来做这个呢？

找到对任何给定问题的最准确的回答，然后解释为什么它是一个好的匹配，这是推荐引擎无法做到的。嵌入不仅可以对文本做同样的事情，还可以对任何来源做同样的事情;从音频到图像。推荐系统需要额外的组件来处理和标记这些类型的信息。

所以这是一种种特殊情况，我们的推荐需要音频你和图像吗？所以在使用前需要评估要解决的问题否需要LLM所能提供的所有功能，或者是否可以用更传统的方式解决问题。（其实上面的音频和图像只要增加几个模型就可以了，投入远远要比使用LLM低很多）

如果只用了LLM的一少部分功能，那么肯定有比他更好的更传统的解决方案

总结  
LLM不仅仅是一种炒作，它们其实是一种强大而通用的技术，可以实现业务目标并提高客户满意度。但是LLM并不是灵丹妙药，使用时尤其需要需要仔细规划、评估和优化，以确保其有效性和效率。

如果你打算以正确的方式将llm整合到业务中，记住:

[https_avoid.overfit.cn]: https://avoid.overfit.cn/post/6280016cc99749aa827c8841e6e83da2
[6cfdd32b5b57478cba1d8a4169a382da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/11/732e6b2a5fa8473e8c0d1077d01e2d2c.png
[b838e83dab824f24b35981416573b35d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/11/3c5ed3806cc1463e80e2f0aba82c7c17.png
[7920c10bb6b84382af836470d08c248c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/11/c0833c9f0a684075bb1bd3b50a675adb.png