LangChain入门(三)-对超长文本进行总结

我不是女神ヾ 2024-03-22 11:34 15阅读 0赞

[GitHub - liaokongVFX/LangChain-Chinese-Getting-Started-Guide: LangChain 的中文入门教程LangChain 的中文入门教程. Contribute to liaokongVFX/LangChain-Chinese-Getting-Started-Guide development by creating an account on GitHub.![icon-default.png?t=N7T8][icon-default.png_t_N7T8]https://github.com/liaokongVFX/LangChain-Chinese-Getting-Started-Guide][GitHub - liaokongVFX_LangChain-Chinese-Getting-Started-Guide_ LangChain _LangChain _. Contribute to liaokongVFX_LangChain-Chinese-Getting-Started-Guide development by creating an account on GitHub._icon-default.png_t_N7T8_icon-default.png_t_N7T8_https_github.com_liaokongVFX_LangChain-Chinese-Getting-Started-Guide]

#### 一、问题：文本超长会超出限制 ####

这时，我们一般会进行对文章进行分段，比如通过 tiktoken 计算并分割，然后将各段发送给 api 进行总结，最后将各段的总结再进行一个全部的总结。

接下来我们使用 LangChain来帮我们处理

#### 二、安装依赖 ####

pip install unstructured

![fd181cdac59c4cf593edf331613c7bfd.png][]

pip install pdfplumber

![e519db9be59249a2874369476b5a0ba7.png][]

#### 三、使用案例 ####

准备一个超长问题：b.txt

import os
    
    from langchain.document_loaders import UnstructuredFileLoader
    from langchain.chains.summarize import load_summarize_chain
    from langchain.text_splitter import RecursiveCharacterTextSplitter
    from langchain import OpenAI
    
    # openAI的Key
    os.environ["OPENAI_API_KEY"] = '**********'
    # 谷歌搜索的Key
    os.environ["SERPAPI_API_KEY"] = '**********'
    
    # 导入文本
    loader = UnstructuredFileLoader(fr"D:\a\program\pythonProject\b.txt")
    # 将文本转成 Document 对象
    document = loader.load()
    print(f'documents:{len(document)}')
    
    # 初始化文本分割器
    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=500,
        chunk_overlap=0
    )
    
    # 切分文本
    split_documents = text_splitter.split_documents(document)
    print(f'documents:{len(split_documents)}')
    
    # 加载 llm 模型
    llm = OpenAI(model_name="text-davinci-003", max_tokens=1500)
    
    """
    chain_type：chain类型
        stuff: 这种最简单粗暴，会把所有的 document 一次全部传给 llm 模型进行总结。如果document很多的话，势必会报超出最大 token 限制的错，所以总结文本的时候一般不会选中这个。
        map_reduce: 这个方式会先将每个 document 进行总结，最后将所有 document 总结出的结果再进行一次总结。
        refine: 这种方式会先总结第一个 document，然后在将第一个 document 总结出的内容和第二个 document 一起发给 llm 模型在进行总结，以此类推。这种方式的好处就是在总结后一个 document 的时候，会带着前一个的 document 进行总结，给需要总结的 document 添加了上下文，增加了总结内容的连贯性。
        这种一般不会用在总结的 chain 上，而是会用在问答的 chain 上，他其实是一种搜索答案的匹配方式。首先你要给出一个问题，他会根据问题给每个 document 计算一个这个 document 能回答这个问题的概率分数，然后找到分数最高的那个 document ，在通过把这个 document 转化为问题的 prompt 的一部分（问题+document）发送给 llm 模型，最后 llm 模型返回具体答案。
    """
    # 创建总结链
    chain = load_summarize_chain(llm, chain_type="refine", verbose=True)
    
    # 执行总结链，（为了快速演示，只总结前5段）
    chain.run(split_documents[:5])

![1c75fd6120c64a52ba569e656d8bbb24.png][]

#### 结尾、扫一扫下方微信名片即可+博主徽信哦 ↓↓ ↓↓ ↓↓ ↓↓ ↓↓ ↓↓ ↓↓ ↓↓ ↓↓↓ ####

[icon-default.png_t_N7T8]: https://csdnimg.cn/release/blog_editor_html/release2.3.6/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N7T8
[GitHub - liaokongVFX_LangChain-Chinese-Getting-Started-Guide_ LangChain _LangChain _. Contribute to liaokongVFX_LangChain-Chinese-Getting-Started-Guide development by creating an account on GitHub._icon-default.png_t_N7T8_icon-default.png_t_N7T8_https_github.com_liaokongVFX_LangChain-Chinese-Getting-Started-Guide]: https://github.com/liaokongVFX/LangChain-Chinese-Getting-Started-Guide
[fd181cdac59c4cf593edf331613c7bfd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/8fda6f877fdc49998f18ae35fb8f581a.png
[e519db9be59249a2874369476b5a0ba7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/49d1080450e742ee9cef9ebe622543f1.png
[1c75fd6120c64a52ba569e656d8bbb24.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/eda6ec560778444f984dda28213b2a3d.png