LLM-项目详解（一）：Chinese-LLaMA-Alpaca【run_clm_pt_with_peft.py文件】

ゝ一世哀愁。 2023-10-14 19:59 6阅读 0赞

scripts/training/run\_clm\_pt\_with\_peft.py

#!/usr/bin/env python
    # coding=utf-8
    # Copyright 2020 The HuggingFace Inc. team. All rights reserved.
    #
    # Licensed under the Apache License, Version 2.0 (the "License");
    # you may not use this file except in compliance with the License.
    # You may obtain a copy of the License at
    #
    #     http://www.apache.org/licenses/LICENSE-2.0
    #
    # Unless required by applicable law or agreed to in writing, software
    # distributed under the License is distributed on an "AS IS" BASIS,
    # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
    # See the License for the specific language governing permissions and
    # limitations under the License.
    """
    Fine-tuning the library models for causal language modeling (GPT, GPT-2, CTRL, ...) on a text file or a dataset.
    
    Here is the full list of checkpoints on the hub that can be fine-tuned by this script:
    https://huggingface.co/models?f

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关 LangChain入门(一)访问LLM模型

[GitHub - liaokongVFX/LangChain-Chinese-Getting-Started-Guide: LangChain 的中文入门教程LangChai

墨蓝/ 2024年03月22日 11:33/ 0 赞/ 51 阅读

相关 LLM-项目详解-KnowLM：信息抽取大模型

[GitHub - zjunlp/KnowLM: Knowledgable Large Language Models Framework.][GitHub - zjunlp_

快来打我*/ 2024年03月16日 20:23/ 0 赞/ 39 阅读

相关 LLM-项目详解-InstructKGC（一）：FineTuning ChatGLM With Lora【指令驱动的三元组抽取】

[DeepKE/example/llm/InstructKGC at main · zjunlp/DeepKE · GitHub][DeepKE_example_llm_Ins

淡淡的烟草味﹌/ 2024年03月16日 20:07/ 0 赞/ 49 阅读

相关 LLM-项目详解（一）：Chinese-LLaMA-Alpaca【run_clm_pt_with_peft.py文件】

scripts/training/run\_clm\_pt\_with\_peft.py !/usr/bin/env python coding=utf-8

ゝ一世哀愁。/ 2023年10月14日 19:59/ 0 赞/ 7 阅读

相关 LLM-项目详解（一）：Chinese-LLaMA-Alpaca【transformers/models/llama/modeling_llama.py文件】

site-packages/transformers/models/llama/modeling\_llama.py coding=utf-8 Copyr

爱被打了一巴掌/ 2023年10月14日 19:49/ 0 赞/ 13 阅读

相关 LLM-项目详解-Chinese-LLaMA-AIpaca（一）：LLM+LoRa微调加速技术原理及基于PEFT的动手实践：一些思考和mt0-large+lora完整案例

如何花费较少的算力成本来进行微调训练，十分重要，当前关于LLaMA、Alpaca、Instruct微调、LoRa微调等多个概念大家讲的很多，最近也在学习，也看到几个有趣的话题（

た入场券/ 2023年10月12日 15:53/ 0 赞/ 56 阅读

相关开源 LLM （大语言模型）整理（一）

Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。

叁歲伎倆/ 2023年10月12日 11:34/ 0 赞/ 17 阅读

相关 vue项目文件详解

![在这里插入图片描述][cf8a239be8874faa9fcb2c232ae5418c.png_pic_center] [cf8a239be8874faa9fcb2c2

比眉伴天荒/ 2023年10月04日 20:38/ 0 赞/ 54 阅读

相关 mybatis配置文件详解一

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE configuration PUBLI

布满荆棘的人生/ 2022年05月27日 04:00/ 0 赞/ 275 阅读

相关 eclipse项目中.classpath文件详解

1 前言在使用eclipse或者myeclipse进行java项目开发的时候，每个project（工程）下面都会有一个.classpath文件，那么这个文件究竟有什么作

落日映苍穹つ/ 2022年05月24日 04:44/ 0 赞/ 258 阅读