MOSS模型结构

川长思鸟来 2023-09-27 19:07 118阅读 0赞

MOSS模型结构

""" PyTorch Moss model."""
    
    from typing import Optional, Tuple, Union
    
    import torch
    import torch.utils.checkpoint
    from torch import nn
    from torch.nn import CrossEntropyLoss
    import transformers
    from transformers.activations import ACT2FN
    from transformers.modeling_utils import PreTrainedModel
    from transformers.modeling_outputs import BaseModelOutputWithPast, CausalLMOutputWithPast
    from transformers.utils import (
        add_code_sample_docstrings, 
        add_start_docstrings, 
        add_start_docstrings_to_model_forward, 
        logging
    )
    
    from .configuration_moss import MossConfig
    
    logger = logging.get_logger(__name__)
    
    _CHECKPOINT_FOR_DOC = "fnlp/moss-moon-003-base"
    _CONFIG_FOR_DOC = "MossConfig"
    
    
    MOSS_PRETRAINED_MODEL_ARCHIVE_LIST = [
        "fnlp/moss-moon-003-base",
        "fnlp/moss-moon-003-sft",
        "fnlp/moss-moon-003-sft-plugin",
        "fnlp/moss-moon-003-sft-

发表评论取消回复

表情：

评论列表（有 0 条评论，118人围观）

还没有评论，来说两句吧...

相关阅读

相关大语言模型工程化服务系列之二--------MOSS微调数据清洗转换脚本

MOSS微调数据清洗转换脚本目前市面上的大模型微调开源项目数据格式都是三段式的，但是不适用于MOSS模型微调，今天给大家分享一个转换脚本 -------------

我不是女神ヾ/ 2024年03月16日 13:27/ 0 赞/ 39 阅读

相关 MOSS模型结构

MOSS模型结构 """ PyTorch Moss model.""" from typing import Optional, Tuple, Un

川长思鸟来/ 2023年09月27日 19:07/ 0 赞/ 119 阅读

相关领域模型的模型结构

common层通用工具层 domain层定义抽象的领域模型，抽象领域的能力和entity， resource层提供具体的领域层的实现类，外部接口、表

心已赠人/ 2022年09月07日 05:56/ 0 赞/ 208 阅读

相关 MOSS同步AD账户(三)

假如您的公司新入职了员工，部门经理或管理员向AD中加入了新员工的信息，那么怎么把新员工的账户同步到MOSS中呢？方法有2种，第一种方法是直接用代码开发实现，这种方法对于了解MO

￡神魔★判官ぃ/ 2022年04月03日 04:40/ 0 赞/ 249 阅读

相关使用cmd命令，加快moss开发

使用Visutal Studio 进行 MOSS（WSS）开发的过程中(如开发webpart，eventHandler，pageClass，customField)，我们经常做

客官°小女子只卖身不卖艺/ 2022年04月01日 11:42/ 0 赞/ 88 阅读

相关 MOSS SDK学习笔记系列文章

MOSS是微软的一个门户等的产品，提供了很多SDK供调用在此记录我学习的过程，作为自己的一个总结。(本系列会不断更新) 1、[MOSS SDK学习(1)：Wi

落日映苍穹つ/ 2022年02月02日 07:29/ 0 赞/ 168 阅读

相关小心MOSS日志文件膨胀

最近为了项目的需要，在我本已不堪重负的本本上装了个AD和MOSS。MOSS装的是2007 SP1，然后打上了好几百兆的补丁，用了一下还勉强可以使用，就只有把本本作为MOSS的开

迷南。/ 2022年01月26日 12:23/ 0 赞/ 201 阅读

相关 MOSS2007最终用户培训资料

从博客堂里看来的信息，拿这里摆一下，这个培训资料是微软发布的免费培训资料，不过我还没有下载看过这几天忙着解决MOSS项目中的问题，看这个资料还需要安装一个叫SharePo

深藏阁楼爱情的钟/ 2022年01月06日 15:35/ 0 赞/ 193 阅读

相关 WebPart of MOSS 2007

new project location and new name(EWAPlus) Solution\\Property\\Application assembl

以你之姓@/ 2021年11月29日 13:26/ 0 赞/ 214 阅读

相关 MOSS 工作流无法工作

　　这段时间一直在学习MOSS，上次公司打算搞一套协同办公司的系统，为此我就推荐了MOSS，说干就干，在WIN2008 X64上装了MOSS，刚开始还是可以，后来在学习到

た入场券/ 2021年11月02日 04:16/ 0 赞/ 348 阅读