【DEVOPS】借助SvnChecker实现SVN提交日志规范的落地

r囧r小猫 2023-01-03 15:29 180阅读 0赞

> 借助SvnChecker实现对研发人员提交日志的格式进行强制检查，从根源确保格式的一致性和规范的落地，培养团队思维惯性，降低沟通交流成本。

### 0. 目录 ###

*   *   *  1. 前言
         *  2. 实现
         *  3. 效果
         *  4. 优化(20210901)
         *  5. FIX-BUG
         *  6. 最后
         *  5. Links

### 1. 前言 ###

本文将要介绍的是如何实现对研发人员提交日志的格式进行强制检查，从根源确保格式的一致性和规范的落地，培养团队思维惯性，降低沟通交流成本。

正如标题所言，所介绍的方案依然是以SvnChecker这一款组件为基础依托，所以相较于实现方案的介绍，本文更想传达的是一种思路 —— **尽可能地借助工具提供的扩展将那些原来枯燥乏味，需要人工介入的操作交由机器来完成，实现团队规则固化在流程中，进而确保规则的落地和知识分享**。

惯例：为什么不用GitLab？ 一言难尽！

### 2. 实现 ###

关于实现思路，其实阅读过笔者的DevOps专栏的读者应该能够猜到，是的，依然是 Svn-PreCommit + SvnChecker 来实现，比较详细的思路介绍可以参考 [【DevOps】SVN集成PMD实现代码自动静态检查][DevOps_SVN_PMD] ，以下我们将只关注与本文问题有关的部分。

按照思路，顺理成章地我们需要基于SvnChecker新建一个进行日志格式检查地python文件，例如`CommitMsgFormatRestrain.py` 。

#! /usr/bin/env python
    #coding=utf-8
    
    import datetime
    
    # 中文冒号
    COLON = "："
    
    def run(transaction, config):
        # 咱们的SVN服务器是在Windows上, 默认编码gbk
        # 注意这里我们修改了svnChecker的源代码, 新增了一个 getCommitMsgWithLinesep() 方法, 默认 svnchecker是以 "" 进行提交日志的拼接, 但按照我们的日志格式需求是无法满足的.
        commitMsg = transaction.getCommitMsgWithLinesep().decode("gbk").encode("utf-8")  # getCommitMsg
        userId = transaction.getUserID()
        reversion = transaction.getRevision()
        # 
        return _analysisCommitMsg(commitMsg)
    
    def _analysisCommitMsg(commitMsg):
        commitMsgBylines = commitMsg.splitlines(False)
        if(len(commitMsgBylines) < 3):
            return (_formatErrorInfo("日志的行数不足"), 1)
    
        for commitMsgline in commitMsgBylines:
            if len(commitMsgline.split(COLON)) != 2:
                return (_formatErrorInfo("每行日志必须以中文的 ：进行分隔, 且只允许出现一次"), 1)
        # 以下其实更适合以 正则表达式 来完成, 但限于工期原因这里我们先采用字符串切割的方式
        firstLine = commitMsgBylines[0].strip()
        if firstLine.startswith("【禅道ID】"):
            return _template1(commitMsgBylines)
        elif firstLine.startswith("【提交类型】"):
            return _template2(commitMsgBylines)
        else:
            return (_formatErrorInfo("目前不存在该类日志模板, 请核对"), 1)
    
    def _template1(commitMsgBylines):
        ''' 模板一：针对禅道的bug修改 【禅道ID】：(必填） 【修改人】：（必填） 【修改内容】：（必填） 当然如果禅道数据库里能根据账号之类的查到人那就可以不用了 '''
    
        firstLine = commitMsgBylines[0].strip()
        secondLine = commitMsgBylines[1].strip()
        thirdLine = commitMsgBylines[2].strip()
    
    
        # 第一行
        items = firstLine.split(COLON)
        zentaoId = items[1].strip()
        if "#" not in zentaoId:
            return (_formatErrorInfo("禅道id格式有误, 形如 task#12345 / bug#12345 / story#12345"), 1)
        
        zentaoType = zentaoId.split("#")[0]
        if zentaoType not in ["task", "bug", "story"]:
            return (_formatErrorInfo("禅道id格式有误, 可选项: task / bug / story"), 1)
        
        # 第二行
        items = secondLine.split(COLON)
        if not items[0].strip().startswith("【修改人】"):
            return (_formatErrorInfo("【修改人】格式有误"), 1)
    
        userId = items[1].strip()
        if len(userId) == 0 :
            return (_formatErrorInfo("【修改人】格式有误, 请填入修改人"), 1)
    
        # 第三行
        items = thirdLine.split(COLON)
        if not items[0].strip().startswith("【修改内容】"):
            return (_formatErrorInfo("【修改内容】格式有误"), 1)
    
        description = items[1].strip()
        if len(description) == 0 :
            return (_formatErrorInfo("【修改内容】格式有误, 请填入修改内容说明"), 1)
    
        # 20210901新增, 确保用户填入的zentao id真实存在
        if(not _existIdInZentao(firstLine)):
            return (_formatErrorInfo("不存在该zentao ID, 请确认"), 1)
    
        return ("", 0)
    
    def _template2(commitMsgBylines):
        ''' 模板二：通用提交。只限制信息表头格式，具体内容不做限制 【提交类型】：（必填）新需求/代码整理/逻辑优化...... 【问题描述】：（必填） 【修改内容】：（必填） '''
        firstLine = commitMsgBylines[0].strip()
        secondLine = commitMsgBylines[1].strip()
        thirdLine = commitMsgBylines[2].strip()
    
        # 第一行
        items = firstLine.split(COLON)
        commitType = items[1].strip()
        if commitType not in ["feat", "fix", "docs", "style", "refactor", "test", "chore", "undefined"]:
            return (_formatErrorInfo("【提交类型】格式有误, 可选项: feat-新功能(feature), fix-修补bug, docs-文档(documentation), style-格式(不影响代码运行的变动), refactor-重构(即不是新增功能，也不是修改bug的代码变动), test-增加测试, chore-构建过程或辅助工具的变动"), 1)
        
        # 第二行
        items = secondLine.split(COLON)
        if not items[0].strip().startswith("【问题描述】"):
            return (_formatErrorInfo("【问题描述】格式有误"), 1)
    
        problemDescription = items[1].strip()
        if len(problemDescription) == 0 :
            return (_formatErrorInfo("【问题描述】格式有误, 请填入问题描述说明"), 1)
    
        # 第三行
        items = thirdLine.split(COLON)
        if not items[0].strip().startswith("【修改内容】"):
            return (_formatErrorInfo("【修改内容】格式有误"), 1)
    
        description = items[1].strip()
        if len(description) == 0 :
            return (_formatErrorInfo("【修改内容】格式有误, 请填入修改内容说明"), 1)
    
    	# 20210901新增, 确保用户填入的zentao id真实存在 
        if(not _existIdInZentao(firstLine)):
            return (_formatErrorInfo("不存在该zentao ID, 请确认"), 1)
    
        return ("", 0)
    
    
    def _formatErrorInfo(errorInfo):
        return ("日志格式存在问题: " + errorInfo).decode("utf-8").encode("gbk")
    	
    def writeErrorLog(errorInfo):
        import datetime
        filename = "{rootPath}/svnCommitMsg-Error-%s.log" % (datetime.datetime.now().strftime("%Y_%m_%d"))
        with open(filename, 'a') as file_object:
            # 我们的SVN服务器为Windows版本, 默认编码为GBK
            file_object.write(datetime.datetime.now().strftime("%H:%M - %d.%m.%Y") + " : " + errorInfo.decode("utf-8").encode("gbk") + "\n")

以上脚本基本就是所有的扩展内容了，之后只需要按照svnchecker的启用要求来进行相应配置即可，详细说明可参见本小节中给出的参考链接，

### 3. 效果 ###

1.  日志格式不符合要求。  
    ![违反模板2][2]
2.  提交日志中填入的Zentao ID未真实存在。  
    ![在这里插入图片描述][ac45d9b391b94ad995c952a432205a41.png]

### 4. 优化(20210901) ###

为了进一步规范化SVN的提交记录，我们还需要判断用户所填入的ID是否真实存在于Zentao中，所幸Zentao的优秀设计让这一步的实现相当简单。

// firstLineOfMsg用户所提交日志的第一行
    def _existIdInZentao(firstLineOfMsg):
        arr = firstLineOfMsg.split(" ")[0].split(":")
        type = arr[0]
        id = arr[1]
        return zentao(type, id)
    
    
    BASE_URL="http://xxx.zz.ccc.mm/zentao"
    PASSWORD=r"CCCCCC"
    
    def zentao(type, id):
        sessionResult = zentao_getSessionInfo()
        sessionName = sessionResult["sessionName"]
        sessionID = sessionResult["sessionID"]
        rand = sessionResult["rand"]
        zentao_userLogin(sessionResult)
        return zentao_checkIfExistId(type,id,sessionID)
    
    def zentao_getSessionInfo():
        response = urlopen('{}/api-getSessionID.json'.format(BASE_URL))
        #print(type(response.read()))
        #print(type(response.read().decode("UTF-8")))
        #print(json.loads(response.read().decode("UTF-8"))["data"])
        sessionResult = json.loads(response.read().decode("UTF-8"))["data"]
        return json.loads(sessionResult)
    
    def zentao_userLogin(sessionResult):
        response = urlopen('{}/user-login.json?account=luoqi&password={}&{}={}'.format(BASE_URL,PASSWORD,sessionResult["sessionName"],sessionResult["sessionID"]))
        result = json.loads(response.read().decode("UTF-8"))
        if(result["status"] == "failed"):
            raise Exception(result["reason"])
        else:
            pass
    
    def zentao_checkIfExistId(type, id,sessionID):
        response = urlopen('{}/{}-view-{}.json?zentaosid={}'.format(BASE_URL, type, id, sessionID))
        result = response.read().decode("UTF-8")
        #print(result)
        return not ("fail" in result and "back" in result)

### 5. FIX-BUG ###

1.  当SVN路径中存在中文的时候（形如`trunk/北京/北京/阿里巴巴/淘宝/Xxxx.java`），校验功能失效。
    
    问题出现的原因： 此时SvnChecker抓取到的路径形如`trunk/{U+5E7F}{U+4E1C}/{U+6885}{U+5DDE}/{U+4E00}{U+7A97}/Xxxx/Xxxx.java`，即中文字符被转换为了Unicode编码，导致SvnChecker内置的正则匹配失败，导致SvnChecker认为没有文件需要检测，因此不会触发对应的。
    
    解决方案： `./modules/Transaction.py`文件中加入如下代码：
    
        # ./modules/Transaction.py 文件
        def getFiles(self, checkList=[".*"], ignoreList=[]):
            output = self.__executeSVN("changed", split=True)
            files = { }
            for entry in output:
                attributes = entry[0:3].strip()
                filename = entry[4:].strip()
                # 以下即为新增的代码: 发现是中文之后, 进行unicode解码之后再进行之后的处理
                if "{U+" in filename:
                    filename = filename.replace("{U+","\\u").replace("}", "").encode('utf8').decode('unicode_escape')
        
        		...... 省略接下来的代码

### 6. 最后 ###

1.  以上脚本还有很多可以优化的细节， 例如对于提交内容长度的限制，所提交的禅道id是否存在的判断(截至20210901, 此需求已经实现)等等。关于这一块欢迎有兴趣的读者留言，大家一起交流。
2.  本规范门禁最终也只能做格式规范，无法触及内容。对于提交日志内容质量的把控还是只能靠我们自己，需要人工的介入，这也符合经典的二八原则。
3.  另外我们这里是新建了专门的扩展文件来进行日志格式的规范性验证。因为按照基本的设计原则，将日志格式的规范性验证和基于日志内容进行的扩展分开，也是符合人类大脑的思维方式，相较于“将校验和扩展纠缠在一起”，这种形式更能降低人们阅读和理解代码时候的心智负担。

### 5. Links ###

1.  [git commit 规范指南][git commit]
2.  [如果让你制定代码提交规范（Git工具），你会怎么做？][Git]
3.  [【DEVOPS】快速实现SVN向zentao的流程打通][DEVOPS_SVN_zentao]

[DevOps_SVN_PMD]: https://blog.csdn.net/lqzkcx3/article/details/103958695
[2]: /images/20221119/b699038c161c4ddb8b26ca95445f1ed9.png
[ac45d9b391b94ad995c952a432205a41.png]: https://img-blog.csdnimg.cn/ac45d9b391b94ad995c952a432205a41.png
[git commit]: https://www.jianshu.com/p/201bd81e7dc9
[Git]: https://juejin.cn/post/6844903760876011528
[DEVOPS_SVN_zentao]: https://blog.csdn.net/lqzkcx3/article/details/112008323