基于Python实现的负载均衡模拟（语言类综合项目实践）

墨蓝 2024-04-01 13:57 39阅读 0赞

目录  
目录 1  
语言类综合项目实践报告 2

1.  课程设计目的 2
2.  课程设计任务 2
3.  负载均衡的设计 3  
    3.1. 负载均衡系统的整体设计 3  
    3.2. 基于动态性能指标的负载均衡系统的设计 5  
    3.2.1. 计算节点服务器的设计 5  
    3.2.2. 负载均衡器的设计 7  
    3.2.3. 客户端的设计 8
4.  负载均衡的实现 9  
    4.1. 计算节点服务器的实现 9  
    4.1.1. 节点CPU使用率获取模块 9  
    4.1.2. 心跳包发送模块 10  
    4.1.3. 任务接收返回模块 10  
    4.1.4. 任务处理模块 11  
    4.2. 负载均衡器的实现 11  
    4.2.1. 节点服务器状态相关数据结构 11  
    4.2.2. 日志记录模块 12  
    4.2.3. 服务器管理模块 12  
    4.2.4. 服务器心跳包接收模块 14  
    4.2.5. 任务接收转发调度模块 16  
    4.3. 客户端的实现 17  
    4.3.1. 任务选择模块 17  
    4.3.2. 任务发送模块 18
5.  测试 19  
    5.1. 打开所有机器，根据实际情况调整程序中的IP地址 19  
    5.2. 先运行机器3、4、5的服务器程序 20  
    5.3. 运行机器2的负载均衡程序 21  
    5.4. 调整机器1中程序需要同时运行线程数后打开客户端程序 21  
    5.5. 运行1分钟查看结果 22  
    下图5.6为机器2运行负载均衡程序情况截图 22  
    5.6. 查看日志 22
6.  总结 25  
    2.课程设计任务  
    本文设计并使用Python语言实现了一个用来构建高并发、高可用、合作式的反向代理负载均衡模拟系统，该系统包括负载均衡服务器、多个模拟客户端、多个模拟服务器。实现了对多并发负载的动态合理的均衡。  
    本文的创新性主要有以下几点：  
    1、 利用Python语言搭建起集群的通信和信息分发系统，利用Python语言的丰富的多线程和网络编程库实现高并发的负载均衡程序。  
    2、 采用心跳包与服务器信息相结合的方式并采用UDP方式以减轻负载均衡器和服务器的处理压力，心跳包不但能够作为判断服务器存活的依据，而且能为动态均衡算法提供数据。  
    3、 考虑到动态负载均衡的实现，综合了易于实现而且性能优良的常见的负载均衡调度策略，提出以“单位时间任务的到达数/单位时间任务的完成数”、“CPU利用率\*连接数”作为负载指标，并对负载均衡调度算法做了改进。  
    4、 使用代理服务器技术将请求均匀转发给多台内部Web服务器之一上，从而达到负载均衡的目的。可以将负载均衡和代理服务器的高速缓存技术结合在一起，提供有益的性能，具备额外的安全性，外部客户不能直接访问真实的服务器。并且实现起来可以实现较好的负载均衡策略，将负载可以非常均衡的分给内部服务器，不会出现负载集中到某个服务器的偶然现象。  
    3.负载均衡的设计  
    3.1.负载均衡系统的整体设计  
    本节结合的特点，论述了负载均衡系统的总体设计方案与步骤，简化了负载均衡系统模型，使系统的实现更加简洁明了。  
    1233.1 负载均衡器的实现方式为：将网络服务的地址（如公网IP地址、TCP套接字等）部署在负载均衡器上，将负载均衡器作为网络服务的总入口，接收客户端的所有访问请求。负载均衡器受到用户的访问请求后，将访问请求按照一定的策略分发给某一台真实的服务器进行处理。真实服务器对访问请求处理后，本文转载自http://www.biyezuopin.vip/onews.asp?id=16986将处理结果返回给负载均衡器，负载均衡器受到真实服务器的处理结果，将它返回给客户端。  
    下图3.1展示了一个负载均衡系统的组网结果，图中包含了4台客户端，1台负载均衡器，4台真实的计算节点服务器。公网IP配置在负载均衡器上，负载均衡器与计算节点服务器之间，则通过私网地址进行通讯。  
    ![在这里插入图片描述][c3c6c447181642babfe59ab6d8fc2adb.png]

图3.1负载均衡系统

'''
    Created on Jun 10, 2014
    
    @author: luoding
    '''
    import socket
    import random
    import threading
    import time
    import traceback
    
    taskNum = (1,3)
    host = 'localhost'  
    port = 8080 
    bufsize = 1024  
    addr = (host,port) 
    rate = 0.1
    
    def choice_task():
        '''任务选择，暂时以随机数代替'''
        return random.randint(1,3)
    
    class Client(threading.Thread):
        def __init__(self):
            threading.Thread.__init__(self) 
    
        def run(self):
            client = socket.socket(socket.AF_INET,socket.SOCK_STREAM)  
            client.connect(addr)  
            while True:
                try:  
                    data = choice_task()  
                    if not data or data=='exit':  
                        break  
                    print 'Send task',data
                    client.send(str(data))  
                    data = client.recv(bufsize)  
                    if not data:  
                        break  
                    print data.strip()  
                except:
                    traceback.print_exc()
                    break
                
            client.close() 
    
         
    if __name__ == '__main__':
        for i in range(1) :
            t = Client()
            t.start()
            time.sleep(rate)

![在这里插入图片描述][8520c6a014ad4ee3a3eeb664a32f9d06.png_pic_center]  
![在这里插入图片描述][befbf9e2f12640b7baeb5d3f70239e54.png_pic_center]  
![在这里插入图片描述][5404fc0d682e4874846a85dd5845bc0f.png_pic_center]  
![在这里插入图片描述][cdf61344110e4d259a31becebd56f8fa.png_pic_center]  
![在这里插入图片描述][85180d980e5c4105b7c052cdf7d8c421.png_pic_center]  
![在这里插入图片描述][e78b2e97476649759cf019d53e7e09a6.png_pic_center]  
![在这里插入图片描述][6709a75bf7a84e9a84e10851bdbec770.png_pic_center]  
![在这里插入图片描述][447ae19be9f24c4a95d183d7bf94531e.png_pic_center]  
![在这里插入图片描述][617c39e5e7f945feb7c6b0d057f40c3c.png_pic_center]  
![在这里插入图片描述][77e5942de35f4965b8914548e8340671.png_pic_center]  
![在这里插入图片描述][db8e812a53d149a28b33375605bb1405.png_pic_center]  
![在这里插入图片描述][b3da2972f2ac42509d275a73a0e86452.png_pic_center]  
![在这里插入图片描述][ea8d3c59f7154c179b633c577ff60a1c.png_pic_center]  
![在这里插入图片描述][cba85ec09ab945458bd6aeaf4cd95a58.png_pic_center]  
![在这里插入图片描述][b1de18ca2ed74b41b180386178818a43.png_pic_center]  
![在这里插入图片描述][69a66bc06868460797d627aaf6433812.png_pic_center]  
![在这里插入图片描述][1a2597089cc844309d66e9936244801a.png_pic_center]

[c3c6c447181642babfe59ab6d8fc2adb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ab14668263c946dba58abf9ccccfd5df.png
[8520c6a014ad4ee3a3eeb664a32f9d06.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/7bde83ed40264dd5bda07f48d97d029f.png
[befbf9e2f12640b7baeb5d3f70239e54.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/6c47c6ca528f4cb2bcc7f541d855098d.png
[5404fc0d682e4874846a85dd5845bc0f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/15f340bf0ccb4f2d9b67f8db2c8e9701.png
[cdf61344110e4d259a31becebd56f8fa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/de5ca5d080eb4766878d72a874245e4a.png
[85180d980e5c4105b7c052cdf7d8c421.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/92ddff576c9b401a9b88cf65be62383e.png
[e78b2e97476649759cf019d53e7e09a6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b79d15d42c06466899e8da42f55dd5b9.png
[6709a75bf7a84e9a84e10851bdbec770.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a6f33cc2e4e04b8ca3f6a576699fb22d.png
[447ae19be9f24c4a95d183d7bf94531e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b5880b99df6343fbb533791ada7cad9d.png
[617c39e5e7f945feb7c6b0d057f40c3c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2bfed1e6df104603b7558c8ead18f1cf.png
[77e5942de35f4965b8914548e8340671.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b6dcbb846fb949b2bbdf4080fe69af4c.png
[db8e812a53d149a28b33375605bb1405.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8ab4c46a8dfe4eadb2b16e5c8ffe3d13.png
[b3da2972f2ac42509d275a73a0e86452.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/6ee8645dcfdb4aa6bc3488f640fa9e08.png
[ea8d3c59f7154c179b633c577ff60a1c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/7d44fc5cbdce478d9cf332585ca548a0.png
[cba85ec09ab945458bd6aeaf4cd95a58.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b4307cc3d9c24ce0851ff1017a31b938.png
[b1de18ca2ed74b41b180386178818a43.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/18aeb8b769d84a3996665c5f78ec16dc.png
[69a66bc06868460797d627aaf6433812.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/6a1a083f8b084a42a17b2916936013ea.png
[1a2597089cc844309d66e9936244801a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/db796d57f97c409696476dae9fcf3e9a.png