python实现简易版本mapReduce

古城微笑少年丶 2022-03-08 11:20 229阅读 0赞

定义Cal类，通过map实现归类，reduce实现聚合。最后通过多线程演示了mapReduce计算过程。

from threading import Thread
    
    
    class Cal(object):
        def __init__(self, start, end):
            self.result = 0
            self.start = start
            self.end = end
    
        def map(self):
            for i in range(self.start, self.end):
                self.result += i
    
        def reduce(self, other):
            self.result += other.result
    
    
    def generate_worker(data):
        for index in range(1, len(data)):
            cal = Cal(data[index-1], data[index])
            yield cal
    
    def generate_threads(workers):
        for worker in workers:
            thread = Thread(target=worker.map)
            thread.start()
            yield thread
    
    
    def main():
        # [1, 11, 21, 31, 41, 51, 61, 71, 81, 91, 101]
        data = [item for item in range(1, 102, 10)]
    
        workers = list(generate_worker(data))
        threads = list(generate_threads(workers))
    
        for thread in threads:
            thread.join()
    
        start = workers[0]
        for worker in workers[1:]:
            start.reduce(worker)
    
        assert start.result == 5050
    
    
    if __name__ == '__main__':
        main()

发表评论取消回复

表情：

评论列表（有 0 条评论，229人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python实现简易采集爬虫

对于爬取网页上的数据，采集爬虫是一个非常常见的方法。在Python中，我们可以通过一些库（如Requests、BeautifulSoup、Scrapy等）轻松实现一个简易的采集

绝地灬酷狼/ 2024年02月28日 05:21/ 0 赞/ 53 阅读

相关 python 实现简易的学员管理系统

![在这里插入图片描述][8f75cf7beec54c1ca62357fe02705a3e.gif_pic_center] 文章目录前言基本思路

ゝ一纸荒年。/ 2023年10月13日 13:16/ 0 赞/ 90 阅读

相关 python用tkinter做简易计算器实验报告_Python Tkinter实现简易计算器功能

Python Tkinter实现简易计算器功能来源：中文源码网浏览：次日期：2018年9月2日【下载文档: Python Tkinter实现简易计算

港控/mmm°/ 2023年01月08日 08:14/ 0 赞/ 200 阅读

相关 Python实现简易版web服务器

1.Python实现简易版web服务器 coding = utf-8 import socket import re import th

末蓝、/ 2022年12月31日 02:27/ 0 赞/ 263 阅读

相关 python opencv实现简易画图板

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接：[好看站][Link 2] http://www.nrso.net

Love The Way You Lie/ 2022年12月23日 07:17/ 0 赞/ 166 阅读

相关 python hadoop mapreduce_python调用mrjob实现hadoop的mapreduce日志解析

咱们一般写mapreduce是通过java和streaming来写的，身为pythoner的我， java不会，没办法就用streaming来写mapreduce日志分析。

落日映苍穹つ/ 2022年10月25日 11:28/ 0 赞/ 131 阅读

相关大数据处理 — mapreduce的简易见解

大数据处理 — mapreduce的简易见解 MapReduce是一种编程模型，用于大规模数据集的并行运算. 概念 Map(映射)

怼烎@/ 2022年05月30日 03:56/ 0 赞/ 259 阅读

相关 Python实现的简易笔记本

这个笔记本是以OO组织开发的，所以阅读起来应该没有多大难度主要的要点有如下几点 ① 使用wxPython进行GUI的开发 ② 使用win32ui这个Python模

刺骨的言语ヽ痛彻心扉/ 2022年05月26日 06:53/ 0 赞/ 216 阅读

相关 python实现简易版本mapReduce

定义Cal类，通过map实现归类，reduce实现聚合。最后通过多线程演示了mapReduce计算过程。 from threading import Thread

古城微笑少年丶/ 2022年03月08日 11:20/ 0 赞/ 230 阅读

相关 Python实现简易购物车(未完结)

使用Python完成购物车功能需求: 　　1.让用户输入金额　　2.选择要购买的商品,加入购物车　　3.当商品的总价超过了你的金额

待我称王封你为后i/ 2021年11月23日 05:12/ 0 赞/ 285 阅读