天天看點

Python實作一個最簡單的MapReduce程式設計模型WordCount

MapReduce程式設計模型:

  • Map:映射過程
  • Reduce:合并過程
import operator
from functools import reduce

# 需要處理的資料
lst = [
    "Tom",
    "Jack",
    "Mimi",
    "Jiji",
    "GoodMan"
]

# map過程:對每個資料進行處理,映射為字元串長度
lst = map(len, lst)
print(lst)  # <map object at 0x101b43c18>


# reduce過程:對所有map處理過的資料進行彙總
result = reduce(operator.add, lst)

print(result)  # 22