MIT_6.824:PA1-MapReduce
由于最近事情比较多,但是又想刷一下6.824的实验,慕名已久了,于是就看了一下实验手册和大佬分享的代码。在这里写了一点自己的个人感悟。
什么是MapReduce分布式计算的核心就是有一个主节点,驱动若干个副节点进行计算。MapReduce是一种非常特殊的分布式计算策略,因为所有的副节点都会执行相同的map操作和reduce操作。map操作和reduce操作之间是有一个barrier,做完map才能做reduce。map和reduce操作都可以自己人为定义的。但是需要满足一个条件。map操作需要收集若干条数据,生成若干条key-value对,reduce操作负责合并这些key-value对。对于...
more...