成都大数据开发培训，Hadoop学习之MapReduce

对于很多还没有接触或者刚刚了解MapReduce的同学，往往对它的概念还不是特别的清楚，那我今天就这个问题来为大家解答。（原创： 加米谷大数据-曾老师）


MapReduce并行计算思维讲解-视频版

 

文字版

      首先，学习大数据的同学都知道Hadoop，它包含了三大组件，分别是：HDFS、MapReduce以及Yarn。其中MapReduce是一个分布式计算模型，由Map和Reduce组成，是不是觉得很抽象？它到底是一个什么样的模型？或者说它到底有什么用呢？

      我们来看这幅图：

 

      大家可以看到，较左边有很多的图形，三角形、正方形以及六边形，每一个图形都有相应的颜色，我们现在的需求是：计算颜色和形状都相同的每种图案的个数？我们如何用MapReduce来计算呢？

      通过这个图可以看到，MapReduce分为两个阶段：Map阶段，Reduce阶段，其中Map阶段为映射，Reduce阶段是规约。

      是不是觉得太专业了？没关系我换一种说法。

      我们把Map看作一个人，这个人只做一件事，就是数数，一个一个的去数图形的个数，比如说：蓝色三角形一个，黄色正方形一个... 那Reduce干什么呢？就是汇总相同颜色和形状的每种图案的个数。经过Reduce汇总后，就能得到我们想要的答案。

全文前往加米谷大数据查看。

成都加米谷大数据培训机构，提供大数据开发、数据分析与挖掘等前言技术培训，个人培训、企业内训，11、课程由企业大数据总架构师、企业项目经理、国家大数据标准组*等联合研发，保证课程的*性，贴合企业用人需求。

10月下旬大数据开发新课开课在即，想要学习大数据开发，Hadoop、spark、storm等技术的童鞋赶紧加米谷大数据老师，进行实地考察和试听。免费试听课程领取。