大数据Hadoop环境网络特性_数据挖掘

大数据Hadoop环境网络特性

Hadoop集群中的各节点通过网络连接起来，而且MapReduce中的以下过程会在网络中传输数据。

（1） 写数据。当向HDFS写入初始数据或者大块数据时，会发生数据写入过程。写入的数据块需要备份到其他节点，需要在网络中传输这些数据。

（2） 作业执行。

1） Map阶段。在算法的Map阶段，几乎不需要在网络中传输数据。在Map开始阶段，当HDFS数据没有本地性（数据块不在本地存储，需要从其他节点拷贝）时，才需在网络中传输数据。

2） Shuffle阶段。这是作业执行中在网络中传输数据的阶段，数据传输的程度依赖于作业。Mapper阶段的输出内容，会在这个时候传输到Reducer进行排序。

3） Reduce阶段。因为Reducer需要的数据已经从Shufle阶段传来，所以此阶段不需要网络传输数据。

4） Output复制。MapReduce的输出作为文件存储在HDFS上。当将输出结果写入HDFS时，产生的备份会在网络中传输。

（3） 读数据。当应用程序如网站、索引或者SQL数据库从HDFS读取数据时，会发生数据读取的过程。

另外，网络对Hadoop的控制层非常重要，比如HDFS的信令和运维操作，以及MapReduce架构都受到网络影响。

五种网络特性

针对Hadoop集群环境下的网络环境进行测试，测试结果显示，一个有弹性的网络对Hadoop集群非常重要；对Hadoop集群具有重要影响的网络特性，以其影响程度从大到小依次排序为：网络可用性和弹性、Burst流量突发处理和队列深度、网络过载比、Datanode网络接入和网络延迟。

（1） 网络可用性和弹性。要部署一个高冗佘性和可扩展的网络，支持Hadoop集群的增长。在Datanode之间部署多条链路的技术要比那些有单点失效或两点失效的技术要好。交换机和路由器已经在业界被证明能够为服务器提供网络可用性。

（2） Burst流量突发处理和队列深度。HDFS的有些操作和MapReduce Job会产生突发流量，如向HDFS加载文件或者把结果文件写入HDFS都需要通过网络。网络如果处理不了突发流量，就会丢弃数据包，所以适当的缓存可以缓解突发流量的影响。确保选择使用缓存和队列的交换机和路由器，来有效处理流量突发。

（3） 网络过载比。一个好的网络设计需要考虑到网络中关键节点的拥塞情况。一个ToR交换机从服务器接收20Gbps的数据，但是只有2个1Gbps的上联口会造成数据包丢失（10:1的过载比），严重影响集群的性能。过度配置的网络的价格又非常昂贵。一般情况下，服务器接入层可以接受的过载比在4:l左右，接入层和汇聚层之间，或者核心层的过载比在2:l左右。

（4） Datanode网络接入。要基于集群工作负荷来推荐带宽配置。一般集群中的节点有1到2根1GB的上联12.是否选择10Gbps的服务器要权衡价格和性能。

（5） 网络延迟。交换机和路由器延迟的变化对集群性能的影响有限。相比网络延迟，应用层延迟对任务的影响比例更大。但是网络的延迟会对应用系统造成潜在的影响，例如造成不必要的应用切换等。

转载请注明：数据分析 » 大数据Hadoop环境网络特性_数据挖掘