当前位置:首页 > 数据分析 > 正文

hadoop平台在大数据分析中的挑战

第一:运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战;第二:大数据处理和分析的能力远远不及理想中水平,数据量的快速增长,对存储技术提出了挑战;同时,需要高速信息传输能力支持,与低密度有价值数据的快速分析、处理能力。

挑战二:数据挖掘分析模型建立 步入大数据时代,人们纷纷在谈论大数据,似乎这已经演化为新的潮流趋势。 数据比以往任何时候都更加根植于我们生活中的每个角落。 我们试图用数据去解决问题、改善福利,并且促成新的经济繁荣。 人们纷纷流露出去大数据的高期待以及对大数据分析技术的格外看好。

每一个Hadoop数据节点的目标都必须实现CPU、内存、存储和网络资源的平衡。 如果四者之中的任意一个性能相对较差的话,那么系统的潜在处理能力都有可能遭遇瓶颈。 添加更多的CPU和内存组建,将影响存储和网络的平衡,如何使Hadoop集群节点在处理数据时更有效率,减少结果,并在Hadoop集群内添加更多的HDFS存储节点。