2024年9月hadoop的主要作用（大数据｜Hadoop简介及两大功能三大核心组件（二））
⑴hadoop的主要作用（大数据｜Hadoop简介及两大功能三大核心组件（二
⑵大数据｜Hadoop简介及两大功能三大核心组件（二
⑶为什么需要hadoop？在数据量很大的情况下，单机的处理能力无法胜任，必须采用分布式集群的方式进行处理，而用分布式集群的方式处理数据，实现的复杂度呈级数增加。所以，在海量数据处理的需求下，一个通用的分布式数据处理技术框架能大大降低应用开发难点和减少工作量。我们先来看这么一个例子：我们要从一个用户使用app的日志数据中统计每个用户搜索了哪些关键词，这个日志文件有G大，而我们的一个服务器只有G内存，很显然一台服务器无法干这活。那么我们的处理方案应该是这样，见图一：从图一我们知道，要顺利完成这么一个集群工作，它存在几个问题：要我们自己编写一个程序来处理以上的问题是极其复杂的，我曾经写过一个脚本完成“如何分发业务应用到集群的各台服务器上”这个问题，复杂度也是不小的。而hadoop却可以帮助我们处理上面的所有问题，我们只需要编写我们的业务程序即可。二、hadoop是什么？hadoop是用于处理（运算分析海量数据的技术平台，并且是采用分布式集群的方式。hadoop有两大功能：hadoop三大核心组件：hadoop两大使用角度：
⑷Hadoop：是什么，如何工作，可以用来做什么
⑸Hadoop主要是分布式计算和存储的框架，所以Hadoop工作过程主要依赖于HDFS(HadoopDistributedFileSystem)分布式存储系统和Mapreduce分布式计算框架。分布式存储系统HDFS中工作主要是一个主节点namenode(master)（hadoop.x只要一个namenode节点，.x中可以有多个节点和若干个从节点Datanode(数据节点)相互配合进行工作,HDFS主要是存储Hadoop中的大量的数据，namenode节点主要负责的是：、接收client用户的操作请求，这种用户主要指的是开发工程师的Java代码或者是命令客户端操作。、维护文件系统的目录结构，主要就是大量数据的关系以及位置信息等。、管理文件系统与block的关系，Hadoop中大量的数据为了方便存储和管理主要是以block块（M的形式储存。一个文件被分成大量的block块存储之后，block块之间都是有顺序关系的，这个文件与block之间的关系以及block属于哪个datanode都是有namenode来管理。Datanode的主要职责是：、存储文件。、将数据分成大量的block块。、为保证数据的安全，对数据进行备份，一般备份份。当其中的一份出现问题时，将由其他的备份来对数据进行恢复。MapReduce主要也是一个主节点JOPtracker和testtracker组成，主要是负责hadoop中的数据处理过程中的计算问题。joptracker主要负责接收客户端传来的任务，并且把计算任务交给很多testtracker工作，同时joptracker会不断的监控testtracker的执行情况。testtracker主要是执行joptracker交给它的任务具体计算，例如给求大量数据的最大值，每个testtracker会计算出自己负责的数据中的最大值，然后交给joptracker。Hadoop的主要两个框架组合成了分布式的存储和计算，使得hadoop可以很快的处理大量的数据。
⑹hadoop有三个主要的核心组件：HDFS（分布式文件存储、MAPREDUCE（分布式的计算、YARN（资源调度，现在云计算包括大数据和虚拟化进行支撑。在HADOOP（hdfs、MAPREDUCE、yarn大数据处理技术框架，擅长离线数据分析.Zookeeper分布式协调服务基础组件，Hbase分布式海量数据库，离线分析和在线业务处理。Hivesql数据仓库工具，使用方便，功能丰富，基于MR延迟大，可以方便对数据的分析，并且数据的处理可以自定义方法进行操作，简单方便。Sqoop数据导入导出工具，将数据从数据导入Hive，将Hive导入数据库等操作。Flume数据采集框架，可以从多种源读取数据。Azkaban对操作进行管理，比如定时脚本执行，有图形化界面，上传job简单，只需要将脚本打成bao，可直接上传。.hadoop的可以做离散日志分析，一般流程是:将web中的数据取过来【通过flume】，然后通过预处理【mapreduce,一般只是使用map就可以了】，就是将数据中没有用处的数据去除掉，将数据转换【比如说时间的格式，Agent的组合】，并将数据进行处理之后以固定格式输出，由Hive处理，Hive是作用是将数据转换出一个表，RTL就是写SQL的一个过程，将数据进行分析，然后将数据报表统计，这个时候使用的是pig数据分析【hive一般作为库，pig做分析，我没有使用pig，因为感觉还没有hive的HQL处理方便】，最后将含金量最大的数据放入到mysql中，然后将mysql中的数据变为可视图化的工具。推荐的使用：当我们浏览一各网页的时候，将数据的值值传递给后台保存到log中，后台将数据收集起来，hadoop中的fiume可以将数据拿到放入到HDFS中，原始的数据进行预处理，然后使用HIVE将数据变为表，进行数据的分析，将有价值的数据放入到mysql，作为推荐使用，这个一般是商城，数据的来源也是可以通过多种方式的，比如说隐形图片、js、日志等都可以作为采集数据的来源。.hadoop中的HDFS有两个重要的角色：NameNode、datanode，Yarn有两个主要的主角：ResourceManager和nodeManager..分布式：使用多个节点协同完成一项或者多项业务功能的系统叫做分布式系统，分布式一般使用多个节点组成，包括主节点和从节点，进行分析.mapreduce：是使用较少的代码，完成对海量数据的处理，比如wordCount，统计单词的个数。实现思想：将单词一个一个的遍历，然后将单词加处理，但是这是集群，那么就每个节点计算自己节点的数据，然后最后交给一个统计的程序完成就可以了，最后将单词和结果输出。
⑺hadoop是做什么的
⑻hadoop是做分布式系统基础架构。
⑼Hadoop是一个由Apache基金会所开发的分布式系统基础架构，一个能够对大量数据进行分布式处理的软件框架；Hadoop以一种可靠、高效、可伸缩的方式进行数据处理；用户可以在不了解分布式底层细节的情况下，开发分布式程序。
⑽用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
⑾Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost硬件上；而且它提供高吞吐量（highthroughput来访问应用程序的数据，适合那些有着超大数据集（largedataset的应用程序。HDFS放宽了（relaxPOSIX的要求，可以以流的形式访问（streamingaess文件系统中的数据。
⑿Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
⒀Hadoop主要有以下优点：
⒁高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
⒂高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
⒃高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
⒄低成本。与一体机、商用数据仓库以及QlikView、YonghongZ-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。
⒅Hadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。
⒆Hadoop和MapReduce究竟分别是做什么用的
⒇Hadoop是用来开发分布式程序的架构，是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。
⒈MapReduce是用来做大规模并行数据处理的数据模型。方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。
⒉Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。主要有以下几个优点??：
⒊高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖??。
⒋高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中?。
⒌高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快?。
⒍高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
⒎低成本。与一体机、商用数据仓库以及QlikView、YonghongZ-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。
⒏参考资料来源：百度百科-MapReduce
⒐参考资料来源：百度百科-Hadoop
⒑hadoop主要解决什么问题
⒒Hadoop实现了一个分布式文件系统，设计用来部署在低廉的硬件上；而且提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。
⒓Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。
⒔Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。
⒕Hadoop由许多元素构成。其最底部是HDFS，存储Hadoop集群中所有存储节点上的文件。HDFS的上一层是MapReduce?引擎，该引擎由JobTrackers和TaskTrackers组成。
⒖通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
⒗对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。但是HDFS的架构是基于一组特定的节点构建的，这是由它自身的特点决定的。
⒘这些节点包括NameNode（仅一个，它在HDFS内部提供元数据服务；DataNode，它为HDFS提供存储块。
⒙参考资料来源：百度百科-Hadoop
⒚个人理解：VMware等厂商的虚拟化技术在一个物理机上运行多个虚拟机，hadoop是通过分布式集群技术，将多个物理机或虚拟机当作一台机器运行。hadoop包括了HDFS分布式文件系统以及mapreduce并行计算框架和hbase等组成部分。
⒛hadoop的三大组件及其作用是什么
目前开源hadoop只包括hdfs，和纱线，纱线是hadoop的新组件。Hdfs是一个分散式档案系统，它使用多种备份方法来存储文件，并且可以用来连接像hive和hbase这样的产品和存储相应的数据。Mapreduce是一个用于大型数据处理的并行框架。用户可以编写自己的程序来调用框架并行处理大数据，并在调用过程中调整m和r的数量。然而，总的来说，编程是相对复杂的，所以我诞生了。纱线作为一种新的控件，主要管理hadoop模块的任务调度。目前，有两种模式:公平调度和容量调度。如果需要其他组件，则需要单独下载安装程序。
Hadoop在大数据中有什么作用
HDFS按照Master和Slave的结构。分为NameNode、SecondaryNameNode、DataNode这几个角色。NameNode：是Master节点，是大领导。管理数据块映射;处理客户端的读写请求;配置副本策略;管理HDFS的名称空间。SecondaryNameNode：是一个小弟，分担大哥namenode的工作量;是NameNode的冷备份;合并fsimage(元数据镜像文件，文件系统的目录树)和fsedits(元数据的操作日志，针对文件系统做的修改操作记录)，然后再发给namenode。DataNode：是Slave节点，是奴隶，干活的。负责存储客户端发来的block;执行block的读写操作。NameNode和DataNode之间的通信是通过心跳机制实现的。Map(映射)任务处理：读取HDFS中的文件。每一行解析成一个。每一个键值对调用一次map函数。map函数接收前面产生的，进行处理，转换为新的输出。对转换后的进行分区。对不同分区中的数据按key进行排序、分组。分组指的是相同key的value放到一个集合中。Reduce(归约)任务处理：多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点上。对多个map的输出进行合并、排序。覆盖reduce函数，接收的是分组后的数据，实现自己的业务逻辑，处理后，产生新的输出。对reduce输出的写到HDFS中。关于Hadoop在大数据中有什么作用，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章能够对你有所帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。
Hadoop到底是什么玩意
Hadoop到底是个啥？答：Hadoop是基于廉价设备利用集群的威力对海量数据进行安全存储和高效计算的分布式存储和分析框架，Hadoop本身是一个庞大的项目家族，其核心家族或者底层是HDFS和MapReduce，HDFS和MapReduce分别用来实现对海量数据的存储和分析，其它的项目，例如Hive、HBase等都是基于HDFS和MapReduce，是为了解决特定类型的大数据处理问题而提出的子项目，使用Hive、HBase等子项目可以在更高的抽象的基础上更简单的编写分布式大数据处理程序。Hadoop的其它子项目还包括mon,Avro,Pig,ZooKeeper,Sqoop,Oozie等，随着时间的推移一些新的子项目会被加入进来，一些关注度不高的项目会被移除Hadoop家族，所以Hadoop是一个充满活力的系统。ApacheHadoop:是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。ApacheHive:是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。ApachePig:是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。ApacheHBase:是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。ApacheSqoop:是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL,Oracle,Postgres等中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。ApacheZookeeper:是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务ApacheMahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。ApacheCassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集GoogleBigTable的数据模型与AmazonDynamo的完全分布式的架构于一身ApacheAvro:是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制ApacheAmbari:是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。ApacheChukwa:是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合Hadoop处理的文件保存在HDFS中供Hadoop进行各种MapReduce操作。ApacheHama:是一个基于HDFS的BSP（BulkSynchronousParallel)并行计算框架,Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。ApacheFlume:是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。ApacheGiraph:是一个可伸缩的分布式迭代图处理系统，基于Hadoop平台，灵感来自BSP(bulksynchronousparallel)和Google的Pregel。ApacheOozie:是一个工作流引擎服务器,用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce的任务。ApacheCrunch:是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库ApacheWhirr:是一套运行于云服务的类库（包括Hadoop，可提供高度的互补性。Whirr学支持AmazonEC和Rackspace的服务。ApacheBigtop:是一个对Hadoop及其周边生态进行打包，分发和测试的工具。ApacheHCatalog:是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。ClouderaHue:是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN,HBase,Hive,Pig的web化操作和管理。