干货|50个大数据面试问题及答案完结篇:经验丰富的Hadoop开发人员面试问题

原创|大数据新闻|编辑:龚雪|2019-03-12 10:20:10.000|阅读 80 次

概述:截止到现在我们已经更新了四期,涵盖了大数据新人面试、大数据经验者面试、大数据hadoop面试和hadoop开发新人面试四个板块,今天进入最后一期,慧都网给大家分享10个经验丰富的Hadoop开发人员面试问题。

相关链接:

截止到现在我们已经更新了四期,涵盖了大数据新人面试、大数据经验者面试、大数据hadoop面试和hadoop开发新人面试四个板块,如果对其中的版块有兴趣的小伙伴,点击下方文章跳转观看。

干货|50个大数据面试问题及答案第一篇:10个大数据面试入门级问题

干货|50个大数据面试问题及答案第二篇:10个大数据面试中级问题

干货|50个大数据面试问题及答案第三篇:10个大数据Hadoop面试问题

干货|50个大数据面试问题及答案第四篇:Hadoop开发人员新手面试问题

马上开始我们今天的分享,祝您在面试的时候能有所帮助!

经验丰富的Hadoop开发人员面试问题

面试官对经验丰富的Hadoop开发人员有更多的期望,因此他们会提一些相对有难度的问题。因此,如果您已经获得了一些经验,请不要忘记涵盖基于命令,基于场景,基于真实体验的问题。在这里,我们为有经验的Hadoop开发人员带来一些示例面试问题。

41.如何重启Hadoop中的所有守护进程?

答:要重新启动所有守护进程,需要先停止所有守护进程。Hadoop目录包含sbin目录,该目录存储脚本文件以在Hadoop中停止和启动守护进程。

使用stop daemons命令/sbin/stop-all.sh停止所有守护进程,然后使用/sin/start-all.sh命令再次启动所有守护进程。

42.在Hadoop中使用jps命令有什么用?

答: jps命令用于检查Hadoop守护程序是否正常运行。此命令显示在计算机上运行的所有守护程序,即Datanode,Namenode,NodeManager,ResourceManager等。

43.解释覆盖HDFS中复制因子的过程。

答:有两种方法可以覆盖HDFS中的复制因子。

方法1:在文件基础上

在此方法中,使用Hadoop FS shell在文件的基础上更改复制因子。用于此的命令是:

$ hadoop fs - setrep -w2 / my / test_file

这里,test_file是复制因子将设置为2的文件名。

方法2:在目录基础上

在此方法中,复制因子在目录基础上更改,即修改给定目录下所有文件的复制因子。

$ hadoop fs -setrep -w5 / my / test_dir

这里,test_dir是目录的名称,目录的复制因子,其中的所有文件都将设置为5。

44.没有任何数据的NameNode会发生什么?

答案: Hadoop中不存在没有任何数据的NameNode。如果有NameNode,它将包含一些数据或它将不存在。

45.解释NameNode恢复过程。

答案: NameNode恢复过程涉及下面提到的使Hadoop集群运行的步骤:

  • 在恢复过程的第一步中,文件系统元数据副本(FsImage)启动一个新的NameNode。
  • 下一步是配置DataNodes和Clients。然后,这些DataNode和客户端将确认新的NameNode。
  • 在最后一步中,新的NameNode在完成最后一个检查点FsImage加载和接收来自DataNodes的块报告时开始为客户端提供服务。

注意:不要忘记,这个NameNode恢复过程在大型Hadoop集群上消耗了大量时间。因此,它使日常维护变得困难。因此,建议使用HDFS高可用性架构。

46. Hadoop CLASSPATH如何启动或停止Hadoop守护进程是必不可少的?

CLASSPATH包含必要的目录,其中包含用于启动或停止Hadoop守护程序的jar文件。因此,设置CLASSPATH对于启动或停止Hadoop守护进程至关重要。

但是,每次设置CLASSPATH都不是我们遵循的标准。通常CLASSPATH写在/etc/hadoop/hadoop-env.sh文件中。因此,一旦我们运行Hadoop,它将自动加载CLASSPATH。

47.为什么HDFS只适用于大型数据集而不适用于许多小文件?

这是由于NameNode的性能问题。通常,NameNode被分配了巨大的空间来存储大规模文件的元数据。元数据应该来自单个文件,以实现最佳的空间利用率和成本效益。对于小尺寸文件,NameNode不使用整个空间,这是性能优化问题。

48.为什么我们需要Hadoop中的数据位置?

HDFS中的数据集存储为Hadoop集群的DataNodes中的块。在MapReduce作业执行期间,各个Mapper处理块(Input Splits)。如果数据不在Mapper执行作业的同一节点中,则需要通过网络将数据从DataNode复制到映射器DataNode。

现在,如果MapReduce作业具有超过100个Mapper并且每个Mapper尝试同时从集群中的其他DataNode复制数据,则会导致严重的网络拥塞,这是整个系统的一个重要性能问题。因此,数据接近计算是一种有效且具有成本效益的解决方案,在技术上称为Hadoop中的数据位置。它有助于提高系统的整体吞吐量。

数据局部性能的3 种:

  • 数据本地 - 在此类型数据和映射器驻留在同一节点上。这是最接近数据和最优选的方案。
  • 机架本地 - 在这种情况下,映射器和数据驻留在同一机架上,但位于不同的数据节点上。
  • 不同的机架 - 在这种情况下,映射器和数据驻留在不同的机架上。

49. DFS可以处理大量数据,为什么我们需要Hadoop框架?

Hadoop不仅用于存储大数据,还用于处理这些大数据。虽然DFS(分布式文件系统)也可以存储数据,但它缺少以下功能:

  • 它不容错
  • 网络上的数据移动取决于带宽。

50.什么是Sequencefileinputformat?

Hadoop使用特定的文件格式,称为序列文件。序列文件将数据存储在序列化键值对中。Sequencefileinputformat是读取序列文件的输入格式。

50个大数据面试问题及答案系列已经全部完结,慧都网衷心的祝愿您在面试中取得成功,不管您是新人还是经验丰富的老手都希望您能在我们分享的50个面试问题和答案中获取您想要的东西,如果您发现除我们分享的50个问题中并没有涵盖您认为的专业问题,您可以评论留言给我们,我们期待和您一起分享。

与此同时可以拨打慧都热线023-68661681或咨询慧都在线客服,我们将帮您转接大数据专家团队,并发送相关资料给您!



标签:大数据解决方案

本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动成果

文章转载自:

登录慧都网发表评论登录


暂无评论...

为你推荐

  • 推荐视频
  • 推荐活动
  • 推荐产品
  • 推荐文章
  • 慧都慧问
相关厂商
相关产品
Cloudera Enterprise Data Hub

让您的企业成为真正的数据驱动的一切所需。

Cloudera 企业版

工业4.0优选产品 | 基于hadoop的大数据分析和管理软件

Cloudera Essentials

管理和支持Cloudera的Hadoop发行版。

Cloudera Data Warehouse

今天,明天及未来的现代分析数据库。

Cloudera Operational DB

现代数据驱动型业务的实时洞察。

Cloudera Data Science & Engineering

处理,开发和服务预测模型。

在线客服 在线QQ 电话咨询
400-700-1020
在线客服系统
live chat