hadoop、hive、spark、hbase综述

hadoop综述

1    namenode

    一般在master节点上，用来存储文件和目录的所有元数据信息    

    常见面试问题："namenode和datanode可以在同一个节点吗？"

    -- 原理上可以在一个节点，但是这样做有很多弊端，比如datanode是数据的实际执行节点，对资源的占用会影响namenode节点的性能;

2    datanode

    一般在slave节点上，用来存储实际数据    

3    secondary namenode

    namenode的副本节点，定期通过editlog合并namenode的变化。

    常见面试问题：namenode的主从节点，以什么形式合并变化？

    -- 通过editlog，即是编辑日志

4    jobtracker

    运行在namenode上，是负责提交和运行mapreduce job的守护程序，会向tasktracker分配任务

    一句话总结，即是jobtracker存在于namenode上，向tasktracker分配任务

    常见面试问题：jobtracker类似spark里面的什么？

    -- 类似driver，tasktracker类似spark里面的worker，spark也是driver向worker分配具体任务，然后任务执行在worker的executor上

5    tasktracker

    运行在datanode上，是具体的执行计算的节点    

6    resourcemanager

    yarn上负责资源分配和调度    

    常见面试问题：RM、NM 和 NN、DN比较

    -- RM和NM是针对yarn而言的资源分配和节点管理，NN和DN是相对于hadoop而言，不是一种体系的概念，不好一起比较；

7    nodemanager

    slave节点，顾名思义，是用来管理节点的，检测启动了应用程序的容器，向resourcemanager报告    

8    jobhistoryserver        

    维护有关的mapreduce工作中的应用终止后的信息    也即是MR应用终止后，应用终止后的信息会保存在jobhistoryserver中；

9    什么是主动和被动的namenodes    

    既是主备namenode的另一种叫法，namenodes的主动被动，既是主备的意思

10    hadoop集群可以删除或者添加节点嘛，怎么添加    

    这都是针对数据节点而言，数据节点崩溃可以删除或者新增    

    添加的方法参见hadoop官网

11    两个客户端尝试访问相同的HDFS文件，会发生什么    

    HDFS只支持独占写入，所以会接受一个拒绝一个    

    -- HDFS的独占写入特性，但可以并发的读

12    解释报错：文件只能被复制到0节点，而不是1    

    这是0节点没有任何可用的datanode    

    文件不能被复制到某节点的报错：一般说明某节点没有任何可用的datanode

13    hdfs关闭安全模式    

    hadoop dfsadmin -safemode        

    hdfs的系统操作命令，dfsadmin

14    如何定义hdfs的block    

    dfs.block.size    

    在HDFS-site.xml中    

    -- hdfs的block的作用：block是hdfs中最基本的存储单位

15    hadoop2默认block大小    

    128M        

16    rack awareness    

    既是副本放置策略    

    若值为3：

    -- 策略既是数据的每个块，两个副本在一个机架中，第三个副本存在于不同的机架；

    -- 副本放置策略：若副本为3，两个同机架，一个跨机架

17    为什么hadoop适用于大型数据集，而不是适用具有大量的小文件的应用程序？    

    因为namenode很昂贵，如果大量的小文件过多的消耗了namenode，肯定不如一个单独文件中有大量数据        

    namenode是存储文件和目录的所有元数据信息的节点，如果文件数量很多的话，那对namenode的消耗会很大，因为无论多小的文件都要对应一个元数据信息，多大的文件也要对应一个元数据信息；

18    speculative running    

    因为一个节点运行任务较慢，冗余另一个节点让两个节点同时执行同一任务，这两个程序先完成的被接受，后完成的被杀死    

    前面描述的这个过程称为：specculative running，即是投机执行，如果一个节点执行缓慢，会复制一个同样的节点来执行同一个任务，相同的被接受，不同的被杀死；

19    hadoop集群中实现HA    

    使用QJM或者NFS共享存储        

20    为什么在HDFS，读是并行的，但写不是    

    HDFS的读可以MR分割成块读取，但写MR并不能并行；    

    -- 导致spark的读也是并行的（细粒度），但写是粗粒度    

    -- HDFS的读是并行的，写是独占写入，前面的两个文件同时写一个HDFS的原理即是来源于此

    -- 类似spark读是细粒度，写是粗粒度；

21    报错：访问hdfs报错：连接被拒绝，java异常    namenode不工作了    

    可能是namenode是在安全模式

    或者namenodeIP地址改变了

    hdfs连接异常报错：一般是namenode报错，所以namenode和hdfs的联系较为紧密；

22    zookeeper在集群中的作用    

    管理集群、hadoop节点之间的协调、元数据的同步        

23    什么是hive中的serdr    

    一种序列化和一个反序列化的组合    

    -- hive使用serdr来读取和写入表行    

    SerDr说明hive如何去处理一条记录，包括Serialize/Deserilize两个功能

    Serialize把hive使用的java object转换成能写入hdfs的字节序列，或者其他系统能识别的流文件

    Deserilize把字符串或者二进制流转换成hive能识别的java object对象

24    hive存储表中数据的默认位置是    

    HDFS://NameNode/用户/hive/warehouse        

    hive,hdfs的元数据信息都存在hdfs的namenode文件夹对应用户下面；

25    hbase中的WAL和Hlog    

    WAL:预写日志    

    记录数据发生的所有更改，在服务器发生故障时，WAL作为生命线检索丢失的数据；    

    -- WAL是hbase的生命线

spark综述

1    spark怎么实现HA

    spark master使用zookeePer做HA    

    并且把元数据在ZK中保存    

    -- hadoop用NFS做HA，spark master使用ZK做HA    

2    spark master HA主从切换不会影响集群已有作业运行，为什么？    

    因为不需要再和master通讯    

    程序的资源申请的过程先于程序调度的过程，程序在运行之前，已经申请过资源了，driver和Executors通讯，不需要和master进行通讯的

    -- 所以master节点换了，也不会影响现有节点，只要excutor的节点没挂就可以；    

3    什么是粗粒度分配，什么是细粒度分配    

    粗粒度，启动时就分配好资源，后续就使用这个分配好的资源，我称之为大方分配

    细粒度    用资源的时候分配，用完就立即收回，我称之为小气分配

4    spark有哪些常见的稳定版本    

    1.6或者2.0        

5    driver的功能（有点像jobtracker）    

    作业的主进程，具有main函数,并且有sparkcontext,是程序的入口    

    作用：

    负责向集群申请资源

    向master注册信息

    作业调度

    作业解析

    生成stage

    调度task到executor上

    包括DAGScheduler，TaskScheduler"    

6    work的主要工作（有点像jobtracker）        

    管理当前节点内存、CPU使用情况；

    接受master分配过来的资源指令

    通过executorrunner启动程序；

    不会汇报当前信息给master，这是driver的工作；

    不会运行程序的代码，那是excutor的工作；"    

7    什么是rdd的宽依赖和窄依赖    

    宽依赖    多个子RDD依赖同一个父RDD    

    窄依赖    一个子RDD依赖一个父RDD    

8    cache后面不能接其他算子    

    可以，但接了算子之后，起不到缓存应有的效果

    因为其他算子相当于读了cache的内容，重新触发了cache;        

9    reducebykey 和 reduce两个算子    

    reduceByKey不是action,reduce是action        

10    数据本地化是在哪个环节确定的    

    是由具体的task在哪台机器上运行确定的        

11    RDD的弹性表现在哪几点    

    自动进行内存和磁盘的存储切换 -- 内存和磁盘的弹性

    容错重试 -- 容错的弹性

    分片的弹性 -- 分片的弹性

12    RDD有哪些缺陷    

    不支持细粒度的写和更新操作，spark写数据是粗粒度的，但读数据是细粒度的；

    不支持增量迭代计算，flink支持；-- flink相比于spark的优势：支持增量迭代        

13    spark的shuffle过程    

    比如groupByKey就会有一个shuffle过程，通过键的哈希值shuffle;        

14    如何从kafka中获取数据    

    基于receiver的方式：是kafka的高层次Consumer API;

    基于Direct方式：周期性的查询kafka来获得每个topic+partition最新的offset,当处理数据的job启动时，就会使用kafka的简单的consumer api来获取kafka指定的offset范围的数据；"    offset： 消息序列号，一个连续的用于定位被追加到分区的每一个消息的序列号，最大值为64位的long大小，19位数字字符长度    kafka中各关键词的解释：https://blog.csdn.net/sand_clock/article/details/68486599

15    kafka中数据倾斜解决方案    "首先是定位数据倾斜：OOM或者是任务执行缓慢，看日志或者看WebUI

    解决：

    1）、广播小表

    2）、分拆数据倾斜部分为几个部分

    3）、增大并行度

    4）、自定义partitioner,分散key的分布"        

16    spark中数据的位置是谁管理的    

    是由blockmanager进行管理        

17    spark如何处理不能被序列化的对象    

    将不能序列化的对象封装成object即可        

18    spark程序执行，有时候默认为什么产生很多task，怎么修改task执行个数？    

    task和partion是一一对应的，只要设置partition个数即可；    

    -- 注意：task和partition是一一对应的    

19    为什么spark application没有获得足够的资源，job就开始执行了    

    因为task的excutor申请资源和程序执行是两个过程，一般是先资源申请，然后程序执行，此时有可能是这两个过程异步了；    

20    什么叫spark持久化    

    通俗解释既是落了内存        

21    为什么要进行序列化    

    序列化可以减少数据的体积，减少存储空间

    但坏处是还要反序列化

habase综述

1    hbase读写    

    github pysaprk+hbase 工具类：https://github.com/zenyud/Pyspark_ETL    

    主要原理：

        hbase-client用来连接客户端

        hbase-server用来进行hbase的各种操作"

2    hbase查询            

    还可以使用上面的程序查询

3    hbase和mysql(等其他关系数据库的写入写出)的实现

    https://segmentfault.com/a/1190000013928073

    https://blog.csdn.net/thinkpadshi/article/details/77628346

    1）、除了直接用程序对hbase进行读取操作之外，也可以先把数据写入关系型数据库，然后用sqoop实现读取；

    2）、一般，mysql的表名对应hbase的column-family，mysql的主键对应hbase的rowkey

        mysql表名 -- 类似hbase的列簇名

        mysql的主键 -- 类似hbase的rowkey

        -- 上面两点可以从mysql数据导入hbase看出来；

    3）、可以使用sqoop完成hbase和关系型数据库的互相传导；