分类：Hadoop源码分析

2023
01-31

Hadoop源码分析六启动文件namenode原理详解

1、namenode启动在本系列文章三中分析了hadoop的启动文件，其中提到了namenode启动的时候调用的类为org.apache.hadoop.hdfs.server.namenode.NameNode其main方法的内容如下：publicstaticvoidmain(Stringargv[])throwsException{if(DFSUtil.parseHelpArgument(argv,NameNode.USAGE,System.out,true)){System.exit(0);}try{StringUtils.startupShutdownMessage(NameNode.class,argv,LOG);... 继续阅读 >

2023
01-31

Hadoop源码分析五hdfs架构原理剖析

目录1、hdfs架构如果在hadoop配置时写的配置文件不同，启动的服务也有所区别namenode的下方是三台datanode。namenode左右两边的是两个zkfc。namenode的上方是三台journalnode集群。2、namenode介绍namenode作为hdfs的核心，它主要的作用是管理文件的元数据文件与块的对应关系中的块namenode负责管理hdfs的元数据namenode的数据持久化，采用了一种日志加快照的方式最后还会有一个程序读取这个快照文件和日志文件1、hdfs架构在本... 继续阅读 >

2023
01-31

Hadoop源码分析三启动及脚本剖析

目录1、启动2、脚本分析start-all.sh脚本内容如下：start-dfs.sh的内容如下：启动上述角色调用的hadoop-daemons.sh脚本内容如下：我们继续看hadoop-daemon.sh脚本。这里可以看见它实际是hadoop的bin目录下的hdfs文件1、启动hadoop的启动是通过其sbin目录下的脚本来启动的。与启动相关的叫脚本有以下几个：start-all.sh、start-dfs.sh、start-yarn.sh、hadoop-daemon.sh、yarn-daemon.sh。hadoop-daemon.sh是用来启动与hdfs相关... 继续阅读 >

2023
01-31

Hadoop源码分析二安装配置过程详解

目录1、创建用户2、安装jdk3、修改hosts4、配置ssh免密登录5、安装zookeeper解压：修改配置文件修改内容如下：配置环境变量启动6、安装hadoop对于三台节点的配置安排如下：解压：修改配置文件：修改core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置slaves7、初始化在初始化前需要将所有机器都配置好hadoop（1）启动zookeeper（2）启动journalnode（3）格式化zk（4）格式化hdfs（5）同步元数据... 继续阅读 >

2023
01-31

Hadoop源码分析一架构关系简介

1、简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构Hadoop起源于谷歌发布的三篇论文：GFS、MapReduce、BigTable。其中GFS是谷歌的分布式文件存储系统，MapReduce是基于这个分布式文件存储系统的一个计算框架，BigTable是一个分布式的数据库。hadoop实现了论文GFS和MapReduce中的内容，Hbase的实现了参考了论文BigTable。2、hadoop架构hadoop主要有三个组件HDFS、YARN和MapReduce。其中YARN是hadoop2.x版本推出的。本... 继续阅读 >