Kerberos下載安裝：環(huán)境變量配置和基礎(chǔ)系統(tǒng)準(zhǔn)備

對 Kerberos 有了基本了解后，我們開始進(jìn)入安裝部署的步驟，首先是先準(zhǔn)備基本的服務(wù)器環(huán)境。

本次課程基于使用的軟件環(huán)境如下：

CDH 5.14.4

hadoop2.6.0-cdh5.14.4

hive1.1.1-cdh5.14.4

CentOS 6.9 x64 操作系統(tǒng)

JDK 1.8 and jdk1.7(for maven)

apache-maven-3.0.5

Kerberos 使用在線yum庫提供的最新版本

本次課程使用4臺服務(wù)器來進(jìn)行演示，分別是：

主機(jī)名cdh0（FQDN: cdh0.itcast.cn）：hadoop的master節(jié)點，部署 namenode ,

resourcemanager , hive server2 , historyserver 等master角色 以及 Kerberos 的 客戶端

主機(jī)名cdh1（FQDN: cdh1.itcast.cn）：hadoop的slave節(jié)點，部署 datanode , nodemanager 等slave角色 以及 Kerberos 的 客戶端

主機(jī)名CDH2（FQDN: cdh2.itcast.cn）：同CDH1

主機(jī)名CDH3（FQDN: cdh3.itcast.cn）：Kerberos的server端，部署 Kerberos server

硬件配置：

CDH0、CDH1、CDH2均為2核心3GB內(nèi)存配置，CDH3為1核心1GB內(nèi)存

同學(xué)們可以根據(jù)自己主機(jī)的配置情況做相應(yīng)增刪

其中slave節(jié)點可以刪除一個，比如CDH2可以刪除不要，以節(jié)省內(nèi)存開銷

如果內(nèi)存比較大的同學(xué)可以給slave節(jié)點配置三個，來模擬更加真實的環(huán)境

a.關(guān)閉防火墻服務(wù)

chkconfig iptables off 關(guān)閉防火墻自啟

service iptables stop 關(guān)閉當(dāng)前防火墻的運(yùn)行

b. 配置主機(jī)名

修改 /etc/sysconfig/network 文件，設(shè)置HOSTNAME為需要的主機(jī)名

這里設(shè)置FQDN形式，保存即可

FQDN形式的主機(jī)名就是包含完整的主機(jī)所在域（所在組織）的主機(jī)名 如 cdh0.itcast.cn 其中cdh0是簡寫的主機(jī)名 .itcast.cn 是這臺主機(jī)的所在域 也就是domain hadoop中配置建議使用FQDN形式的主機(jī)名。

c. 配置各個主機(jī)IP地址

老師演示的網(wǎng)段是 192.168.66.0 網(wǎng)段

下面演示的IP地址根據(jù)你虛擬機(jī)的網(wǎng)段來設(shè)置，自行修改
1.關(guān)閉 NetworkManager 服務(wù)和 selinux

# NetworkManager
service NetworkManager stop # 關(guān)閉
chkconfig NetworkManager off # 關(guān)閉開機(jī)自啟
# Selinux
vim /etc/sysconfig/selinux
設(shè)置SELINUX=disabled
然后重啟生效

DEVIDE="eth0" # 網(wǎng)卡名字
BOOTPROTO="static" # 靜態(tài)IP
ONBOOT="yes" # 開機(jī)啟動
TYPE="Ethernet" # 類型
IPADDR=192.168.66.200 # IP地址
NETMAST=255.255.255.0 # 子網(wǎng)掩碼
GATEWAY=192.168.66.2 # 網(wǎng)關(guān)地址
DNS1=192.168.66.2 # DNS1的地址

執(zhí)行到這一步網(wǎng)絡(luò)就配置好了，可以用secureCRT等工具連接服務(wù)器了

vim /etc/hosts

添加:

192.168.66.200 cdh0.itcast.cn cdh0
192.168.66.201 cdh1.itcast.cn cdh1
192.168.66.202 cdh2.itcast.cn cdh2
192.168.66.203 cdh3.itcast.cn cdh3

在每個機(jī)器都執(zhí)行， 不要動原本的localhost的配置，可能會有bug
e. 安裝必要軟件（通過 yum 在線安裝） 執(zhí)行：

yum -y install epel-release
yum install -y autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel
zlib-devel gcc gcc-c++ bzip2-devel cmake3 lrzsz ntp

所有機(jī)器上都執(zhí)行

f. 配置ntp和時間

1. 修改時區(qū): cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2. 校對當(dāng)前時間: ntpdate -u 0.cn.pool.ntp.org

3. 設(shè)置ntp服務(wù)并啟動和設(shè)置自啟

vim /etc/ntp.conf
在server那里最上面添加一行
server 0.cn.pool.ntp.org iburst
然后執(zhí)行service ntpd start
執(zhí)行 chkconfig ntpd on

所有機(jī)器上都執(zhí)行
g. 創(chuàng)建用戶和組以及配置各自的ssh免密登錄
添加用戶

# 添加一個hadoop組
groupadd hadoop
# 添加用戶
useradd hadoop -g hadoop -p hadoop
useradd hive -g hadoop -p hive
useradd yarn -g hadoop -p yarn
useradd mapred -g hadoop -p mapred
或者一條命令搞定：
groupadd hadoop;useradd hadoop -g hadoop -p hadoop;useradd hive -g hadoop -p
hive;useradd yarn -g hadoop -p yarn;useradd mapred -g hadoop -p mapred

在cdh0 cdh1 cdh2三臺機(jī)器上執(zhí)行

設(shè)置ssh免密登錄（可選）

可選，方便操作，課程演示做root賬戶的互相免密

執(zhí)行 ssh-keygen -t rsa 一路回車就可創(chuàng)建當(dāng)前賬戶的 ssh key

執(zhí)行 ssh-copy-id 目標(biāo)主機(jī) 即可讓當(dāng)前機(jī)器的當(dāng)前用戶免密登錄目標(biāo)主機(jī)的當(dāng)前用戶

h. 上傳Hadoop軟件包

上傳包

創(chuàng)建目錄 mkdir /bigdata 在 cdh0執(zhí)行

上傳:

•    apache-maven-3.0.5-bin.tar.gz

•    hadoop-2.6.0-cdh5.14.4.tar.gz

•    hive-1.1.0-cdh5.14.4.tar.gz

并解壓到/bigdata 目錄下, 參考命令 tar -zxvf hive-1.1.0-cdh5.14.4.tar.gz -C /bigdata/

使用 scp 命令將 /bigdata 目錄復(fù)制到cdh1 和 cdh2

scp -r /bigdata cdh1:/

scp -r /bigdata cdh2:/

目錄/bigdata 用來安裝hadoop等組件，同學(xué)可以自行修改

i. 安裝jdk

上傳jdk1.7 和 jdk1.8到服務(wù)器并解壓

設(shè)置java home 為jdk1.8

在每個hadoop節(jié)點（cdh0,1,2)機(jī)器都執(zhí)行

j. 配置環(huán)境變量

export HADOOP_HOME=/bigdata/hadoop-2.6.0-cdh5.14.4
export MAVEN_HOME=/bigdata/apache-maven-3.0.5
export HIVE_HOME=/bigdata/hive-1.1.0-cdh5.14.4
export JAVA_HOME=/usr/local/jdk1.8.0_221
export
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MAVEN_HOME/bin:$HIVE_HOME/bin:
$PATH
# export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
# export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/bigdata/hadoop-2.6.0-cdh5.14.4/lib/native

source /etc/profile
在每個hadoop節(jié)點（cdh0,1,2)機(jī)器都執(zhí)行

Nginx安裝和目錄結(jié)構(gòu)介紹【黑馬程序員】

如何下載和安裝第三方模塊？

怎樣在Mac OS平臺安裝Python開發(fā)環(huán)境？【python安裝】

黑馬程序員Python大數(shù)據(jù)開發(fā)培訓(xùn)