首頁技術(shù)文章正文

Hadoop集群部署有幾種模式?Hadoop集群部署方法介紹

更新時間:2021-05-07 來源:黑馬程序員 瀏覽量:

1577370495235_學(xué)IT就到黑馬程序員.gif

Hadoop集群的部署方式方式分為三種,分別是獨立模式(Standalone mode)、偽分布式模式(Pseudo-Distributed mode)、完全分布式模式(Cluster mode),具體介紹如下。

(1)獨立模式:又稱為單機模式,在該模式下,無需運行任何守護進程,所有的程序都在單個JVM上執(zhí)行。獨立模式下調(diào)試Hadoop集群的MapReduce程序非常方便,所以一般情況下,該模式在學(xué)習(xí)或者開發(fā)階段調(diào)試使用。

(2)偽分布式模式:Hadoop程序的守護進程運行在一臺節(jié)點上,通常使用偽分布式模式用來調(diào)試Hadoop分布式程序的代碼,以及程序執(zhí)行是否正確,偽分布式模式是完全分布式模式的一個特例。

(3)完全分布式模式:Hadoop的守護進程分別運行在由多個主機搭建的集群上,不同節(jié)點擔(dān)任不同的角色,在實際工作應(yīng)用開發(fā)中,通常使用該模式構(gòu)建企業(yè)級Hadoop系統(tǒng)。

在Hadoop環(huán)境中,所有服務(wù)器節(jié)點僅劃分為兩種角色,分別是master(主節(jié)點,1個)和slave(從節(jié)點,多個)。因此,偽分布模式是集群模式的特例,只是將主節(jié)點和從節(jié)點合二為一罷了。

接下來,本書將以前面安裝的三臺虛擬機為例,闡述完全分布模式Hadoop集群的安裝與配置方法,具體集群規(guī)劃如圖1所示。

Hadoop集群部署模式

圖1 Hadoop集群規(guī)劃

從圖1可以看出,當(dāng)前規(guī)劃的Hadoop集群包含一臺master節(jié)點和兩臺slave節(jié)點。這里,將前面安裝的Hadoop01作為Master節(jié)點,Hadoop02和Hadoop03作為Slave節(jié)點。




猜你喜歡:

Redis集群方案怎么做?Redis集群有哪些方案?

Hadoop集群如何通過UI界面實現(xiàn)管理和查看

Hadoop有幾種運行模式?各種模式都有哪些特性?    

黑馬程序員Python+大數(shù)據(jù)培訓(xùn)

分享到:
在線咨詢 我要報名
和我們在線交談!