更新時(shí)間:2022-12-06 來源:黑馬程序員 瀏覽量:
Standalone模式是Spark自帶的一種集群模式,不同于前面本地模式啟動(dòng)多個(gè)進(jìn)程來模擬集群的環(huán)境,Standalone模式是真實(shí)地在多個(gè)機(jī)器之間搭建Spark集群的環(huán)境,完全可以利用該模式搭建多機(jī)器集群,用于實(shí)際的大數(shù)據(jù)處理。
StandAlone 是完整的Spark運(yùn)行環(huán)境,其中: Master角色以Master進(jìn)程存在, Worker角色以Worker進(jìn)程存在 Driver和Executor運(yùn)行于Worker進(jìn)程內(nèi), 由Worker提供資源供給它們運(yùn)行。
StandAlone集群在進(jìn)程上主要有3類進(jìn)程:
Master角色, 管理整個(gè)集群資源,并托管運(yùn)行各個(gè)任務(wù)的Driver
Worker角色, 管理每個(gè)機(jī)器的資源,分配對(duì)應(yīng)的資源來運(yùn)行Executor(Task); 每個(gè)從節(jié)點(diǎn)分配資源信息給Worker管理,資源信息包含內(nèi)存Memory和CPU Cores核數(shù)。
Spark Application運(yùn)行完成以后,保存事件日志數(shù)據(jù)至HDFS,啟動(dòng)HistoryServer可以查看應(yīng)用運(yùn)行相關(guān)信息。Spark的歷史服務(wù)器, 功能: 將Spark運(yùn)行的程序的歷史日志記錄下來, 通過歷史服務(wù)器方便用戶查看程序運(yùn)行的歷史信息。