Zookeeper為了保證各節(jié)點(diǎn)的協(xié)同工作,在工作時(shí)需要一個(gè)Leader角色,而Zookeeper默認(rèn)采用FastLeaderElection算法,且投票數(shù)大于半數(shù)則勝出的機(jī)制,再介紹選舉機(jī)制前,首先了解選舉涉及的相關(guān)概念。查看全文>>
HBase中存儲(chǔ)在HDFS中的數(shù)據(jù)是通過(guò)Zookeeper協(xié)調(diào)處理的。由于HBase存在單點(diǎn)故障的問(wèn)題,因此,可以通過(guò)Zookeeper部署一個(gè)高可用的HBase集群解決。下面,以三臺(tái)服務(wù)器為例(hadoop01、hadoop02和hadoop03),講解如何安裝部署HBase集群。查看全文>>
Spark的任務(wù)調(diào)度流程分為RDD Objects、DAGScheduler、TaskScheduler以及Worker四個(gè)部分。關(guān)于這四個(gè)部分的相關(guān)介紹具體如下:查看全文>>
被多個(gè)線程同時(shí)訪問(wèn),使用線程同步技術(shù),可以確保數(shù)據(jù)在任何時(shí)刻最多只有一個(gè)線程訪問(wèn)。查看全文>>
程序開(kāi)發(fā)中不僅需要使用大量的標(biāo)準(zhǔn)模塊,而且還會(huì)根據(jù)業(yè)務(wù)需求使用第三方模塊。在使用第三方模塊之前,需要使用包管理工具——pip下載和安裝第三方模塊。查看全文>>
Python模塊的開(kāi)頭通常會(huì)定義一個(gè)__all__屬性,該屬性實(shí)際上是一個(gè)元組,該元組中包含的元素決定了在使用from…import 語(yǔ)句導(dǎo)入模塊內(nèi)容時(shí)通配符所包含的內(nèi)容。 如果__all__中只包含模塊的部分內(nèi)容,那么from…import *語(yǔ)句只會(huì)將__all__中包含的部分內(nèi)容導(dǎo)入程序。查看全文>>