Scala和Java類似,只允許繼承一個(gè)父類。不同的是,Java只能繼承父類中非私有的屬性和方法。而Scala可以繼承父類中的所有屬性和方法,子類擁有父類的所有特征。但是Scala在子類繼承父類的時(shí)候,有以下幾點(diǎn)需要注意:查看全文>>
HDFS采用主從架構(gòu)(Master/Slave架構(gòu))。HDFS集群分別是由一個(gè)NameNode和多個(gè)的 DataNode組成。其中,NameNode是HDFS集群的主節(jié)點(diǎn),負(fù)責(zé)管理文件系統(tǒng)的命名空間以及客戶端對(duì)文件的訪問(wèn);DataNode是集群的從節(jié)點(diǎn),負(fù)責(zé)管理它所在節(jié)點(diǎn)上的數(shù)據(jù)存儲(chǔ)。HDFS分布式文件系統(tǒng)中的NameNode和DataNode兩種角色各司其職,共同協(xié)調(diào)完成分布式的文件存儲(chǔ)服務(wù)。查看全文>>
Hadoop是Apache基金會(huì)面向全球開(kāi)源的產(chǎn)品之一,任何用戶都可以從Apache Hadoop 官網(wǎng):https://archive.apache.org/dist/hadoop/common下載使用。本書(shū)將以編寫(xiě)時(shí)較為穩(wěn)定的Hadoop2.7.4版本為例,詳細(xì)講解Hadoop的安裝。查看全文>>
DAG(Directed Acyclic Graph)叫做有向無(wú)環(huán)圖,DAG是一種非常重要的圖論數(shù)據(jù)結(jié)構(gòu)。如果一個(gè)有向圖無(wú)法從任意頂點(diǎn)出發(fā)經(jīng)過(guò)若干條邊回到該點(diǎn),則這個(gè)圖就是有向無(wú)環(huán)圖,接下來(lái)通過(guò)幾個(gè)例子,我們來(lái)詳細(xì)了解下DAG有無(wú)環(huán)向圖。查看全文>>
Spark Streaming支持從多種數(shù)據(jù)源獲取數(shù)據(jù),包括Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP Sockets數(shù)據(jù)源。當(dāng)Spark Streaming從數(shù)據(jù)源獲取數(shù)據(jù)之后,則可以使用諸如map、reduce、join和window等高級(jí)函數(shù)進(jìn)行復(fù)雜的計(jì)算處理,最后將處理的結(jié)果存儲(chǔ)到分布式文件系統(tǒng)、數(shù)據(jù)庫(kù)中為了可以深入的理解Spark Streaming,接下來(lái),我們對(duì)對(duì)Spark Streaming的內(nèi)部工作原理進(jìn)行詳細(xì)講解。查看全文>>
從0開(kāi)始學(xué)習(xí)大數(shù)據(jù)課程,想了解linux、kettle、BI、mysql、從基礎(chǔ)到實(shí)踐,通過(guò)知識(shí)點(diǎn) + 案例教學(xué)法幫助你想你想迅速掌握大數(shù)據(jù)。提取碼:ir0t查看全文>>