? Spark Streaming是構(gòu)建在Spark上的實(shí)時(shí)計(jì)算框架,且是對(duì)Spark Core API的一個(gè)擴(kuò)展,它能夠?qū)崿F(xiàn)對(duì)流數(shù)據(jù)進(jìn)行實(shí)時(shí)處理,并具有很好的可擴(kuò)展性、高吞吐量和容錯(cuò)性。Spark Streaming具有如下顯著特點(diǎn)。查看全文>>
近年來(lái),Web應(yīng)用、網(wǎng)絡(luò)監(jiān)控、傳感監(jiān)測(cè)、電信金融、生產(chǎn)制造等領(lǐng)域,對(duì)數(shù)據(jù)實(shí)時(shí)處理的需求不斷增強(qiáng),而Spark中的SparkStreaming實(shí)時(shí)計(jì)算框架就是為了實(shí)現(xiàn)對(duì)數(shù)據(jù)實(shí)時(shí)處理的需求而設(shè)計(jì)的。在電子商務(wù)中,淘寶、京東等網(wǎng)站從用戶點(diǎn)擊的行為(如加入購(gòu)物車)和瀏覽的歷史記錄中發(fā)現(xiàn)用戶的購(gòu)買意圖和興趣,然后通過(guò)Sparkstreaming實(shí)時(shí)計(jì)算框架分析處理,為之推薦相關(guān)商品,從而有效地提高商品的銷售量,同時(shí)也增加了用戶的滿意度,可謂是“一舉兩得”。查看全文>>
Kafka是一個(gè)高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它在實(shí)時(shí)計(jì)算系統(tǒng)中有著非常強(qiáng)大的功能。通常情況下,使用Kafka構(gòu)建系統(tǒng)或應(yīng)用程序之間的數(shù)據(jù)管道,用來(lái)轉(zhuǎn)換或響應(yīng)實(shí)時(shí)數(shù)據(jù),使數(shù)據(jù)能夠及時(shí)地進(jìn)行業(yè)務(wù)計(jì)算,得出相應(yīng)結(jié)果。查看全文>>
大數(shù)據(jù)系統(tǒng)面臨的首要困難是海量數(shù)據(jù)之間該如何進(jìn)行傳輸。為了解決大數(shù)據(jù)集的傳輸困難,就必須要構(gòu)建一個(gè)消息系統(tǒng)。一個(gè)消息系統(tǒng)負(fù)責(zé)將數(shù)據(jù)從一個(gè)應(yīng)用程序傳遞到另外一個(gè)應(yīng)用程序中,應(yīng)用程序只關(guān)注數(shù)據(jù),無(wú)須關(guān)注數(shù)據(jù)在多個(gè)應(yīng)用之間是如何傳遞的,分布式消息傳遞基于可靠的消息隊(duì)列,在客戶端應(yīng)用和消息系統(tǒng)之間異步傳遞消息。查看全文>>
了解Flink,了解集群環(huán)境搭建運(yùn)維,學(xué)習(xí)Flink中重要概念、原理和API的用法,通過(guò)知識(shí)點(diǎn) + 案例教學(xué)法幫助小白快速掌握Flink。查看全文>>
Hadoop與Spark都是大數(shù)據(jù)計(jì)算框架,但是兩者各有自己的優(yōu)勢(shì),Spark與Hadoop的區(qū)別主要有以下幾點(diǎn)。查看全文>>