云計(jì)算大數(shù)據(jù)：企業(yè)中處理數(shù)據(jù)的兩種主要方式

2011年在海量數(shù)據(jù)處理領(lǐng)域，Hadoop是人們津津樂道的技術(shù)，Hadoop不僅可以用來存儲(chǔ)海量數(shù)據(jù)，還以用來計(jì)算海量數(shù)據(jù)。因?yàn)槠涓咄掏?、高可靠等特點(diǎn)，很多互聯(lián)網(wǎng)公司都已經(jīng)使用Hadoop來構(gòu)建數(shù)據(jù)倉庫，高頻使用并促進(jìn)了Hadoop生態(tài)圈的各項(xiàng)技術(shù)的發(fā)展。

下圖是來自360圖片搜索服務(wù)的圖片,可以看看Hadoop和storm所在位置。

一般來講，根據(jù)業(yè)務(wù)需求，數(shù)據(jù)的處理可以分為離線處理和實(shí)時(shí)處理，在離線處理方面Hadoop提供了很好的解決方案，但是針對海量數(shù)據(jù)的實(shí)時(shí)處理卻一直沒有比較好的解決方案。就在人們翹首以待的時(shí)間節(jié)點(diǎn)，storm橫空出世，與生俱來的分布式、高可靠、高吞吐的特性，橫掃市面上的一些流式計(jì)算框架，漸漸的成為了流式計(jì)算的首選框架。如果龐麥郎在的話，他一定會(huì)說，這就是我要的滑板鞋!

在2013年前后，阿里巴巴開源了基于storm的設(shè)計(jì)思路使用java重現(xiàn)編寫的流式計(jì)算框架jstorm。

那jstorm是什么呢?

在jstorm早期的介紹中，一般會(huì)出現(xiàn)下面的語句：JStorm 比Storm更穩(wěn)定，更強(qiáng)大，更快，Storm上跑的程序，一行代碼不變可以運(yùn)行在JStorm上。

在最新的介紹中，jstorm的團(tuán)隊(duì)是這樣介紹的：JStorm 是一個(gè)類似Hadoop MapReduce的系統(tǒng)， 用戶按照指定的接口實(shí)現(xiàn)一個(gè)任務(wù)，然后將這個(gè)任務(wù)遞交給JStorm系統(tǒng)，Jstorm將這個(gè)任務(wù)跑起來，并且按7 * 24小時(shí)運(yùn)行起來，一旦中間一個(gè)Worker 發(fā)生意外故障， 調(diào)度器立即分配一個(gè)新的Worker替換這個(gè)失效的Worker。因此，從應(yīng)用的角度，JStorm 應(yīng)用是一種遵守某種編程規(guī)范的分布式應(yīng)用。從系統(tǒng)角度， JStorm一套類似MapReduce的調(diào)度系統(tǒng)。 從數(shù)據(jù)的角度， 是一套基于流水線的消息處理機(jī)制。

實(shí)時(shí)計(jì)算現(xiàn)在是大數(shù)據(jù)領(lǐng)域中最火爆的一個(gè)方向，因?yàn)槿藗儗?shù)據(jù)的要求越來越高，實(shí)時(shí)性要求也越來越快，傳統(tǒng)的Hadoop MapReduce，逐漸滿足不了需求，因此在這個(gè)領(lǐng)域需求不斷?，F(xiàn)在，Jstom在淘寶海量的數(shù)據(jù)和大量的業(yè)務(wù)場景的錘煉下，從開始的追隨者，使用者慢慢的演變成了流式計(jì)算技術(shù)的領(lǐng)導(dǎo)者。

本文版權(quán)歸黑馬程序員云計(jì)算大數(shù)據(jù)學(xué)院所有，歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明作者出處。謝謝！

作者：黑馬程序員云計(jì)算大數(shù)據(jù)培訓(xùn)學(xué)院

首發(fā)：http://cloud.itheima.com/