安裝配置Sqoop,前提是部署Sqoop工具的機(jī)器需要具備Java和Hadoop的運(yùn)行環(huán)境首先將下載好的安裝包上傳至hadoop01主節(jié)點(diǎn)的/export/software目錄中,并解壓至/export/servers路徑下,然后對(duì)解壓包進(jìn)行重命名,具體指令如下。查看全文>>
Reduce大致分為copy、sort、reduce三個(gè)階段,重點(diǎn)在前兩個(gè)階段。Copy階段,簡(jiǎn)單地拉取數(shù)據(jù)。Reduce進(jìn)程啟動(dòng)一些數(shù)據(jù)copy線程(Fetcher),通過(guò)HTTP方式請(qǐng)求maptask 獲取屬于自己的文件。查看全文>>
通過(guò)打印“Hello World”的例子來(lái)演示如何使用IDEA工具開發(fā)Scala程序,具體步驟如下。查看全文>>
通常,在接收到source的數(shù)據(jù)后,應(yīng)該立刻生成watermark;但是,也可以在接收source后,應(yīng)用簡(jiǎn)單的map或者filter操作,然后再生成watermark。查看全文>>
關(guān)系型數(shù)據(jù)和Hive都是支持SQL引擎的數(shù)據(jù)庫(kù);Redis和Hbase都是NoSQL 類型的Key/vale數(shù)據(jù)庫(kù),支持簡(jiǎn)單的行列操作,不支持SQL引擎。查看全文>>
嵌入模式下,元數(shù)據(jù)保存在Derby數(shù)據(jù)庫(kù)中,且只允許一個(gè)會(huì)話連接,若嘗試多個(gè)會(huì)話連接時(shí)會(huì)報(bào)錯(cuò)。下面講解Hive安裝之嵌入模式的配置步驟查看全文>>