Sqoop是什么？Sqoop發(fā)展歷程簡(jiǎn)介

更新時(shí)間:2020-12-07 來(lái)源:黑馬程序員瀏覽量:

1577370495235_學(xué)IT就到黑馬程序員.gif

　　Sqoop是Apache旗下的一款開(kāi)源工具，該項(xiàng)目開(kāi)始于2009年，最早是作為Hadoop的一個(gè)第三方模塊存在，后來(lái)為了讓使用者能夠快速部署，也為了讓開(kāi)發(fā)人員能夠更快速的迭代開(kāi)發(fā)，并在2013年，獨(dú)立成為Apache的一個(gè)頂級(jí)開(kāi)源項(xiàng)目。

　　Sqoop主要用于在Hadoop和關(guān)系數(shù)據(jù)庫(kù)或大型機(jī)之間傳輸數(shù)據(jù)，可以使用Sqoop工具將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)導(dǎo)入(import)到Hadoop分布式文件系統(tǒng)中，或者將Hadoop中的數(shù)據(jù)轉(zhuǎn)換導(dǎo)出(export)到關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)，其功能如圖1所示。

　　圖1 Sqoop功能

　　目前Sqoop主要分為Sqoop1和Sqoop2兩個(gè)版本，其中，版本號(hào)為1.4.x屬于Sqoop1，而版本號(hào)為1.99.x的屬于Sqoop2。這兩個(gè)版本開(kāi)發(fā)時(shí)的定位方向不同，體系結(jié)構(gòu)具有很大的差異，因此它們之間互不兼容。

　　Sqoop1功能結(jié)構(gòu)簡(jiǎn)單，部署方便，提供命令行操作方式，主要適用于系統(tǒng)服務(wù)管理人員進(jìn)行簡(jiǎn)單的數(shù)據(jù)遷移操作;Sqoop2功能完善、操作簡(jiǎn)便，同時(shí)支持多種訪問(wèn)模式(命令行操作、Web訪問(wèn)、Rest API)，引入角色安全機(jī)制增加安全性等多種優(yōu)點(diǎn)，但是結(jié)構(gòu)復(fù)雜，配置部署更加繁瑣。由于本書(shū)只用到Sqoop解決數(shù)據(jù)遷移問(wèn)題，因此使用Sqoop1就可以完成基本的需求。

猜你喜歡：

怎樣在hadoop虛擬機(jī)上安裝和配置JDK?

Scala算術(shù)操作符重載怎樣使用？與Java語(yǔ)法的區(qū)別在哪

黑馬程序員大數(shù)據(jù)培訓(xùn)課程