首頁技術(shù)文章正文

分庫分表的目的是什么?幾種好用的數(shù)據(jù)庫拆分方法

更新時間:2022-10-11 來源:黑馬程序員 瀏覽量:

隨著互聯(lián)網(wǎng)及移動互聯(lián)網(wǎng)的發(fā)展,應(yīng)用系統(tǒng)的數(shù)據(jù)量也是成指數(shù)式增長,若采用單數(shù)據(jù)庫進(jìn)行數(shù)據(jù)存儲,存在以下性能瓶頸:

1. IO瓶頸:熱點數(shù)據(jù)太多,數(shù)據(jù)庫緩存不足,產(chǎn)生大量磁盤IO,效率較低。 請求數(shù)據(jù)太多,帶寬不夠,網(wǎng)絡(luò)IO瓶頸。

2. CPU瓶頸:排序、分組、連接查詢、聚合統(tǒng)計等SQL會耗費大量的CPU資源,請求數(shù)太多,CPU出現(xiàn)瓶頸。

為了解決上述問題,我們需要對數(shù)據(jù)庫進(jìn)行分庫分表處理。

分庫分表處理

分庫分表的中心思想都是將數(shù)據(jù)分散存儲,使得單一數(shù)據(jù)庫/表的數(shù)據(jù)量變小來緩解單一數(shù)據(jù)庫的性能問題,從而達(dá)到提升數(shù)據(jù)庫性能的目的。

拆分策略

分庫分表的形式,主要是兩種:垂直拆分和水平拆分。而拆分的粒度,一般又分為分庫和分表,所以組成的拆分策略最終如下:

數(shù)據(jù)庫拆分策略

垂直拆分

垂直分庫以表為依據(jù),根據(jù)業(yè)務(wù)將不同表拆分到不同庫中。所以拆分完的每個庫的表結(jié)構(gòu)都不一樣。每個庫的數(shù)據(jù)也不一樣。所有庫的并集是全量數(shù)據(jù)。 

垂直拆分

垂直分表

垂直分表以字段為依據(jù),根據(jù)字段屬性將不同字段拆分到不同表中。并且每個表的結(jié)構(gòu)都不一樣。每個表的數(shù)據(jù)也不一樣,一般通過一列(主鍵/外鍵)關(guān)聯(lián)。所有表的并集是全量數(shù)據(jù)。

垂直拆分

水平拆分

(1)水平分庫

水平分庫:以字段為依據(jù),按照一定策略,將一個庫的數(shù)據(jù)拆分到多個庫中。在水平分庫中每個庫的表結(jié)構(gòu)都一樣。每個庫的數(shù)據(jù)都不一樣。所有庫的并集是全量數(shù)據(jù)。

水平分庫

(2)水平分表

水平分表以字段為依據(jù),按照一定策略,將一個表的數(shù)據(jù)拆分到多個表中。特點:每個表的表結(jié)構(gòu)都一樣。每個表的數(shù)據(jù)都不一樣。所有表的并集是全量數(shù)據(jù)。

在業(yè)務(wù)系統(tǒng)中,為了緩解磁盤IO及CPU的性能瓶頸,到底是垂直拆分,還是水平拆分;具體是分庫,還是分表,都需要根據(jù)具體的業(yè)務(wù)需求具體分析。

水平分表

實現(xiàn)技術(shù)

shardingJDBC:基于AOP原理,在應(yīng)用程序中對本地執(zhí)行的SQL進(jìn)行攔截,解析、改寫、路由處理。需要自行編碼配置實現(xiàn),只支持java語言,性能較高。

MyCat:數(shù)據(jù)庫分庫分表中間件,不用調(diào)整代碼即可實現(xiàn)分庫分表,支持多種語言,性能不及前者。

實現(xiàn)技術(shù)

分享到:
在線咨詢 我要報名
和我們在線交談!