詳情描述
HBASE定時(shí)、實(shí)時(shí)備份恢復(fù)的方法
隨著HBase在重要的商業(yè)系統(tǒng)中應(yīng)用的大量增加,許多企業(yè)需要通過對(duì)它們的HBase集群建立健壯的備份和故障恢復(fù)機(jī)制來保證它們的企業(yè)(數(shù)據(jù))資產(chǎn)。備份Hbase時(shí)的難點(diǎn)是其待備份的數(shù)據(jù)集可能非常巨大,因此備份方案必須有很高的效率。Hbase備份方案必須既能夠伸縮至對(duì)數(shù)百TB的存儲(chǔ)容量進(jìn)行備份,又能夠在一個(gè)合理的時(shí)間內(nèi)完成數(shù)據(jù)恢復(fù)的工作。
HBase是一個(gè)基于LSM樹(log-structured merge-tree)的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng),它使用復(fù)雜的內(nèi)部機(jī)制確保數(shù)據(jù)準(zhǔn)確性、一致性、多版本等。因此,你如何獲取數(shù)十個(gè)region server在HDFS和內(nèi)存中的存儲(chǔ)的眾多HFile文件、WALs(Write-Ahead-Logs)的一致的數(shù)據(jù)備份.
HBASE快照能通過在HDFS中創(chuàng)建一個(gè)和unix硬鏈接相同的存儲(chǔ)文件,簡(jiǎn)單捕捉你的hbase表的某一時(shí)刻的信息(如下圖)。這些快照在幾秒內(nèi)就可以完成,幾乎對(duì)整個(gè)集群沒有任何性能影響。并且,它只占用一個(gè)微不足道的空間。
HBase的導(dǎo)出工具是一個(gè)內(nèi)置的實(shí)用功能,它使數(shù)據(jù)很容易從hbase表導(dǎo)入HDFS目錄下的文件。它創(chuàng)造了一個(gè)map reduce任務(wù),通過一系列HBase API來調(diào)用集群,獲取指定表格的每一行數(shù)據(jù),并且將數(shù)據(jù)寫入指定的HDFS目錄中。這個(gè)工具對(duì)集群來講是性能密集的,因?yàn)樗褂昧薽apreduce和HBase 客戶端API。但是它的功能豐富,支持制定版本或日期范圍,支持?jǐn)?shù)據(jù)的篩選,從而使增量備份可用。
UCACHE企業(yè)級(jí)災(zāi)備云作為企業(yè)整體數(shù)據(jù)遷移工具使用:
1、基于云數(shù)據(jù)中心的災(zāi)備服務(wù)方案實(shí)現(xiàn)跨地域和物理隔離的異地容災(zāi)解決方案,可作為企業(yè)解決異地容災(zāi)備份工具;
2、作為支持企業(yè)數(shù)據(jù)從本地到云端(D2C或D2D2C)的整體數(shù)據(jù)遷移工具;
3、作為云端到云端(C2C)的災(zāi)備服務(wù)架構(gòu),滿足企業(yè)云端到云端的整體數(shù)據(jù)遷移工具;
4、支持將數(shù)據(jù)災(zāi)備到UCache全國(guó)300+數(shù)據(jù)中心,或用戶自建的數(shù)據(jù)中心的數(shù)據(jù)異地災(zāi)備使用。