天天看點

開源一套資料異地備份系統

此系統解決遊族2w+個資料庫執行個體(包括mysql,redis,ssdb)的異地災備

每天大概40w+個備份檔案(99%的資料庫執行個體進行每小時備份政策)

每天40TB+資料量進行異地傳輸

此系統隻負責備份異地傳輸,不負責如何備份 具體備份腳本使用者自行編寫,隻要按照要求把備份資訊寫入對應日志檔案即可

備份隊列優先級控制,重要的備份優先拉取到異地

正常備份腳本出錯(腳本退出碼非0)

超過規定時間未備份

非法備份

針對報警做了一個chrome插件提醒的功能

叢集支援拉取資料調整,權重調整,叢集容量可以通過簡單的增加節點進行增加

節點根據配置預留白間,超過預留白間自動暫停,暫停後隻要叢集中還尚有正常工作的節點,整個叢集就能繼續工作

中繼資料存儲在ES,根據需要進行資料分析

配合恢複腳本可以實作查詢備份位置,下載下傳,恢複一氣呵成

本文轉自lustlost 51CTO部落格,原文連結:http://blog.51cto.com/lustlost/1788458,如需轉載請自行聯系原作者