天天看點

snv伺服器備份方案

轉載自:http://spiritfrog.iteye.com/blog/448578 + http://magnet2008.iteye.com/blog/586578

備份政策

==============

svn備份一般采用三種方式:

1)svnadmin dump 

2)svnadmin hotcopy 

3)svnsync. 

注意,svn備份不宜采用普通的檔案拷貝方式(除非你備份的時候将庫暫停),如copy指令、rsync指令。 

筆者曾經用 rsync指令來做增量和全量備份,在季度備份檢查審計中,發現備份出來的庫大部分都不可用,是以最好是用svn本身提供的功能來進行備份。 

優缺點分析

============== 

第一種svnadmin dump是官方推薦的備份方式,優點是比較靈活,可以全量備份也可以增量備份,并提供了版本恢複機制。 

缺點是:如果版本比較大,如版本數增長到數萬、數十萬,那麼dump的過程将非常慢;備份耗時,恢複更耗時;不利于快速進行災難恢複。 

個人建議在版本數比較小的情況下使用這種備份方式。 

第二種svnadmin hotcopy原設計目的估計不是用來備份的,隻能進行全量拷貝,不能進行增量備份; 

優點是:備份過程較快,災難恢複也很快;如果備份機上已經搭建了svn服務,甚至不需要恢複,隻需要進行簡單配置即可切換到備份庫上工作。 

缺點是:比較耗費硬碟,需要有較大的硬碟支援(俺的備份機有1TB空間,呵呵)。 

第三種svnsync實際上是制作2個鏡像庫,當一個壞了的時候,可以迅速切換到另一個。不過,必須svn1.4版本以上才支援這個功能。 

優點是:當制作成2個鏡像庫的時候起到雙機實時備份的作用; 

缺點是:當作為2個鏡像庫使用時,沒辦法做到“想完全抛棄今天的修改恢複到昨晚的樣子”;而當作為普通備份機制每日備份時,操作又較前2種方法麻煩。

備份的指令

==============全備份:使用svnadmin dump或svnadmin hotcopy或svnsync來做,

hotcopy:

svnadmin hotcopy path/to/repository path/to/backup –clean-logs

dump:

svnadmin dump 版本庫路徑及名稱 –revision 導出的版本号> 導出的命名

增量備份:使用svnadmin dump的–incremental選項來實作

svnadmin dump 版本庫路徑及名稱 –revision 上次導出的版本号:到本次要導出到的版本号 –incremental > 導出的命名

一個技巧:如果你有一個較大的Subsersion版本庫而你又想用最少的空間來将它備份下來,用這個指令(請将/repo替換成你的版本庫路徑)吧:

svnadmin dump –deltas /repo |bzip2 |tee dump.bz2 | md5sum >dump.md5

分步解釋:最重要的一步是 -deltas,将消耗更多的CPU資源,但擁有更有效的差異存儲辦法。

bzip2壓縮方案比gzip慢,但換來的更好的壓縮率。

更有趣的是,tee方法将壓縮的資料流轉向到檔案dump.bz2,同時将其輸出到标準輸出,後者有轉向給了MD5摘要計算工具。

還原指令

還原版本:svnadmin load 要恢複的版本庫路徑及名稱 < 導出的命名

svnadmin dump

這是subversion官方推薦的備份方式。 

1)定義備份政策: 

備份頻度:每周六進行一次全量備份,每周日到周五進行增量備份 

備份地點:備份存儲路徑到/home/backup/svn/ 

備份命名:全量備份檔案名為:weekly_fully_backup.yymmdd,增量備份檔案命名為:daily-incremental-backup.yymmdd 

備份時間:每晚21點開始 

備份檢查:每月末進行svnadmin load恢複試驗。 

2)建立全量備份腳本: 

在~/下建立一個perl腳本檔案,名為weekly_backup.pl,執行全量備份,并壓縮備份檔案,代碼如下(本代碼隻針對一個庫的備份,如果是多個庫請做相應改動): 

#!/usr/bin/perl -w 

my $svn_repos="/home/svn/repos/project1"; 

my $backup_dir="/home/backup/svn/"; 

my $next_backup_file = "weekly_fully_backup.".`date +%Y%m%d`; 

$youngest=`svnlook youngest $svn_repos`; 

chomp $youngest; 

print "Backing up to revision $youngest\n"; 

my $svnadmin_cmd="svnadmin dump --revision 0:$youngest $svn_repos >$backup_dir/$next_backup_file"; 

`$svnadmin_cmd`; 

open(LOG,">$backup_dir/last_backed_up"); #記錄備份的版本号 

print LOG $youngest; 

close LOG; 

#如果想節約空間,則再執行下面的壓縮腳本 

print "Compressing dump file...\n"; 

print `gzip -g $backup_dir/$next_backup_file`; 

3)建立增量備份腳本: 

在全量備份的基礎上,進行增量備份:在~/下建立一個perl腳本檔案,名為:daily_backup.pl,代碼如下: 

my $next_backup_file = "daily_incremental_backup.".`date +%Y%m%d`; 

open(IN,"$backup_dir/last_backed_up"); 

$previous_youngest = <IN>; 

chomp $previous_youngest; 

close IN; 

if ($youngest eq $previous_youngest) 

  print "No new revisions to backup.\n"; 

  exit 0; 

my $first_rev = $previous_youngest + 1; 

print "Backing up revisions $youngest ...\n"; 

my $svnadmin_cmd = "svnadmin dump --incremental --revision $first_rev:$youngest $svn_repos > $backup_dir/$next_backup_file"; 

4)配置/etc/crontab檔案 

配置 /etc/crontab 檔案,指定每周六執行weekly_backup.pl,指定周一到周五執行daily_backup.pl; 

具體步驟俺就不啰嗦了. 

5)備份恢複檢查 

在月底恢複檢查中或者在災難來臨時,請按照如下步驟進行恢複:恢複順序從低版本逐個恢複到高版本;即,先恢複最近的一次完整備份 weekly_full_backup.071201(舉例),然後恢複緊挨着這個檔案的增量備份 daily_incremental_backup.071202,再恢複後一天的備份071203,依次類推。如下: 

user1>mkdir newrepos 

user1>svnadmin create newrepos 

user1>svnadmin load newrepos < weekly_full_backup.071201 

user1>svnadmin load newrepos < daily_incremental_backup.071202 

user1>svnadmin load newrepos < daily_incremental_backup.071203 

.... 

如果備份時采用了gzip進行壓縮,恢複時可将解壓縮和恢複指令合并,簡單寫成: 

user1>zcat weekly_full_backup.071201 | svnadmin load newrepos 

user1>zcat daily_incremental_backup.071202 | svnadmin load newrepos 

...

svnadmin hotcopy整庫拷貝方式 

==============svnadmin hotcopy是将整個庫都“熱”拷貝一份出來,包括庫的鈎子腳本、配置檔案等;任何時候運作這個腳本都得到一個版本庫的安全拷貝,不管是否有其他程序正在使用版本庫。 

是以這是俺青睐的備份方式。 

1)定義備份政策 

備份頻度:每天進行一次全量備份, 

備份地點:備份目錄以日期命名,備份路徑到 /home/backup/svn/${mmdd} 

備份保留時期:保留10天到15天,超過15天的進行删除。 

備份檢查:備份完畢後自動運作檢查腳本、自動發送報告。 

2)建立備份腳本 

在自己home目錄 ~/下建立一個檔案,backup.sh: 

#!/bin/bash 

SRCPATH=/home/svn/repos/; #定義倉庫parent路徑 

DISTPATH=/home/backup/svn/`date +\%m%d`/ ; #定義存放路徑; 

if [ -d "$DISTPATH" ] 

then 

else 

   mkdir $DISTPATH 

   chmod g+s $DISTPATH 

fi 

echo $DISTPATH 

svnadmin hotcopy $SRCPATH/Project1 $DISTPATH/Project1 >/home/backup/svn/cpreport.log 2>&1; 

svnadmin hotcopy $SRCPATH/Project2 $DISTPATH/Project2 

cp $SRCPATH/access  $DISTPATH; #備份access檔案 

cp $SRCPATH/passwd  $DISTPATH; #備份passwd檔案 

perl /home/backup/svn/backup_check.pl #運作檢查腳本 

perl /home/backup/svn/deletDir.pl  #運作删除腳本,對過期備份進行删除。 

3)建立檢查腳本 

在上面指定的地方/home/backup/svn/下建立一個perl腳本:backup_check.pl 

備份完整性檢查的思路是:對備份的庫運作 svnlook youngest,如果能正确列印出最新的版本号,則表明備份檔案沒有缺失;如果運作報錯,則說明備份不完整。我試過如果備份中斷,則運作svnlook youngest會出錯。 

4)定義删除腳本 

由于是全量備份,是以備份不宜保留太多,隻需要保留最近10來天的即可,對于超過15天曆史的備份基本可以删除了。 

   在/home/backup/svn/下建立一個perl腳本:deletDir.pl

5)修改/etc/crontab 檔案 

   在該檔案中指定每晚21點執行“backup.sh”腳本。

svnsync備份

使用svnsync備份很簡單,步驟如下: 

1)在備份機上建立一個空庫:svnadmin create Project1 

2)更改該庫的鈎子腳本pre-revprop-change(因為svnsync要改這個庫的屬性,也就是要将源庫的屬性備份到這個庫,是以要啟用這個腳本):   

  cd SMP/hooks; 

  cp pre-revprop-change.tmpl pre-revprop-change; 

  chmod 755 pre-revprop-change; 

  vi pre-revprop-change; 

  将該腳本後面的三句注釋掉,或者幹脆将它弄成一個空檔案。 

3)初始化,此時還沒有備份任何資料: 

svnsync init file:///home/backup/svn/svnsync/Project1/  http://svntest.subversion.com/repos/Project1 

  文法是:svnsync init {你剛建立的庫url} {源庫url} 

  注意本地url是三個斜杠的:/// 

4)開始備份(同步): 

  svnsync sync file:///home/backup/svn/svnsync/Project1 

5)建立同步腳本 

  備份完畢後,建立鈎子腳本進行同步。在源庫/hooks/下建立/修改post-commit腳本,在其中增加一行,内容如下: 

    /usr/bin/svnsync sync  --non-interactive file:///home/backup/svn/svnsync/Project1 

  你可能已經注意到上面的備份似乎都是本地備份,不是異地備份。實際上,我是通過将遠端的備份機mount(請參閱mount指令)到svn伺服器上來實作的,邏輯上看起來是本地備份,實體上實際是異地備份。

 完!