Dell R410 + Centos6.2 + MD3200部署

Dell R410 安裝有Centos6.2系統

硬體須知：

1、R410伺服器需要購買安裝SAS HBA卡，插在pcie槽，一個即可，想做備份就插2個；

2、MD3200一個控制器子產品可以連接配接4個伺服器，不含備援和備份；

3、如果連接配接4台伺服器需要4條SAS線，如果做備份的話，隻能連2台伺服器，每個伺服器接兩條；

硬體連接配接按照說明書即可（一條SAS線從伺服器連接配接md3200,一條網線用于帶外管理）。

具體應用：

1、為了友善采用帶外管理方式，用筆記本電腦安裝CD光牒所帶的管理軟體；

2、配置位址192.168.128.200連接配接MD3200的mgmt位址，192.168.128.101/102；

3、按照提示操作，配置raid類型和需要建立的磁盤，并将磁盤映射至伺服器；

4、Centos6.2采用multipathd軟體進行多路徑管理；

先用dell md3200安裝CD光牒，安裝linux下的軟體，備用，./autorun即可。

啟動

#service multipathd start

掃描陣列

#rescan_dm_devs

檢視映射來的磁盤

# multipath -ll

May 09 00:13:34 | multipath.conf line 101, invalid keyword: polling_interval

May 09 00:13:34 | multipath.conf line 109, invalid keyword: prio_callout

May 09 00:13:34 | multipath.conf line 116, invalid keyword: polling_interval

May 09 00:13:34 | multipath.conf line 124, invalid keyword: prio_callout

May 09 00:13:34 | multipath.conf line 131, invalid keyword: polling_interval

May 09 00:13:34 | multipath.conf line 139, invalid keyword: prio_callout

May 09 00:13:34 | multipath.conf line 146, invalid keyword: polling_interval

May 09 00:13:34 | multipath.conf line 154, invalid keyword: prio_callout

mpathb (36d4ae52000813c40000003964fa7047c) dm-2 DELL,MD32xx

size=27T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw

`-+- policy='round-robin 0' prio=6 status=active

  `- 1:0:0:0 sdb 8:16 active ready running#multipath -ll

mpath1 (36d4ae52000890a8e000003be4f8b19b9) dm-3 DELL,MD32xx

[size=15T][features=3 queue_if_no_path pg_init_retries 50][hwhandler=1 rdac][rw]

\_ round-robin 0 [prio=100][active]

\_ 1:0:0:1 sdd 8:48 [active][ready]

那個錯誤提示是說multipath.conf這個配置檔案中有些行使用了不能識别的關鍵字. 一般是配置檔案的版本問題. 不過一般來說multipath跑預設設定就好了，是以您可以先把出錯的行注釋掉。

MBR分區表：（MBR含義：主引導記錄）

所支援的最大卷：2T （T; terabytes,1TB=1024GB）

對分區的設限：最多4個主分區或3個主分區加一個擴充分區。

GPT分區表：（GPT含義：GUID分區表）

支援最大卷：18EB，（E：exabytes,1EB=1024TB）

每個磁盤最多支援128個分區

用 parted 建立大小超過2T的分區

由于單塊硬碟的容量不斷增大，價格也很便宜，現在2TB的硬碟已經很常見，而傳統的MBR方式存儲使很多分區工具不能正常讀取大于2TB的磁盤而無法分區大于2TB的磁盤，linux提供parted工具可以很好的支援大磁盤分區。

Parted和fdisk很相似，也是指令行工具，但是parted分區是實時的，隻要開始執行分區，就實實在在的分區啦，而不像fdisk工具需要執行w後才開始分區，是以使用parted分區的時候一定要注意，看清楚在下手。

分區，磁盤空間大于2T，采用gpt

#parted /dev/mapper/mpathb

(parted)mklabel gpt

(parted)mkpart primary 0% 100%

primary指分區類型為主分區，0是分區開始位置，100%是分區結束位置

(parted)print

檢視分區設定

Model: Linux device-mapper (multipath) (dm)

Disk /dev/mapper/mpathb: 30.0TB

Sector size (logical/physical): 512B/512B

Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags

 1      1049kB  30.0TB  30.0TB               primary

将新分區加入分區清單

#kpartx -a /dev/mapper/mpathbp1

雖然ext4 的 feature list 有支援 > 16TB, 不過.... 那目前來看就隻是設計目标, 因為 e2fsprogs 不支援 > 16TB，是以隻能換成xfs檔案格式，centos6.2的核心支援XFS，是以隻要安裝xfs軟體就可以了

#yum install xfsprogs*

格式化檔案系統

#mkfs.xfs /dev/mapper/mpathbp1

挂載

#mkdir /md3200

#mount /dev/mapper/mpathbp1 /md3200

檢視分區狀況

# df -hT

Filesystem    Type    Size  Used Avail Use% Mounted on

/dev/mapper/vg_ffmpeg-lv_root

              ext4     50G  4.9G   42G  11% /

tmpfs        tmpfs    7.8G     0  7.8G   0% /dev/shm

/dev/sda1     ext4    485M   61M  399M  14% /boot

/dev/mapper/vg_ffmpeg-lv_home

              ext4    208G  188M  197G   1% /home

/dev/mapper/mpathbp1

               xfs     28T   33M   28T   1% /md3200

最後加入到/etc/fstab開機挂載

/dev/mapper/mpathbp1    /md3200              xfs     defaults        1 2

Device Mapper 指令

指令	說明
multipath -h	列印使用資訊
multipath -ll	使用所有可用資訊（sysfs、Device Mapper、路徑檢查程式等資訊）顯示目前多路徑拓撲
multipath	使用簡化輸出重新集合多路徑裝置。
multipath -f <multipath_dev_node>	對特定多路徑裝置清除 Device Mapper。在删除基本實體裝置或取消其映射時使用。
multipath -F	清除所有未使用的多路徑裝置映射。
rescan_dm_devs	Dell 提供的腳本。強制重新掃描主機 SCSI 總線，并根據需要集合多路徑裝置。适用情況： LUN 動态映射至主機。 有新目标添加至主機。 需要恢複存儲陣列的故障。

限制和已知問題

• 在某些錯誤情況下，如果已設定 no_path_retry 或 queue_if_no_path 功能，則應用程式可能會挂起。要克服這些情況，必須為每個受影響的多路徑裝置輸入以下指令：

dmsetup message [device] 0 "fail_if_no_path"（dmsetup message [裝置] 0 "fail_if_no_path"）

其中 [裝置] 是多路徑裝置名稱（例如 mpath2，但是不指定路徑）。

• 如果在解除安裝卷之前删除了 Device Mapper 裝置，I/O 可能會挂起。
• 如果 scsi_dh_rdac 子產品未包含在 initrd 中，裝置搜尋可能變得更緩慢，并且系統日志可能會寫滿緩沖區 I/O 錯誤資訊。
• 如果主機伺服器或存儲陣列在 I/O 活動時重新開機，則 I/O 可能會挂起。在關閉或重新開機主機伺服器或存儲陣列之前，應該停止存儲陣列的所有 I/O。
• 對于 MD3200 系列陣列，在恢複發生故障的路徑之後，由于驅動程式無法在沒有強制重新掃描的情況下自動檢測裝置，是以未自動完成故障恢複。運作指令 rescan_dm_devs 強制重新掃描主機伺服器。由此可恢複發生故障的路徑，并激活故障恢複。
• 如果主機系統正在執行繁重的 I/O 操作，則故障恢複可能會很慢。此時若主機伺服器的 CPU 使用率也很高，則會加劇該問題。
• 如果主機系統正在執行繁重的 I/O 操作，則 Device Mapper 多路徑服務可能會很慢。此時若主機伺服器的 CPU 使用率也很高，則會加劇該問題。
• 如果未将根磁盤列入 multipath.conf 檔案中的黑名單，則可為根磁盤建立多路徑節點。指令 multipath -ll 會列出有助于确定該問題的供應商/産品 ID。

故障排除

問題	解答
如何确定 multipathd 是否正在運作？	運作以下指令 /etc/init.d/multipathd status
為什麼 multipath -ll 指令的輸出未顯示任何裝置？	先請驗證是否搜尋到裝置。指令 #cat /proc/scsi/scsi 可顯示所有已搜尋到的裝置。 然後驗證 multipath.conf 確定已用适當的設定将其更新。 此後運作 multipath。然後再運作 multipath -ll 就應顯示新裝置。
為什麼沒有為新映射的 LUN 配置設定多路徑裝置節點？	在任意目錄下運作 rescan_dm_devs。由此可調出裝置。
如果先前沒有映射任何 LUN，然後映射了部分 LUN。則在運作 rescan-scsi-bus.sh 之後無法顯示 LUN 0。	運作 rescan_dm_devs 而非 rescan-scsi-bus 以重新配置 LUN 0。
已移除 LUN，但多路徑映射依然存在。	移除 LUN 後，多路徑裝置依然存在。運作 multipath -f <已删除 LUN 的裝置節點> 以移除多路徑映射。例如，如果删除與 /dev/dm-1 相關的裝置，則必須運作 multipath -f /dev/dm-1 從 DM 映射表删除 /dev/dm-1。如果已停止/重新啟動多路徑守護程式，則應運作 multipath -F 清除所有失效的映射。