目录
- 学习笔记：CentOS7学习之十五： RAID磁盘阵列的原理与搭建
- 14.1 RAID概念
- 14.1.1 RAID几种常见的类型
- 14.1.2 RAID-0工作原理
- 14.1.3 RAID-1工作原理
- 14.1.4 RAID-5工作原理
- 14.1.5 嵌套RAID级别
- 14.1.6 RAID硬盘失效处理
- 14.2 RAID-0-1-5-10搭建及使用-删除RAID及注意事项
- 14.2.1 RAID的实现方式
- 14.2.2 RAID实验
- 14.2.2.1 实验环境搭建
- 14.2.2.2 创建raid0
- 14.2.2.3 创建raid1
- 14.2.2.4 创建raid5
- 14.2.2.5 创建raid10
- 14.2.2.6 删除RAID所有信息方法以及注意事项
- 14.1 RAID概念
本文用于记录学习体会、心得，兼做笔记使用，方便以后复习总结。内容基本完全参考学神教育教材，图片大多取材自学神教育资料，在此非常感谢MK老师和学神教育的优质教学。希望各位因学习需求而要进行转载时，能申明出处为学神教育，谢谢各位！
学习笔记：CentOS7学习之十五： RAID磁盘阵列的原理与搭建
有半个月没有更新了，得抓紧了，岁数大了学的慢等多花时间还要提高效率。这部分内容是完全参考学神教育RHCE的教材学习，里面很多图片、内容都直接应用RHCE学神中原有材料。感谢学神教育和学神各位老师的悉心教导。特地转录为blog，一是相当于做笔记复习，二为方便以后查询。
14.1 RAID概念
磁盘阵列（Redundant Arrays of Independent Disks，RAID），有“独立磁盘构成的具有冗余能力的阵列”之意。 磁盘阵列是由很多价格较便宜的磁盘，以硬件（RAID卡）或软件（MDADM）形式组合成一个容量巨大的磁盘组，利用多个磁盘组合在一起，提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。 磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中
注：RAID可以预防数据丢失，但是它并不能完全保证你的数据不会丢失，所以大家使用RAID的同时还是注意备份重要的数据
RAID的创建有两种方式：软RAID（通过操作系统软件来实现）和硬RAID（使用硬件阵列卡）；在企业中用的最多的是：raid1、raid5和raid10。不过随着云的高速发展，供应商一般可以把硬件问题解决掉。
14.1.1 RAID几种常见的类型
| 级 别 | 说 明 | 最低磁盘个数 | 空间利用率 | 各自的优缺点 |
|---|---|---|---|---|
| RAID0 | 条带卷 | 2+ | 100% | 读写速度快，不容错 |
| RAID1 | 镜像卷 | 2 | 50% | 读写速度一般，容错 |
| RAID5 | 带奇偶校验的条带卷 | 3+ | (n-1)/n | 读写速度快，容错，允许坏一块盘 |
| RAID6 | 带奇偶校验的条带集，双校验 | 4+ | (n-2)/n | 读写快，容错，允许坏两块盘 |
| RAID10 | RAID1的安全+RAID0的高速 | 4 | 50% | 读写速度快，容错 |
| RAID50 | RAID5的安全+RAID0的高速 | 6 | (n-2)/n | 读写速度快，容错 |
RAID基本思想：把好几块硬盘通过一定组合方式把它组合起来，成为一个新的硬盘阵列组，从而使它能够达到高性能硬盘的要求
RAID有三个关键技术：镜像：提供了数据的安全性；
chunk条带（块大小也可以说是条带的粒度），它的存在的就是为了提高I/O，提供了数据并发性
数据的校验：提供了数据的安全
Raid相对于单个磁盘优点:
- 扩展容量
- 提高读写速度，提升硬盘性能
- 高可靠性
14.1.2 RAID-0工作原理
条带 （strping），也是我们最早出现的RAID模式
需磁盘数量:2块以上(大小最好相同)，是组建磁盘阵列中最简单的一种形式，只需要2块以上的硬盘即可.
特点:成本低，可以提高整个磁盘的性能和吞吐量。RAID 0没有提供冗余或错误修复能力，速度快.
任何一个磁盘的损坏将损坏全部数据；磁盘利用率为100%。
14.1.3 RAID-1工作原理
mirroring（镜像卷），需要磁盘两块以上
原理:是把一个磁盘的数据镜像到另一个磁盘上，也就是说数据在写入一块磁盘的同时，会在另一块闲置的磁盘上生成镜像文件，(同步)
RAID 1 mirroring（镜像卷），至少需要两块硬盘，raid大小等于两个raid分区中最小的容量（最好将分区大小分为一样），数据有冗余，在存储时同时写入两块硬盘，实现了数据备份；
磁盘利用率为50%，即2块100G的磁盘构成RAID1只能提供100G的可用空间。如下图
14.1.4 RAID-5工作原理
需要三块或以上硬盘，可以提供热备盘实现故障的恢复；只损坏一块，没有问题。但如果同时损坏两块磁盘，则数据将都会损坏。
空间利用率： (n-1)/n 2/3 如下图所示
奇偶校验信息的作用:
当RAID5的一个磁盘数据发生损坏后，利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。
14.1.5 嵌套RAID级别
RAID-10镜像+条带：RAID 10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。比如我们有8块盘，它是先两两做镜像，形成了新的4块盘，然后对这4块盘做RAID0；当RAID10有一个硬盘受损其余硬盘会继续工作，这个时候受影响的硬盘只有2块
14.1.6 RAID硬盘失效处理
一般两种处理方法：热备和热插拔
- 热备:HotSpare
定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性
全局式：备用硬盘为系统中所有的冗余RAID组共享
专用式：备用硬盘为系统中某一组冗余RAID组专用
如下图所示：是一个全局热备的示例，该热备盘由系统中两个RAID组共享，可自动顶替任何一个RAID中的一个失效硬盘
- 热拔插：HotSwap
定义：在不影响系统正常运转的情况下，用正常的物理硬盘替换RAID系统中失效硬盘。
14.2 RAID-0-1-5-10搭建及使用-删除RAID及注意事项
14.2.1 RAID的实现方式
RAID的实现方式分为两种：硬raid和软raid
- 硬RAID：
需要RAID卡，我们的磁盘是接在RAID卡的，由它统一管理和控制。数据也由它来进行分配和维护；它有自己的cpu，处理速度快
一般都是先做阵列才装系统 ，一般服务器启动时，有显示进入配置Riad的提示，比如：按下CTRL+L/H/M进入配置raid界面
- 软RAID:
Linux内核中有一个md(multiple devices)模块在底层管理RAID设备，它会在应用层给我们提供一个应用程序的工具mdadm ，mdadm是linux下用于创建和管理软件RAID的命令。
mdadm命令常见参数解释：
| -C或--creat | 建立一个新阵列 | -r | 移除设备 |
|---|---|---|---|
| -A | 激活磁盘阵列 | -l 或--level= | 设定磁盘阵列的级别 |
| -D或--detail | 打印阵列设备的详细信息 | -n或--raid-devices= | 指定阵列成员（分区/磁盘）的数量 |
| -s或--scan | 扫描配置文件或/proc/mdstat得到阵列缺失信息 | -x或--spare-devicds= | 指定阵列中备用盘的数量 |
| -f | 将设备状态定为故障 | -c或--chunk= | 设定阵列的块chunk块大小 ，单位为KB |
| -a或--add | 添加设备到阵列 | -G或--grow | 改变阵列大小或形态 |
| -v或--verbose | 显示详细信息 | -S | 停止阵列 |
14.2.2 RAID实验
14.2.2.1 实验环境搭建
新增11块以上硬盘，大小均为20g用于下面的实验：
[root@localhost ~]# ll /dev/sd*
brw-rw----. 1 root disk 8, 0 6月 14 17:31 /dev/sda
brw-rw----. 1 root disk 8, 1 6月 14 17:31 /dev/sda1
brw-rw----. 1 root disk 8, 2 6月 14 17:31 /dev/sda2
brw-rw----. 1 root disk 8, 16 6月 14 17:31 /dev/sdb
brw-rw----. 1 root disk 8, 32 6月 14 17:31 /dev/sdc
brw-rw----. 1 root disk 8, 48 6月 14 17:31 /dev/sdd
brw-rw----. 1 root disk 8, 64 6月 14 17:31 /dev/sde
brw-rw----. 1 root disk 8, 80 6月 14 17:31 /dev/sdf
brw-rw----. 1 root disk 8, 96 6月 14 17:31 /dev/sdg
brw-rw----. 1 root disk 8, 112 6月 14 17:31 /dev/sdh
brw-rw----. 1 root disk 8, 128 6月 14 17:31 /dev/sdi
brw-rw----. 1 root disk 8, 144 6月 14 17:31 /dev/sdj
brw-rw----. 1 root disk 8, 160 6月 14 17:31 /dev/sdk
brw-rw----. 1 root disk 8, 176 6月 14 17:31 /dev/sdl
brw-rw----. 1 root disk 8, 192 6月 14 17:31 /dev/sdm
brw-rw----. 1 root disk 8, 208 6月 14 17:31 /dev/sdn
实验环境：
| raid种类 | 磁盘 | 热备盘 |
|---|---|---|
| raid0 | sdb、sdc | |
| raid1 | sdd、sde | sdf |
| raid5 | sdg、sdh、sdi | sdj |
| raid10 | 分区：sdk1,sdk2,sdk3.sdk4 |
注：工作中正常做raid全部是使用独立的磁盘来做的。为了节约资源，raid10以一块磁盘上多个分区来代替多个独立的磁盘做raid，但是这样做出来的raid没有备份数据的作用，因为一块磁盘坏了，这个磁盘上所做的raid也就都坏了。
14.2.2.2 创建raid0
- 创建raid0
[root@localhost ~]# mdadm -C -v /dev/md0 -l 0 -n 2 /dev/sdb /dev/sdc
mdadm: chunk size defaults to 512K
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
[root@localhost ~]# mdadm -Dvs
ARRAY /dev/md0 level=raid0 num-devices=2 metadata=1.2 name=localhost.localdomain:0 UUID=9a8ead7c:55c06fd5:78780906:3b39f596
devices=/dev/sdb,/dev/sdc
- 查看raid信息
[root@localhost ~]# mdadm -D /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Fri Jun 14 17:53:00 2019
Raid Level : raid0 #raid级别
Array Size : 41908224 (39.97 GiB 42.91 GB) #raid的大小，raid0为两块硬盘之和
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Fri Jun 14 17:53:00 2019
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Chunk Size : 512K #chunk为raid中最小的存储单位，相当于磁盘中的簇和block大小
Consistency Policy : none
Name : localhost.localdomain:0 (local to host localhost.localdomain)
UUID : 9a8ead7c:55c06fd5:78780906:3b39f596
Events : 0
Number Major Minor RaidDevice State
0 8 16 0 active sync /dev/sdb
1 8 32 1 active sync /dev/sdc
[root@localhost ~]# mdadm -Dvs > /etc/mdadm.conf #生成配置文件
- 对创建的RAID0进行文件系统创建并挂载
[root@localhost ~]# mkfs.xfs /dev/md0 #使用md0创建XFS文件系统
meta-data=/dev/md0 isize=512 agcount=16, agsize=654720 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=10475520, imaxpct=25
= sunit=128 swidth=256 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=5120, version=2
= sectsz=512 sunit=8 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@localhost ~]# mkdir /raid0
[root@localhost ~]# mount /dev/md0 /raid0 #挂载md0
[root@localhost ~]# cp /etc/passwd /raid0
[root@localhost ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root 36G 4.9G 31G 14% /
devtmpfs 2.0G 0 2.0G 0% /dev
tmpfs 2.0G 0 2.0G 0% /dev/shm
tmpfs 2.0G 13M 2.0G 1% /run
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
/dev/sda1 1014M 166M 849M 17% /boot
tmpfs 394M 4.0K 394M 1% /run/user/42
tmpfs 394M 40K 394M 1% /run/user/1000
/dev/sr0 4.3G 4.3G 0 100% /run/media/yangjie/CentOS 7 x86_64
tmpfs 394M 0 394M 0% /run/user/0
/dev/md0 40G 33M 40G 1% /raid0
- 开机自动挂载
[root@localhost ~]# blkid /dev/md0 #查看md0的UUID，注意此UUID和mdadm -D中查看的不一样，开机挂载的UUID要使用该UUID
/dev/md0: UUID="aab211ff-3283-4055-8e1e-a7175337e023" TYPE="xfs"
[root@localhost ~]# echo "UUID=aab211ff-3283-4055-8e1e-a7175337e023 /raid0 xfs defaults 0 0" >> /etc/fstab
[root@localhost ~]# umount /dev/md0
[root@localhost ~]# mount -a
[root@localhost ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root 36G 4.9G 31G 14% /
devtmpfs 2.0G 0 2.0G 0% /dev
tmpfs 2.0G 0 2.0G 0% /dev/shm
tmpfs 2.0G 13M 2.0G 1% /run
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
/dev/sda1 1014M 166M 849M 17% /boot
tmpfs 394M 4.0K 394M 1% /run/user/42
tmpfs 394M 40K 394M 1% /run/user/1000
/dev/sr0 4.3G 4.3G 0 100% /run/media/yangjie/CentOS 7 x86_64
tmpfs 394M 0 394M 0% /run/user/0
/dev/md0 40G 33M 40G 1% /raid0
[root@localhost ~]# ll /raid0
总用量 4
-rw-r--r--. 1 root root 3367 6月 14 18:04 passwd
14.2.2.3 创建raid1
实验内容如下：
| raid种类 | 磁盘 | 热备盘 |
|---|---|---|
| raid1 | sdd、sde | sdf |
步骤：
- 创建RAID1
- 添加1个热备盘
- 模拟磁盘故障，自动顶替故障盘
- 从raid1中移出故障盘
使用sdd、sde、sdf创建raid1，其中1块热备盘
[root@localhost ~]# mdadm -C -v /dev/md1 -l 1 -n 2 -x 1 /dev/sd[d,e,f]
mdadm: Note: this array has metadata at the start and
may not be suitable as a boot device. If you plan to
store '/boot' on this device please ensure that
your boot-loader understands md/v1.x metadata, or use
--metadata=0.90
mdadm: size set to 20954112K
Continue creating array? y #是否创建，输入y确认创建
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md1 started.
[root@localhost ~]# mdadm -Dvs > /etc/mdadm.conf #更新阵列配置表
[root@localhost ~]# mdadm -D /dev/md1 #查看整列信息
/dev/md1:
Version : 1.2
Creation Time : Fri Jun 14 18:21:53 2019
Raid Level : raid1
Array Size : 20954112 (19.98 GiB 21.46 GB) # raid1的硬盘使用率为50%
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 2
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Fri Jun 14 18:22:17 2019
State : clean
Active Devices : 2
Working Devices : 3
Failed Devices : 0
Spare Devices : 1
Consistency Policy : resync
Name : localhost.localdomain:1 (local to host localhost.localdomain)
UUID : ca7c7046:533ead41:e9c85b9c:caec344d
Events : 17
Number Major Minor RaidDevice State
0 8 48 0 active sync /dev/sdd
1 8 64 1 active sync /dev/sde
2 8 80 - spare /dev/sdf #sdf为热备盘spare
[root@localhost ~]# mkfs.xfs /dev/md1 #使用md1制作XFS文件系统
meta-data=/dev/md1 isize=512 agcount=4, agsize=1309632 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=5238528, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
挂载/dev/md1
[root@localhost ~]# mkdir /raid1
[root@localhost ~]# mount /dev/md1 /raid1
[root@localhost ~]# cp /etc/passwd /raid1
[root@localhost ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root 36G 4.9G 31G 14% /
devtmpfs 2.0G 0 2.0G 0% /dev
tmpfs 2.0G 0 2.0G 0% /dev/shm
tmpfs 2.0G 13M 2.0G 1% /run
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
/dev/sda1 1014M 166M 849M 17% /boot
tmpfs 394M 4.0K 394M 1% /run/user/42
tmpfs 394M 40K 394M 1% /run/user/1000
/dev/sr0 4.3G 4.3G 0 100% /run/media/yangjie/CentOS 7 x86_64
tmpfs 394M 0 394M 0% /run/user/0
/dev/md0 40G 33M 40G 1% /raid0
/dev/md1 20G 33M 20G 1% /raid1 #确认已经挂载
为/dev/md1添加开机自动挂载
[root@localhost ~]# blkid /dev/md1 #查看/dev/md1的UUID
/dev/md1: UUID="d1abb2ab-f970-4135-aebd-2f55c64869e1" TYPE="xfs"
[root@localhost ~]# echo "UUID=d1abb2ab-f970-4135-aebd-2f55c64869e1 /raid1 xfs defaults 0 0" >> /etc/fstab
[root@localhost ~]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Fri May 17 14:49:19 2019
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults 0 0
UUID=46533d14-34f2-4e0a-990b-7156c236f2e6 /boot xfs defaults 0 0
/dev/mapper/centos-swap swap swap defaults 0 0
UUID=aab211ff-3283-4055-8e1e-a7175337e023 /raid0 xfs defaults 0 0
UUID=d1abb2ab-f970-4135-aebd-2f55c64869e1 /raid1 xfs defaults 0 0
检测开机自动挂载是否成功
[root@localhost ~]# umount /dev/md1
[root@localhost ~]# mount -a
[root@localhost ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root 36G 4.9G 31G 14% /
devtmpfs 2.0G 0 2.0G 0% /dev
tmpfs 2.0G 0 2.0G 0% /dev/shm
tmpfs 2.0G 13M 2.0G 1% /run
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
/dev/sda1 1014M 166M 849M 17% /boot
tmpfs 394M 4.0K 394M 1% /run/user/42
tmpfs 394M 40K 394M 1% /run/user/1000
/dev/sr0 4.3G 4.3G 0 100% /run/media/yangjie/CentOS 7 x86_64
tmpfs 394M 0 394M 0% /run/user/0
/dev/md0 40G 33M 40G 1% /raid0
/dev/md1 20G 33M 20G 1% /raid1
模拟损坏，下面模拟RAID1中数据盘/dev/sde出现故障，观察/dev/sdf备用盘能否自动顶替故障盘
[root@localhost ~]# mdadm /dev/md1 -f /dev/sde #模拟sde故障
mdadm: set /dev/sde faulty in /dev/md1
[root@localhost ~]# mdadm -D /dev/md1 #查看md1状态
/dev/md1:
Version : 1.2
Creation Time : Fri Jun 14 18:21:53 2019
Raid Level : raid1
Array Size : 20954112 (19.98 GiB 21.46 GB)
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 2
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Fri Jun 14 18:29:31 2019
State : clean, degraded, recovering
Active Devices : 1
Working Devices : 2
Failed Devices : 1
Spare Devices : 1
Consistency Policy : resync
Rebuild Status : 38% complete #热备盘开始数据同步
Name : localhost.localdomain:1 (local to host localhost.localdomain)
UUID : ca7c7046:533ead41:e9c85b9c:caec344d
Events : 25
Number Major Minor RaidDevice State
0 8 48 0 active sync /dev/sdd
2 8 80 1 spare rebuilding /dev/sdf #热备盘自动重建
1 8 64 - faulty /dev/sde #sde状态为故障
[root@localhost ~]# mdadm -Dvs > /etc/mdadm.conf #更新md配置文件
[root@localhost ~]# ls /raid1/ #查看md1上挂载的文件系统是否可用，确认可用
passwd
[root@localhost ~]# mdadm /dev/md1 -r /dev/sde #删除故障硬盘
mdadm: hot removed /dev/sde from /dev/md1
[root@localhost ~]# mdadm -D /dev/md1 #重新查看md1状态
/dev/md1:
Version : 1.2
Creation Time : Fri Jun 14 18:21:53 2019
Raid Level : raid1
Array Size : 20954112 (19.98 GiB 21.46 GB)
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Fri Jun 14 18:33:42 2019
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Consistency Policy : resync
Name : localhost.localdomain:1 (local to host localhost.localdomain)
UUID : ca7c7046:533ead41:e9c85b9c:caec344d
Events : 37
Number Major Minor RaidDevice State #查看发现没有热备盘了
0 8 48 0 active sync /dev/sdd
2 8 80 1 active sync /dev/sdf
[root@localhost ~]# mdadm /dev/md1 -a /dev/sde #添加一块新热备盘
mdadm: added /dev/sde
[root@localhost ~]# mdadm -Dvs > /etc/mdadm.conf #更新raid配置文件
14.2.2.4 创建raid5
实验环境：
| raid种类 | 磁盘 | 热备盘 |
|---|---|---|
| raid5 | sdg、sdh、sdi | sdj |
实验步骤
- 创建RAID5, 添加1个热备盘，指定chunk大小为32K
-x或--spare-devicds= 指定阵列中备用盘的数量
-c或--chunk= 设定阵列的块chunk块大小 ，单位为KB
- 停止阵列，重新激活阵列
- 使用热备盘，扩展阵列容量，从3个磁盘扩展到4个
创建raid5
[root@localhost ~]# mdadm -C -v /dev/md5 -l 5 -n 3 -x 1 /dev/sd[g,h,i,j]
mdadm: layout defaults to left-symmetric
mdadm: layout defaults to left-symmetric
mdadm: chunk size defaults to 512K
mdadm: size set to 20954112K
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md5 started.
[root@localhost ~]# mdadm -D /dev/md5
/dev/md5:
Version : 1.2
Creation Time : Fri Jun 14 19:07:56 2019
Raid Level : raid5 #设置raid的级别为raid5
Array Size : 41908224 (39.97 GiB 42.91 GB) #raid5的磁盘使用率为（n-1）/n
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 3
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Fri Jun 14 19:08:09 2019
State : clean, degraded, recovering
Active Devices : 2
Working Devices : 4
Failed Devices : 0
Spare Devices : 2
Layout : left-symmetric
Chunk Size : 512K
Consistency Policy : resync
Rebuild Status : 27% complete #新建的raid5正在同步中
Name : localhost.localdomain:5 (local to host localhost.localdomain)
UUID : 22292719:a4fd7782:6b02ad40:d8e86734
Events : 5
Number Major Minor RaidDevice State
0 8 96 0 active sync /dev/sdg
1 8 112 1 active sync /dev/sdh
4 8 128 2 spare rebuilding /dev/sdi #奇偶校验盘
3 8 144 - spare /dev/sdj #热备盘
停止md5阵列
[root@localhost ~]# mdadm -Dvs > /etc/mdadm.conf #更新raid配置文件
[root@localhost ~]# mdadm -D /dev/md5 #停止之前确认md5数据同步已经完成
/dev/md5:
Version : 1.2
Creation Time : Fri Jun 14 19:07:56 2019
Raid Level : raid5
Array Size : 41908224 (39.97 GiB 42.91 GB)
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 3
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Fri Jun 14 19:08:43 2019
State : clean
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1
Layout : left-symmetric
Chunk Size : 512K
Consistency Policy : resync #数据同步已经完成
Name : localhost.localdomain:5 (local to host localhost.localdomain)
UUID : 22292719:a4fd7782:6b02ad40:d8e86734
Events : 18
Number Major Minor RaidDevice State
0 8 96 0 active sync /dev/sdg
1 8 112 1 active sync /dev/sdh
4 8 128 2 active sync /dev/sdi
3 8 144 - spare /dev/sdj
[root@localhost ~]#
[root@localhost ~]# cat /proc/mdstat #查看磁盘阵列的运行情况
Personalities : [raid0] [raid1] [raid6] [raid5] [raid4]
md5 : active raid5 sdi[4] sdj[3](S) sdh[1] sdg[0]
41908224 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
md1 : active raid1 sde[3](S) sdf[2] sdd[0]
20954112 blocks super 1.2 [2/2] [UU]
md0 : active raid0 sdc[1] sdb[0]
41908224 blocks super 1.2 512k chunks
unused devices: <none>
[root@localhost ~]# mdadm -S /dev/md5 #停止md5
mdadm: stopped /dev/md5
激活md5
[root@localhost ~]# mdadm -A /dev/md5
mdadm: /dev/md5 has been started with 3 drives and 1 spare.
# 使用mdadm -As会扫描/etc/mdadm.conf文件，从而激活所有未激活的阵列
扩展RAID5磁盘阵列，将热备盘增加到md5中，使用md5中可以使用的磁盘数量为4块
[root@localhost ~]# mdadm -G /dev/md5 -n 4
#-G或--grow 改变阵列大小或形态
[root@localhost ~]# mdadm -D /dev/md5 #查看状态
/dev/md5:
Version : 1.2
Creation Time : Fri Jun 14 19:07:56 2019
Raid Level : raid5
Array Size : 41908224 (39.97 GiB 42.91 GB) #同步未完成时，磁盘空间未变化
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Fri Jun 14 19:31:33 2019
State : clean, reshaping
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Consistency Policy : resync
Reshape Status : 22% complete #重塑状态：22%完成 ，等到100%， 数据才同步完，同步完后会变成成：Consistency Policy : resync #一致性策略：再同步，表示已经同步完
Delta Devices : 1, (3->4)
Name : localhost.localdomain:5 (local to host localhost.localdomain)
UUID : 22292719:a4fd7782:6b02ad40:d8e86734
Events : 42
Number Major Minor RaidDevice State
0 8 96 0 active sync /dev/sdg
1 8 112 1 active sync /dev/sdh
4 8 128 2 active sync /dev/sdi
3 8 144 3 active sync /dev/sdj #发现原来的热备盘状态由spare变为active
[root@localhost ~]# mdadm -Dvs > /etc/mdadm.conf #保存配置文件
备注：阵列只有在正常状态下，才能扩容，降级及重构时不允许扩容。对于raid5来说，只能增加成员盘，不能减少。而对于raid1来说，可以增加成员盘，也可以减少。同步未完成时，磁盘空间不变，等到同步完成以后，磁盘整列空间才会扩展
[root@localhost ~]# mdadm -D /dev/md5
/dev/md5:
Version : 1.2
Creation Time : Fri Jun 14 19:07:56 2019
Raid Level : raid5
Array Size : 62862336 (59.95 GiB 64.37 GB) #同步完成后，磁盘空间成功扩展
Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Fri Jun 14 19:32:33 2019
State : clean
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Consistency Policy : resync
Name : localhost.localdomain:5 (local to host localhost.localdomain)
UUID : 22292719:a4fd7782:6b02ad40:d8e86734
Events : 50
Number Major Minor RaidDevice State
0 8 96 0 active sync /dev/sdg
1 8 112 1 active sync /dev/sdh
4 8 128 2 active sync /dev/sdi
3 8 144 3 active sync /dev/sdj
14.2.2.5 创建raid10
实验环境：
| raid种类 | 磁盘 | 热备盘 |
|---|---|---|
| raid10 | 分区：sdk1,sdk2,sdk3.sdk4 |
创建4个分区
[root@localhost ~]# fdisk /dev/sdk
欢迎使用 fdisk (util-linux 2.23.2)。
更改将停留在内存中，直到您决定将更改写入磁盘。
使用写入命令前请三思。
Device does not contain a recognized partition table
使用磁盘标识符 0xd9698c5c 创建新的 DOS 磁盘标签。
命令(输入 m 获取帮助)：n
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
Select (default p):
Using default response p
分区号 (1-4，默认 1)：
起始 扇区 (2048-41943039，默认为 2048)：
将使用默认值 2048
Last 扇区, +扇区 or +size{K,M,G} (2048-41943039，默认为 41943039)：+1G
分区 1 已设置为 Linux 类型，大小设为 1 GiB
命令(输入 m 获取帮助)：N
Partition type:
p primary (1 primary, 0 extended, 3 free)
e extended
Select (default p):
Using default response p
分区号 (2-4，默认 2)：
起始 扇区 (2099200-41943039，默认为 2099200)：
将使用默认值 2099200
Last 扇区, +扇区 or +size{K,M,G} (2099200-41943039，默认为 41943039)：+1G
分区 2 已设置为 Linux 类型，大小设为 1 GiB
命令(输入 m 获取帮助)：
命令(输入 m 获取帮助)：N
Partition type:
p primary (2 primary, 0 extended, 2 free)
e extended
Select (default p):
Using default response p
分区号 (3,4，默认 3)：
起始 扇区 (4196352-41943039，默认为 4196352)：
将使用默认值 4196352
Last 扇区, +扇区 or +size{K,M,G} (4196352-41943039，默认为 41943039)：+1G
分区 3 已设置为 Linux 类型，大小设为 1 GiB
命令(输入 m 获取帮助)：N
Partition type:
p primary (3 primary, 0 extended, 1 free)
e extended
Select (default e): P
已选择分区 4
起始 扇区 (6293504-41943039，默认为 6293504)：
将使用默认值 6293504
Last 扇区, +扇区 or +size{K,M,G} (6293504-41943039，默认为 41943039)：+1G
分区 4 已设置为 Linux 类型，大小设为 1 GiB
命令(输入 m 获取帮助)：W
The partition table has been altered!
Calling ioctl() to re-read partition table.
正在同步磁盘。
[root@localhost ~]#
[root@localhost ~]#
[root@localhost ~]# ll /dev/sdk*
brw-rw----. 1 root disk 8, 160 6月 14 19:43 /dev/sdk
brw-rw----. 1 root disk 8, 161 6月 14 19:43 /dev/sdk1
brw-rw----. 1 root disk 8, 162 6月 14 19:43 /dev/sdk2
brw-rw----. 1 root disk 8, 163 6月 14 19:43 /dev/sdk3
brw-rw----. 1 root disk 8, 164 6月 14 19:43 /dev/sdk4
创建raid10
[root@localhost ~]# mdadm -C -v /dev/md10 -l 10 -n 4 /dev/sdk[1-4]
mdadm: layout defaults to n2
mdadm: layout defaults to n2
mdadm: chunk size defaults to 512K
mdadm: size set to 1046528K
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md10 started.
[root@localhost ~]# mdadm -D /dev/md10 #查看md10状态
/dev/md10:
Version : 1.2
Creation Time : Fri Jun 14 19:46:24 2019
Raid Level : raid10
Array Size : 2093056 (2044.00 MiB 2143.29 MB)
Used Dev Size : 1046528 (1022.00 MiB 1071.64 MB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Fri Jun 14 19:46:29 2019
State : clean
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0
Layout : near=2
Chunk Size : 512K
Consistency Policy : resync
Name : localhost.localdomain:10 (local to host localhost.localdomain)
UUID : 6faacb8b:af73181a:fe5e529b:89311ed3
Events : 17
Number Major Minor RaidDevice State
0 8 161 0 active sync set-A /dev/sdk1
1 8 162 1 active sync set-B /dev/sdk2
2 8 163 2 active sync set-A /dev/sdk3
3 8 164 3 active sync set-B /dev/sdk4
[root@localhost ~]# mdadm -Dvs > /etc/mdadm.conf #保存raid配置文件
14.2.2.6 删除RAID所有信息方法以及注意事项
[root@localhost ~]# umount /dev/md0 #如果raid已经挂载，需要先卸载
[root@localhost ~]# mdadm -S /dev/md0 #停止md0
mdadm: stopped /dev/md0
[root@localhost ~]# vim /etc/mdadm.conf #删除raid配置文件中md0的信息
[root@localhost ~]# mdadm --zero-superblock /dev/sdb #清除物理磁盘中的raid标识
[root@localhost ~]# mdadm --zero-superblock /dev/sdc #清除物理磁盘中的raid标识
[root@localhost ~]# mdadm -Dvs #查看发现已经没有md0信息
ARRAY /dev/md1 level=raid1 num-devices=2 metadata=1.2 spares=1 name=localhost.localdomain:1 UUID=ca7c7046:533ead41:e9c85b9c:caec344d
devices=/dev/sdd,/dev/sde,/dev/sdf
ARRAY /dev/md5 level=raid5 num-devices=4 metadata=1.2 name=localhost.localdomain:5 UUID=22292719:a4fd7782:6b02ad40:d8e86734
devices=/dev/sdg,/dev/sdh,/dev/sdi,/dev/sdj
ARRAY /dev/md10 level=raid10 num-devices=4 metadata=1.2 name=localhost.localdomain:10 UUID=6faacb8b:af73181a:fe5e529b:89311ed3
devices=/dev/sdk1,/dev/sdk2,/dev/sdk3,/dev/sdk4
参数：--zero-superblock : erase the MD superblock from a device. #擦除设备中的MD超级块
END
2019-6-14 12:04:50