实验software RAID5

steven-zhou

/** * 给主机添加5块SCSI硬盘，每个8GB。其中4块用作RAID5的active sync * [sdd、sde、sdf、sdg]，1块用作RAID5的Spare Disk[sdh] */oracle:/dev# ls -l sdsda   sda1  sda2  sdb   sdc   sdd   sde   sdf   sdg   sdh

/** * 安装software RAID管理工具mdadm，这套软件可以让我们以软件的方式模拟很多高端磁盘 * 镜像系统才有的功能，比如热拔插等。所谓热拔插功能就是允许用户在不关闭系统，不切 * 断电源的情况下取出和更换坏掉的硬盘。现在的热拔插技术只要简单的打开链接开关或者 * 转动手柄就可以直接取出硬盘，而系统仍然可以不间断的正常运行。 * 值得注意的是用mdadm模拟出来的RAID阵列设备名称通常为/dev/md0，/dev/md1... */apt-get install mdadm

// 通过mdadm来建立磁盘阵列oracle:/dev# mdadm --create --auto=yes /dev/md0 --level=5 --raid-devices=4 \> --spare-devices=1 /dev/sd{d,e,f,g,h} mdadm: array /dev/md0 started.

/**  * 磁盘阵列的建立相对比较慢，数分钟后，检查RADI的建立情况如下: * Chunk Size : 64K 表示带区大小为64K，合理的选择带区大小非常重要，如果噢带区过大 * 可能一块磁盘上的带区空间就可以满足大部分的I/O操作，使得数据的读写只局限于一块 * 硬盘上，这便不能充分发挥RAID并发的优势；如果带区设置过小，任何很小的I/O指令都 * 可能引发大量的读写操作，占用过多的控制器总线带宽，也会影响阵列的性能。所以，在 * 创建带区时，我们应该根据实际应用的需要，合理且慎重的选择带区大小。 */oracle:/dev# mdadm --detail /dev/md0 /dev/md0:// RAID设备名称        Version : 00.90  Creation Time : Sun Jun 27 02:42:33 2010     Raid Level : raid5// RAID5噢:)     Array Size : 25165632 (24.00 GiB 25.77 GB) // 阵列可用大小  Used Dev Size : 8388544 (8.00 GiB 8.59 GB)// 组成阵列的每个设备容量   Raid Devices : 4// 当前处于活动状态的设备数量  Total Devices : 5// 全部设备数量Preferred Minor : 0    Persistence : Superblock is persistent    Update Time : Sun Jun 27 02:47:39 2010          State : clean Active Devices : 4// 激活的磁盘数量Working Devices : 5// 工作的磁盘数量[Working=Active+Spare] Failed Devices : 0// 出现错误的磁盘数量  Spare Devices : 1// 备用磁盘数量         Layout : left-symmetric     Chunk Size : 64K// RAID划分的小区块大小           UUID : dd191942:a9381905:b6641343:7cc40f45 (local to host oracle)         Events : 0.24    Number   Major   Minor   RaidDevice State       0       8       48        0      active sync   /dev/sdd       1       8       64        1      active sync   /dev/sde       2       8       80        2      active sync   /dev/sdf       3       8       96        3      active sync   /dev/sdg       4       8      112        -      spare   /dev/sdh// 也可以基于/proc文件系统来检查RAID的建立情况oracle:/dev# cat /proc/mdstat Personalities : [raid6] [raid5] [raid4] md0 : active raid5 sdg[3] sdh[4](S) sdf[2] sde[1] sdd[0]      25165632 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]      unused devices: <none>

// 格式化阵列为ext3文件系统oracle:/dev# mkfs -t ext3 /dev/md0 mke2fs 1.41.3 (12-Oct-2008)Filesystem label=OS type: LinuxBlock size=4096 (log=2)Fragment size=4096 (log=2)1572864 inodes, 6291408 blocks314570 blocks (5.00%) reserved for the super userFirst data block=0Maximum filesystem blocks=0192 block groups32768 blocks per group, 32768 fragments per group8192 inodes per groupSuperblock backups stored on blocks:         32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,         4096000Writing inode tables: done                            Creating journal (32768 blocks): doneWriting superblocks and filesystem accounting information: doneThis filesystem will be automatically checked every 26 mounts or180 days, whichever comes first.  Use tune2fs -c or -i to override.

// 将/dev/md0并挂在到/raidoracle:/# mkdir /raidoracle:/# mount /dev/md0 /raid/oracle:/# dfFilesystem           1K-blocks      Used Available Use% Mounted on/dev/mapper/oracle-root                        329233    135760    176475  44% /tmpfs                   258148         0    258148   0% /lib/init/rwudev                     10240       668      9572   7% /devtmpfs                   258148         0    258148   0% /dev/shm/dev/sda1               233335     26271    194616  12% /boot/dev/mapper/oracle-home                       2789856     69796   2578340   3% /home/dev/mapper/oracle-tmp                        238003      6177    219538   3% /tmp/dev/mapper/oracle-usr                       2822096    685372   1993364  26% /usr/dev/mapper/oracle-var                       1350552    123468   1158476  10% /var/dev/mapper/optvg-optlv                       8252856   2579504   5254128  33% /opt/dev/mapper/oradatavg-oradatalv                       8252856    149624   7684008   2% /oradata/dev/md0              24770748    176196  23336272   1% /raid


/*  * 模拟RAID5阵列的自动恢复与救援。 * 设定/dev/sdd这块磁盘为Fail */oracle:/raid# mdadm --manage /dev/md0 --fail /dev/sdd mdadm: set /dev/sdd faulty in /dev/md0

/** * 检查阵列/dev/md0状态，我们发现/dev/sdd已经标识为faulty spare了，而/dev/sdh * 这块原先做Spare Disk的磁盘立马开始重建，正处于spare rebuilding状态。 */oracle:/raid# mdadm --detail /dev/md0                 /dev/md0:        Version : 00.90  Creation Time : Sun Jun 27 02:42:33 2010     Raid Level : raid5     Array Size : 25165632 (24.00 GiB 25.77 GB)  Used Dev Size : 8388544 (8.00 GiB 8.59 GB)   Raid Devices : 4  Total Devices : 5Preferred Minor : 0    Persistence : Superblock is persistent    Update Time : Sun Jun 27 04:36:19 2010          State : clean, degraded, recovering Active Devices : 3Working Devices : 4 Failed Devices : 1  Spare Devices : 1         Layout : left-symmetric     Chunk Size : 64K Rebuild Status : 2% complete           UUID : dd191942:a9381905:bc444e69:8a5dd25b         Events : 0.26    Number   Major   Minor   RaidDevice State       5       8      112        0      spare rebuilding   /dev/sdh       1       8       64        1      active sync   /dev/sde       2       8       80        2      active sync   /dev/sdf       3       8       96        3      active sync   /dev/sdg       4       8       48        -      faulty spare   /dev/sdd

/** * 等待重建完毕再次检查阵列状态，发现/dev/sdh重建完毕。 */oracle:/raid# mdadm --detail /dev/md0/dev/md0:        Version : 00.90  Creation Time : Sun Jun 27 02:42:33 2010     Raid Level : raid5     Array Size : 25165632 (24.00 GiB 25.77 GB)  Used Dev Size : 8388544 (8.00 GiB 8.59 GB)   Raid Devices : 4  Total Devices : 5Preferred Minor : 0    Persistence : Superblock is persistent    Update Time : Sun Jun 27 04:41:25 2010          State : clean Active Devices : 4Working Devices : 4 Failed Devices : 1  Spare Devices : 0         Layout : left-symmetric     Chunk Size : 64K           UUID : dd191942:a9381905:bc444e69:8a5dd25b         Events : 0.34    Number   Major   Minor   RaidDevice State       0       8      112        0      active sync   /dev/sdh       1       8       64        1      active sync   /dev/sde       2       8       80        2      active sync   /dev/sdf       3       8       96        3      active sync   /dev/sdg       4       8       48        -      faulty spare   /dev/sdd

// 加入新的磁盘，拔出有问题的磁盘oracle:~# mdadm --manage /dev/md0 --add /dev/sdi --remove /dev/sddmdadm: added /dev/sdimdadm: hot removed /dev/sdd/** * 再次检查阵列，发现刚加入的/dev/sdi已成为了新的Spare Disk。 */oracle:~# mdadm --detail /dev/md0 /dev/md0:        Version : 00.90  Creation Time : Sun Jun 27 02:42:33 2010     Raid Level : raid5     Array Size : 25165632 (24.00 GiB 25.77 GB)  Used Dev Size : 8388544 (8.00 GiB 8.59 GB)   Raid Devices : 4  Total Devices : 5Preferred Minor : 0    Persistence : Superblock is persistent    Update Time : Sun Jun 27 04:47:30 2010          State : clean Active Devices : 4Working Devices : 5 Failed Devices : 0  Spare Devices : 1         Layout : left-symmetric     Chunk Size : 64K           UUID : dd191942:a9381905:bc444e69:8a5dd25b         Events : 0.36    Number   Major   Minor   RaidDevice State       0       8      112        0      active sync   /dev/sdh       1       8       64        1      active sync   /dev/sde       2       8       80        2      active sync   /dev/sdf       3       8       96        3      active sync   /dev/sdg       4       8      128        -      spare   /dev/sdi