dongnan
总版主
总版主
  • 粉丝52
  • 发帖数2165
  • 铜币12474枚
  • 威望5607点
  • 银元145个
  • 社区居民
  • 最爱沙发
  • 忠实会员
  • 原创写手
阅读:2946回复:2

简单RAID测试

楼主#
更多 发布于:2014-04-24 10:33
早期的RAID测试


整理笔记,发现早期的raid测试文档,特此 mark,帮助有需要的朋友。


raid 5
环境:dell r610 perc 6i卡 4 * 300G 15k sas 硬盘(0,1,2,3)
raid5 不对存储的数据进行备份,而是把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上,并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上!

测试  
1.拔掉 2号硬盘 virtual disk 仍然存在,可以正常进入 ESXi。
2.更换新硬盘后将,自动rebuild,rebuild 期间,可以重启计算机。

总结  
raid5 只允许一块硬盘损坏!所以热备盘,总是和RAID5阵列对应起来,当某个硬盘损坏,热备盘自动启用!

#

raid 10

环境:dell r610 perc 6i卡 4 * 300G 15k sas 硬盘(0,1,2,3)
raid10 将自动创建 span0 与 span1两个组; 硬盘 0,1 分在 span0组; 2, 3 分在 span1组。

测试  
1.拔掉 span0组 1, span1组 2 virtual disk 仍然存在,可以正常进入 ESXi。
2.拔掉 span0组 0,1 硬盘  virtual disk 提示丢失,不能进入  ESXi。
3.更换新硬盘后将自动rebuild,rebuild 期间可以重启计算机!

总结  
RAID10是先做镜象,然后再做条带(先做两个raid1 ,然后再把两个raid1,作成 raid0),允许不同组各坏掉一块硬盘,但同组硬盘不能同时坏掉

#

自动 rebuild  
环境:dell r610 perc 6i卡 4 * 300G 15k sas 硬盘(0,1,2,3)
将新的硬盘设置为 global hot spare(全局热备), 稍等片刻将自动 rebuild

rebuild 时间
以3块1TB 7.2k sas 硬盘raid5 为例, rebuild 时间大概是4-5小时,磁盘越大rebuild 时间越长,相反磁盘越小rebuild 时间越段。

raid里面磁盘状态是foreign
环境:dell r610 perc 6i卡 4 * 300G 15k sas 硬盘(0,1,2,3)
数据重要先备份数据。
恢复方法:
1.直接在controller 0上按F2,选择foreign config-import硬盘即可
2.抓TTY日志看看哪一块硬盘新掉线,拔出新掉线的硬盘,用omconfig 命令把后掉线的offline,然后forceonline硬盘,备份数据,然后rebuild最后一块硬盘。


raid hotspare 热备盘测试
环境: dell r710 perc 6i卡 4 * 1T 7.2k sas 硬盘(0,1,2,3)0-2 三块硬盘做raid5,3号硬盘做hotspare 热备盘。

测试  
1.拔掉 0号硬盘 virtual disk 仍然存在,raid 5允许一块硬盘损坏,这个在测试raid 5时我们已经知道了!
2.3号硬盘(hotspare)开始自动rebuild,rebuild 期间可以重启计算机!
3.Rebuild 结束后,硬盘(1,2,3)组成新的 virtual disk,其中3号硬盘原为hotspare 热备盘!
4.将一块新硬盘插入 0号硬盘位后,0号硬盘与3号硬盘开始替换,0号硬盘与3号硬盘灯狂闪!
5.在PD Mgmt(物理磁盘管理界面) 中 可以看到 0号硬盘state 为 Replacing(替换),右下角可以看到 Replacing PD --:00:03(0与3号硬盘)
6.Replacing 结束后, virtual disk 由硬盘0,1,2 三块硬盘组成,3号硬盘仍然做hotspare 热备盘

总结
当某个硬盘损坏,hotspare热备盘将自动Rebuild,等待rebuild结束后可以将损坏的硬盘替换成新硬盘,新硬盘与热备盘开始Replacing,这样hotsapre 始终存在,安全性大大增加。

#
技术QQ群 https://zongming.net/app-index-run?app=qqun
dongnan
总版主
总版主
  • 粉丝52
  • 发帖数2165
  • 铜币12474枚
  • 威望5607点
  • 银元145个
  • 社区居民
  • 最爱沙发
  • 忠实会员
  • 原创写手
沙发#
发布于:2014-08-01 15:57
write-through vs write-back
cloudstack 测试环境主存储

硬件配置
磁盘: 300GB SAS 15K * 6块
Raid: Dell Perc6i /256MB Cache/级别 5/条带 1MB
CPU : XEON E5405 * 2颗,共8核心
内存: 16GB
网络: BCM 5709(GB) * 4块,双网卡绑定,模式0
操作系统: CentOS 6.5 amd64
软件:NFS


write-through 测试

Perc6i /Raid 5/条带1MB/写缓存关闭/
顺序写
time dd if=/dev/zero of=testio bs=1M count=20480
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 530.59 s, 40.5 MB/s
          
real    9m27.210s
user    0m0.017s
sys    0m33.575s

顺序读
time dd if=testio of=/dev/null bs=1M
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 154.403 s, 139 MB/s
          
real    2m34.419s
user    0m0.010s
sys    0m13.937s

Perc6i /Raid 10/条带1MB/写缓存关闭/
顺序写
time dd if=/dev/zero of=testio bs=1M count=20480
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 71.7583 s, 299 MB/s
          
real    1m11.760s
user    0m0.010s
sys    0m28.234s

顺序读
time dd if=testio of=/dev/null bs=1M
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 81.5824 s, 263 MB/s
          
real    1m21.587s
user    0m0.011s
sys    0m14.700s


write-back测试

Dell Perc6i /Raid 5/条带1MB/写缓存开启/
顺序写
time dd if=/dev/zero of=testio bs=1M count=20480
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 44.1236 s, 487 MB/s
          
real    0m44.135s
user    0m0.016s
sys    0m29.396s

顺序读
time dd if=testio of=/dev/null bs=1M
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 138.335 s, 155 MB/s
          
real    2m18.355s
user    0m0.015s
sys    0m14.481s

Perc6i /Raid 10/条带1MB/写缓存开启/
顺序写
time dd if=/dev/zero of=testio bs=1M count=20480
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 69.1151 s, 311 MB/s
          
real    1m9.117s
user    0m0.005s
sys    0m28.306s

顺序读
time dd if=testio of=/dev/null bs=1M
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 81.6012 s, 263 MB/s
          
real    1m21.612s
user    0m0.005s
sys    0m14.880s

总结
1. raid 10级别  write-through 与 write-back 顺序读/写相差并不是非常大
2. raid 5级别  write-through 与 write-back 顺序写相差10倍还多顺序读相差不大
3. write-back模式下,raid 5 比 raid 10 顺序写更快
4.  write-back模式下,raid 10 比 raid 5 顺序读更快


#update 20140905

二级存储
磁盘: 1TB SAS 7.2K * 4块
Raid: Dell Perc6i /256MB Cache/级别 5/条带 1MB/Write Back
CPU : XEON E5505 * 1颗,共2核心
内存: 16GB
网络: BCM 5716(GB) * 2块绑定,模式0
操作系统: CentOS 6.5 amd64

顺序写
time dd if=/dev/zero of=testbw bs=1M count=31000
31000+0 records in
31000+0 records out
32505856000 bytes (33 GB) copied, 92.7719 s, 350 MB/s

real    1m32.901s
user    0m0.025s
sys    0m36.783s


顺序读
time dd if=testbw of=/dev/null bs=1M count=31000
31000+0 records in
31000+0 records out
32505856000 bytes (33 GB) copied, 207.429 s, 157 MB/s

real    3m27.501s
user    0m0.027s
sys    0m19.745s

#待续....
技术QQ群 https://zongming.net/app-index-run?app=qqun
dongnan
总版主
总版主
  • 粉丝52
  • 发帖数2165
  • 铜币12474枚
  • 威望5607点
  • 银元145个
  • 社区居民
  • 最爱沙发
  • 忠实会员
  • 原创写手
板凳#
发布于:2018-01-16 11:40
Raid 测试案例
环境
1. 物理机
DELL PowerEdge R730XD 服务器
CPU: E5-2620V4 8核16线程 2.1G * 2
内存: 160G 16GB * 10
磁盘: 300G SAS硬盘 * 10
RAID: H730P 1G缓存(级别 10,条带/写缓存默认)
电源: 750W 热插拔电源 * 2
系统: XenServer 7.2 版本

2. 虚拟机
4vcpu / 8GB内存 / 1TB磁盘,此虚拟机独享全部资源;

步骤
1. 顺序写
# 第1次测试
time dd if=/dev/zero of=testio bs=1M count=20480
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 22.7536 s, 944 MB/s

real    0m23.531s
user    0m0.007s
sys    0m13.385s

# 第2次测试
time dd if=/dev/zero of=testio bs=1M count=20480
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 22.2226 s, 966 MB/s

real    0m23.273s
user    0m0.009s
sys    0m13.574s

# 第3次测试
time dd if=/dev/zero of=testio bs=1M count=20480
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 22.6108 s, 950 MB/s

real    0m22.745s
user    0m0.005s
sys    0m12.449s

平均值: 953.3 MB/s

2. 顺序读
# 第1次测试
time dd if=testio of=/dev/null bs=1M
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 24.831 s, 865 MB/s

real    0m24.870s
user    0m0.011s
sys    0m8.821s

# 第2次测试
time dd if=testio of=/dev/null bs=1M
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 24.7821 s, 867 MB/s

real    0m24.799s
user    0m0.008s
sys    0m8.758s

# 第3次测试
time dd if=testio of=/dev/null bs=1M
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 24.7333 s, 868 MB/s

real    0m24.743s
user    0m0.006s
sys    0m8.808s

平均值: 867.0 MB/s

3. 小结
在本次测试样例中,相同的条件下(详见环境),Raid 10 顺序写入速度 大于 顺序读取速度;
#
技术QQ群 https://zongming.net/app-index-run?app=qqun
游客

返回顶部