為什么80%的碼農(nóng)都做不了架構(gòu)師？>>> ??

FIO是測(cè)試IOPS的非常好的工具，用來(lái)對(duì)硬件進(jìn)行壓力測(cè)試和驗(yàn)證，支持13種不同的I/O引擎， 包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。? fio 官網(wǎng)地址：http://freshmeat.net/projects/fio/?
一，FIO安裝? wget http://brick.kernel.dk/snaps/fio-2.0.7.tar.gz? yum install libaio-devel? tar -zxvf fio-2.0.7.tar.gz? cd fio-2.0.7? make?

make install?

//----------epel源： yum install fio -y

二，隨機(jī)讀測(cè)試：? 隨機(jī)讀：? fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=200G? -numjobs=10 -runtime=1000 -group_reporting -name=mytest?
說(shuō)明：? filename=/dev/sdb1 測(cè)試文件名稱(chēng)，通常選擇需要測(cè)試的盤(pán)的data目錄。? direct=1 測(cè)試過(guò)程繞過(guò)機(jī)器自帶的buffer。使測(cè)試結(jié)果更真實(shí)。? rw=randwrite 測(cè)試隨機(jī)寫(xiě)的I/O? rw=randrw 測(cè)試隨機(jī)寫(xiě)和讀的I/O? bs=16k 單次io的塊文件大小為16k? bsrange=512-2048 同上，提定數(shù)據(jù)塊的大小范圍? size=5g 本次的測(cè)試文件大小為5g，以每次4k的io進(jìn)行測(cè)試。? numjobs=30 本次的測(cè)試線(xiàn)程為30.? runtime=1000 測(cè)試時(shí)間為1000秒，如果不寫(xiě)則一直將5g文件分4k每次寫(xiě)完為止。? ioengine=psync io引擎使用pync方式? rwmixwrite=30 在混合讀寫(xiě)的模式下，寫(xiě)占30%? group_reporting 關(guān)于顯示結(jié)果的，匯總每個(gè)進(jìn)程的信息。? 此外? lockmem=1g 只使用1g內(nèi)存進(jìn)行測(cè)試。? zero_buffers 用0初始化系統(tǒng)buffer。? nrfiles=8 每個(gè)進(jìn)程生成文件的數(shù)量。? 順序讀：? fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest? 隨機(jī)寫(xiě)：? fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest? 順序?qū)?#xff1a;? fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest? 混合隨機(jī)讀寫(xiě)：? fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest -ioscheduler=noop?
三，實(shí)際測(cè)試范例：? [root@localhost ~]# fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30? -runtime=100 -group_reporting -name=mytest1?
mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1? ...? mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1? fio 2.0.7? Starting 30 threads? Jobs: 1 (f=1): [________________m_____________] [3.5% done] [6935K/3116K /s] [423 /190 iops] [eta 48m:20s] s]? mytest1: (groupid=0, jobs=30): err= 0: pid=23802? read?: io=1853.4MB,?bw=18967KB/s, iops=1185?, runt=100058msec? clat (usec): min=60 , max=871116 , avg=25227.91, stdev=31653.46? lat (usec): min=60 , max=871117 , avg=25228.08, stdev=31653.46? clat percentiles (msec):? | 1.00th=[ 3], 5.00th=[ 5], 10.00th=[ 6], 20.00th=[ 8],? | 30.00th=[ 10], 40.00th=[ 12], 50.00th=[ 15], 60.00th=[ 19],? | 70.00th=[ 26], 80.00th=[ 37], 90.00th=[ 57], 95.00th=[ 79],? | 99.00th=[ 151], 99.50th=[ 202], 99.90th=[ 338], 99.95th=[ 383],? | 99.99th=[ 523]? bw (KB/s) : min= 26, max= 1944, per=3.36%, avg=636.84, stdev=189.15? write: io=803600KB,?bw=8031.4KB/s, iops=501?, runt=100058msec? clat (usec): min=52 , max=9302 , avg=146.25, stdev=299.17? lat (usec): min=52 , max=9303 , avg=147.19, stdev=299.17? clat percentiles (usec):? | 1.00th=[ 62], 5.00th=[ 65], 10.00th=[ 68], 20.00th=[ 74],? | 30.00th=[ 84], 40.00th=[ 87], 50.00th=[ 89], 60.00th=[ 90],? | 70.00th=[ 92], 80.00th=[ 97], 90.00th=[ 120], 95.00th=[ 370],? | 99.00th=[ 1688], 99.50th=[ 2128], 99.90th=[ 3088], 99.95th=[ 3696],? | 99.99th=[ 5216]? bw (KB/s) : min= 20, max= 1117, per=3.37%, avg=270.27, stdev=133.27? lat (usec) : 100=24.32%, 250=3.83%, 500=0.33%, 750=0.28%, 1000=0.27%? lat (msec) : 2=0.64%, 4=3.08%, 10=20.67%, 20=19.90%, 50=17.91%? lat (msec) : 100=6.87%, 250=1.70%, 500=0.19%, 750=0.01%, 1000=0.01%? cpu : usr=1.70%, sys=2.41%, ctx=5237835, majf=0, minf=6344162? IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%? submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%? complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%? issued : total=r=118612/w=50225/d=0, short=r=0/w=0/d=0? Run status group 0 (all jobs):? READ: io=1853.4MB, aggrb=18966KB/s, minb=18966KB/s, maxb=18966KB/s, mint=100058msec, maxt=100058msec? WRITE: io=803600KB, aggrb=8031KB/s, minb=8031KB/s, maxb=8031KB/s, mint=100058msec, maxt=100058msec? Disk stats (read/write):? sdb: ios=118610/50224, merge=0/0, ticks=2991317/6860, in_queue=2998169, util=99.77%? 主要查看以上紅色字體部分的iops(read/write)?


**磁盤(pán)陣列吞吐量與IOPS兩大瓶頸分析**
1、吞吐量
吞吐量主要取決于陣列的構(gòu)架，光纖通道的大小(現(xiàn)在陣列一般都是光纖陣列，至于SCSI這樣的SSA陣列，我們不討論)以及硬盤(pán)的個(gè)數(shù)。陣列的構(gòu)架與每個(gè)陣列不同而不同，他們也都存在內(nèi)部帶寬(類(lèi)似于pc的系統(tǒng)總線(xiàn))，不過(guò)一般情況下，內(nèi)部帶寬都設(shè)計(jì)的很充足，不是瓶頸的所在。
光纖通道的影響還是比較大的，如數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中，對(duì)數(shù)據(jù)的流量要求很大，而一塊2Gb的光纖卡，所77能支撐的最大流量應(yīng)當(dāng)是2Gb/8(小B)=250MB/s(大B)的實(shí)際流量，當(dāng)4塊光纖卡才能達(dá)到1GB/s的實(shí)際流量，所以數(shù)據(jù)倉(cāng)庫(kù)環(huán)境可以考慮換4Gb的光纖卡。
最后說(shuō)一下硬盤(pán)的限制，這里是最重要的，當(dāng)前面的瓶頸不再存在的時(shí)候，就要看硬盤(pán)的個(gè)數(shù)了，我下面列一下不同的硬盤(pán)所能支撐的流量大小：
10 K rpm 15 K rpm ATA
——— ——— ———
10M/s 13M/s 8M/s
那么，假定一個(gè)陣列有120塊15K rpm的光纖硬盤(pán)，那么硬盤(pán)上最大的可以支撐的流量為120*13=1560MB/s，如果是2Gb的光纖卡，可能需要6塊才能夠，而4Gb的光纖卡，3-4塊就夠了。
2、IOPS
決定IOPS的主要取決與陣列的算法，cache命中率，以及磁盤(pán)個(gè)數(shù)。陣列的算法因?yàn)椴煌年嚵胁煌煌?#xff0c;如我們最近遇到在hds usp上面，可能因?yàn)閘dev(lun)存在隊(duì)列或者資源限制，而單個(gè)ldev的iops就上不去，所以，在使用這個(gè)存儲(chǔ)之前，有必要了解這個(gè)存儲(chǔ)的一些算法規(guī)則與限制。
cache的命中率取決于數(shù)據(jù)的分布，cache size的大小，數(shù)據(jù)訪問(wèn)的規(guī)則，以及cache的算法，如果完整的討論下來(lái)，這里將變得很復(fù)雜，可以有一天好討論了。我這里只強(qiáng)調(diào)一個(gè)cache的命中率，如果一個(gè)陣列，讀cache的命中率越高越好，一般表示它可以支持更多的IOPS，為什么這么說(shuō)呢?這個(gè)就與我們下面要討論的硬盤(pán)IOPS有關(guān)系了。
硬盤(pán)的限制，每個(gè)物理硬盤(pán)能處理的IOPS是有限制的，如
10 K rpm 15 K rpm ATA
——— ——— ———
100 150 50
同樣，如果一個(gè)陣列有120塊15K rpm的光纖硬盤(pán)，那么，它能撐的最大IOPS為120*150=18000，這個(gè)為硬件限制的理論值，如果超過(guò)這個(gè)值，硬盤(pán)的響應(yīng)可能會(huì)變的非常緩慢而不能正常提供業(yè)務(wù)。
在raid5與raid10上，讀iops沒(méi)有差別，但是，相同的業(yè)務(wù)寫(xiě)iops，最終落在磁盤(pán)上的iops是有差別的，而我們?cè)u(píng)估的卻正是磁盤(pán)的IOPS，如果達(dá)到了磁盤(pán)的限制，性能肯定是上不去了。
那我們假定一個(gè)case，業(yè)務(wù)的iops是10000，讀cache命中率是30%，讀iops為60%，寫(xiě)iops為40%，磁盤(pán)個(gè)數(shù)為120，那么分別計(jì)算在raid5與raid10的情況下，每個(gè)磁盤(pán)的iops為多少。
raid5:
單塊盤(pán)的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120
= (4200 + 16000)/120
= 168
這里的10000*(1-0.3)*0.6表示是讀的iops，比例是0.6，除掉cache命中，實(shí)際只有4200個(gè)iops
而4 * (10000*0.4) 表示寫(xiě)的iops，因?yàn)槊恳粋€(gè)寫(xiě)，在raid5中，實(shí)際發(fā)生了4個(gè)io，所以寫(xiě)的iops為16000個(gè)
為了考慮raid5在寫(xiě)操作的時(shí)候，那2個(gè)讀操作也可能發(fā)生命中，所以更精確的計(jì)算為：
單塊盤(pán)的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120
= (4200 + 5600 + 8000)/120
= 148
計(jì)算出來(lái)單個(gè)盤(pán)的iops為148個(gè)，基本達(dá)到磁盤(pán)極限
raid10
單塊盤(pán)的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120
= (4200 + 8000)/120
= 102
可以看到，因?yàn)閞aid10對(duì)于一個(gè)寫(xiě)操作，只發(fā)生2次io，所以，同樣的壓力，同樣的磁盤(pán)，每個(gè)盤(pán)的iops只有102個(gè)，還遠(yuǎn)遠(yuǎn)低于磁盤(pán)的極限iops。
在一個(gè)實(shí)際的case中，一個(gè)恢復(fù)壓力很大的standby(這里主要是寫(xiě)，而且是小io的寫(xiě))，采用了raid5的方案，發(fā)現(xiàn)性能很差，通過(guò)分析，每個(gè)磁盤(pán)的iops在高峰時(shí)期，快達(dá)到200了，導(dǎo)致響應(yīng)速度巨慢無(wú)比。后來(lái)改造成raid10，就避免了這個(gè)性能問(wèn)題，每個(gè)磁盤(pán)的iops降到100左右。

轉(zhuǎn)載于:https://my.oschina.net/guyson/blog/371601

總結(jié)

以上是生活随笔為你收集整理的linux 使用FIO测试磁盘iops的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。