Nowy serwer, wolny RAID

Pacek · Post autor: **Pacek** » 17 sierpnia 2010, 08:30

No i jeszcze parę uwag (pytań):

Jaka jest przepustowość sieci - 100Mbps czy 1000Mbps? Jeżeli ta pierwsza, to transfer 10-13MB/s jest w zasadzie maksymalnym transferem dla sieci o przepustowości 100Mbps. W takim przypadku sprawdziłeś czy sieć działa na max a nie transfer macierzy dyskowej.
Kopiowanie w obrębie jednej macierzy nie jest miarodajne bo wykonujesz zarazem dwie operacje: odczytujesz dane a potem robisz ich zapis. Operacje te są współzależne i np. macierz może oczekiwać na odczyt w trakcie dłużej trwającego zapisu.

Według mnie najlepszym sposobem na sprawdzenie takiego dysku/macierzy byłoby umieszczenie np. 1GB danych w pamięci RAM a następnie zrzucenie go na macierz lub w drugą stronę z macierzy do pamięci RAM. Zmniejszasz wtedy prawdopodobieństwo zafałszowania wyników bo RAM jest nieporównywalnie szybszy od dysku/macierzy tak więc otrzymasz maksymalny transfer zapisu i odczytu. To samo trzeba by było zrobić dla jednego z dysków macierzy aby móc wyniki porównać.

cooleq · Post autor: **cooleq** » 17 sierpnia 2010, 11:29

Nie bardzo wiem, które testy przeprowadzić. Wklejam na razie to:

Kod: Zaznacz cały

Heimdall:~# hdparm -Tt /dev/sda

/dev/sda:
 Timing cached reads:   10166 MB in  2.00 seconds = 5093.09 MB/sec
 Timing buffered disk reads:  336 MB in  3.00 seconds = 111.94 MB/sec
Heimdall:~# hdparm -Tt /dev/sdb

/dev/sdb:
 Timing cached reads:   9494 MB in  2.00 seconds = 4755.16 MB/sec
 Timing buffered disk reads:  324 MB in  3.01 seconds = 107.62 MB/sec
Heimdall:~# hdparm -Tt /dev/sdc

/dev/sdc:
 Timing cached reads:   9874 MB in  2.00 seconds = 4946.01 MB/sec
 Timing buffered disk reads:  274 MB in  3.00 seconds =  91.31 MB/sec
Heimdall:~# hdparm -Tt /dev/sdd

/dev/sdd:
 Timing cached reads:   9752 MB in  2.00 seconds = 4884.93 MB/sec
 Timing buffered disk reads:  276 MB in  3.01 seconds =  91.83 MB/sec

Nie wiem jak długo macierz się buduje, ale czas pracy serwera (ang. uptime) to około 200 godzin, więc jest to chyba dość czasu.

Edycja:
Faktycznie o tym nie pomyślałem. Przełącznik mam 10/100 i na razie nie będę zmieniał więc i tak nie przyspieszę.

timor · Post autor: **timor** » 17 sierpnia 2010, 12:17

Tu masz odczyty z pojedynczych dysków (wygląda to całkiem OK - macierz powinna wyrabiać do 250MB/s), a z macierzy? Np. hdparm -tT /dev/md0 (czy jak tam sobie nazwałeś)

cooleq · Post autor: **cooleq** » 17 sierpnia 2010, 13:03

No 250 nie ma (pewnie dlatego, że jest już w użyciu) ale nie jest źle:

Kod: Zaznacz cały

Heimdall:/home/obrazy# hdparm -tT /dev/md0

/dev/md0:
 Timing cached reads:   8326 MB in  2.00 seconds = 4170.98 MB/sec
 Timing buffered disk reads:  234 MB in  2.65 seconds =  88.44 MB/sec
Heimdall:/home/obrazy# hdparm -tT /dev/md1

/dev/md1:
 Timing cached reads:   8564 MB in  2.00 seconds = 4289.45 MB/sec
 Timing buffered disk reads:  520 MB in  3.07 seconds = 169.51 MB/sec
Heimdall:/home/obrazy# hdparm -tT /dev/md2

/dev/md2:
 Timing cached reads:   8614 MB in  2.00 seconds = 4314.13 MB/sec
 Timing buffered disk reads:  602 MB in  3.00 seconds = 200.64 MB/sec
Heimdall:/home/obrazy# hdparm -tT /dev/md2

/dev/md2:
 Timing cached reads:   7688 MB in  2.00 seconds = 3850.77 MB/sec
 Timing buffered disk reads:  628 MB in  3.00 seconds = 209.16 MB/sec

timor · Post autor: **timor** » 17 sierpnia 2010, 14:15

No i kulturka - tak ma być.
Powinieneś być w stanie kopiować pliki z prędkością ok 100MB/s

cooleq · Post autor: **cooleq** » 17 sierpnia 2010, 14:33

To dobrze, podziękowania wielkie!
Jak zwykle dużo się nauczyłem

Teraz czas ponowić walkę z antyvirusem ale to już osobny temat, do którego zapraszam http://debian.linux.pl/threads/19808-ko ... amba-vscan, jeśli ktoś ma ochotę mi pomóc.

Pacek · Post autor: **Pacek** » 17 sierpnia 2010, 20:10

No i Alleluja

Wreszcie konkretne efekty. Wszystko z macierzą jest ok. Transfer jest zadowalający. Można jeszcze hdparm'em zmienić niektóre ustawienie dysków w stylu przepustowość kanału IDE/SATA (ATA66/100/133 SATA150/300).
Jeszcze jedno pytanie: Czym się różnią macierze md0, md1 i md2, ponieważ zauważyłem że są spore różnice w ich transferach.

lun · Post autor: **lun** » 18 sierpnia 2010, 08:25

Czym się różnią macierze md0, md1 i md2, ponieważ zauważyłem że są spore różnice w ich transferach.

Proponuję zrobić

Kod: Zaznacz cały

mdadm --detail --scan

oraz

Kod: Zaznacz cały

cat /proc/mdstat

Da ci to pogląd co to za macierze, w jakim RAID zostały postawione.

timor · Post autor: **timor** » 18 sierpnia 2010, 09:11

Różnią się wydajnością bo są z partycji w różnych miejscach na dysku. Różne miejsca na dysku mają różną wydajność.

cooleq · Post autor: **cooleq** » 18 sierpnia 2010, 11:50

Pewnie timor ma rację, choć pierwsza nie jest RAID5, pierwsza boot, druga system, trzecia dane wg http://www.kawasoft.pl/index.php?str=raid

Kod: Zaznacz cały

Heimdall:~# mdadm --detail --scan
ARRAY /dev/md0 level=raid1 num-devices=4 metadata=00.90 UUID=54c0683b:d3da6a28:c5c4d838:bcc90626
ARRAY /dev/md2 level=raid5 num-devices=4 metadata=00.90 UUID=4fff89c7:0a6beaf3:f954bf4b:c68845b3
ARRAY /dev/md1 level=raid5 num-devices=4 metadata=00.90 UUID=08f94972:0af5c84e:1a4aebfa:6f53d373

Kod: Zaznacz cały

Heimdall:~# cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4]
md1 : active raid5 sda4[0] sdd4[3] sdc4[2] sdb4[1]
      87160320 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

md2 : active raid5 sda3[0] sdd3[3] sdc3[2] sdb3[1]
      1362616896 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

md0 : active raid1 sda1[0] sdd1[3] sdc1[2] sdb1[1]
      240832 blocks [4/4] [UUUU]

A mam jeszcze takie pytanie, w momencie dokupienia kolejnego dysku, jak się go dołącza do macierzy?