Wysokie i/o serwer strasznie rz

ubunciak · Post autor: **ubunciak** » 29 czerwca 2011, 11:40

Witam.

Mam dziwny problem z jednym z serwerów. Pierwszy raz się spotykam z sytuacją aby tak mało obciążony serwer, tak zarzynał dyski. Nic specjalnego się tam nie dzieje, a serwer rzęzi strasznie. Przeszukałem sieć i niestety nie znalazłem żadnego rozwiązania, może ktoś tutaj pomoże?

Sprzęt: jakiś intel 8core, 8GB ramu, 2 dyski seagate 1TB wpięte do kontrolera 3ware sprzętowy raid. Powinno ładnie działać, a tu taki problem.

Obciążenie procesora w czasie tworzenia kopii zapasowej:

Obciążenie procesora na co dzień:

Proszę zwrócić uwagę na ten pomarańczowy kolor - WAIT - ogromny, na żadnym serwerze nie mam takiego, wszędzie jest to minimalna wartość, wykresy niebieskie.

Iotop wskazuje, że dysk rzęzi w zasadzie tylko przez proces (kjournald), z tego co wyszukałem to indeksowanie systemu ext3 i nie znalazłem żadnego wyjaśnienia, dlaczego wszędzie nie ma z tym problemu, a akurat na tym serwerze powoduje to takie mulenie.

Bastian · Post autor: **Bastian** » 29 czerwca 2011, 14:12

A co mówi iostat oraz smartcrt?

ubunciak · Post autor: **ubunciak** » 29 czerwca 2011, 14:17

Iostat - w tej chwili niewiele:

Kod: Zaznacz cały

Linux 2.6.34.6 06/29/2011 _i686_

avg-cpu: %user %nice %system %iowait %steal %idle
8.92 0.00 1.95 4.57 0.00 84.56

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 53.16 332.67 778.87 1120573531 2623573590
sda1 0.00 0.19 0.00 635422 16728
sda2 0.00 0.09 0.01 307834 28158
sda3 3.29 1.82 84.52 6133846 284690128
sda4 49.86 330.57 694.34 1113494973 2338838576

Smartctl nie działa z tym kontrolerem.

Kod: Zaznacz cały

smartctl -a /dev/sda
smartctl 5.41 2011-06-09 r3365 [i686-linux-2.6.34.6] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

Vendor: LSI
Product: 9750-4i DISK
Revision: 5.08
User Capacity: 999,989,182,464 bytes [999 GB]
Logical block size: 512 bytes
Logical Unit id: 0x600050e085dba3002ac6000042e30000
Serial number: 9VP72DEA85DBA3002AC6
Device type: disk
Local Time is: Wed Jun 29 14:16:27 2011 CEST
Device supports SMART and is Disabled
Temperature Warning Disabled or Not Supported
SMART Health Status: OK

Error Counter logging not supported
Device does not support Self Test logging

Kod: Zaznacz cały

smartctl -a --device=3ware,4 /dev/sda
smartctl 5.41 2011-06-09 r3365 [i686-linux-2.6.34.6] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

Smartctl: Device Read Identity Failed: Input/output error

A mandatory SMART command failed: exiting.

Nikt, zaraz się załamie. Wszystkie pomysły się skończyły, a problem jak był tak jest. Miało z kontrolerem działać, a jest jeszcze gorzej niż bez.

paolus · Post autor: **paolus** » 30 czerwca 2011, 20:18

Nie wiem jaki masz model kontrolera, ale tu http://blog.edseek.com/archives/2005/02 ... onitoring/jest podany sposób na odczyt temperatury.

ubunciak · Post autor: **ubunciak** » 30 czerwca 2011, 20:27

U mnie nie działa, nawet najnowsze smartmontools skompilowałem w tym celu. Zresztą nie sądzę aby temperatura miała tu coś do rzeczy.

lessmian2 · Post autor: **lessmian2** » 30 czerwca 2011, 22:03

Nie wypadł Ci jakiś dysk i macierz się nie synchronizuje?

ubunciak · Post autor: **ubunciak** » 30 czerwca 2011, 22:09

Nie. To trwa już z pół roku, od początku działania serwera tak było, ale na serwerze teraz coraz więcej i coraz bardziej krew zalewa, że taka mocna maszyna a rzęzi gorzej niż mój 5letni serwer.

Kod: Zaznacz cały

tw_cli
//s1> info

Ctl Model (V)Ports Drives Units NotOpt RRate VRate BBU
------------------------------------------------------------------------
c0 9750-4i 2 2 1 0 1 1 -

//s1> /c0 show

Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-1 OK - - - 931.312 Ri ON

VPort Status Unit Size Type Phy Encl-Slot Model
------------------------------------------------------------------------------
p0 OK u0 931.51 GB SATA 0 - ST31000528AS
p1 OK u0 931.51 GB SATA 1 - ST31000528AS

Ten WAIT mnie zastanawia. Nie mam takich problemów na żadnym innym serwerze. To bezpośrednio wynik tego rzężenia dyskiem przez kjournald?

Kod: Zaznacz cały

hdparm -Tt /dev/sda

/dev/sda:
Timing cached reads: 15126 MB in 2.00 seconds = 7574.71 MB/sec
Timing buffered disk reads: 304 MB in 3.02 seconds = 100.72 MB/sec

a to ma jakieś znaczenie? Googlałem ale nigdzie żadnych konkretnych odpowiedzi, raczej olewanie tego komunikatu.

Kod: Zaznacz cały

[ 9.835533] EXT3-fs (sda2): warning: checktime reached, running e2fsck is recommended
[ 9.922382] EXT3-fs (sda2): using internal journal
[ 9.922387] EXT3-fs (sda2): mounted filesystem with writeback data mode

Wysokie i/o serwer strasznie rz

Wysokie i/o serwer strasznie rzęzi