Squid - dzia

[LordRuthwen]

Witam.
Mam trzy maszyny pracujące jako proxy. Dwie uruchamiane przeze mnie około rok temu, jedna odziedziczona.
Ostatnimi czasy dzwonią do mnie ludzie, że bardzo wolno wszystko działa i faktycznie, przez chwilkę działa jak należy a potem 10 minut czekania aż się jakakolwiek strona otworzy.
W procesach mam niby squida uruchomionego:

Kod: Zaznacz cały

2511 ?        Ss     0:00 /usr/sbin/squid -D -YC
 2514 ?        S      0:34 (squid) -D -YC

Pliki konfiguracyjne na obu maszynach wyglądają tak samo.

Kod: Zaznacz cały

auth_param basic children 5
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
acl all src all
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl a80 src xxx.xxx.xxx.0/20
acl a85 src xxx.xxx.xxx.0/18
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow a80
http_access allow a85
http_access deny all
http_reply_access allow all
icp_access allow all
ident_lookup_access allow a80 a85 SSL_ports Safe_ports
http_port 8080
cache_peer xxx.xxx.xxx.yyx sibling 8080 3130 proxy-only
cache_peer xxx.xxx.xxx.yyy sibling 8080 3130 proxy-only
hierarchy_stoplist cgi-bin ?
cache_mem 96 MB
maximum_object_size 40960 KB
access_log /var/log/squid/access.log
emulate_httpd_log on
ftp_user Squid@xxx.xxx.pl
ftp_passive off
refresh_pattern ^ftp:        1440    20%    10080
refresh_pattern ^gopher:    1440    0%    1440
refresh_pattern -i (/cgi-bin/|\?) 0    0%    0
refresh_pattern (Release|Package(.gz)*)$    0    20%    2880
refresh_pattern .        0    20%    4320
acl shoutcast rep_header X-HTTP09-First-Line ^ICY\s[0-9]
upgrade_http0.9 deny shoutcast
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
extension_methods REPORT MERGE MKACTIVITY CHECKOUT
cache_mgr admin@xxx.xxx.pl
hosts_file /etc/hosts
coredump_dir /var/spool/squid

Jest jeszcze trzecia, która po prostu nie wyrabia, a działa - z tym, że uruchamiana była kilkanaście lat temu przez kogoś innego.

Teraz pytanie, o co chodzi i jak sobie z tym poradzić?

[bzyk]

Sprawdz logi squida, czy nie ma jakis errorow produkowanych przez windowsowe wormy. Ja za czasow uzywania squidow pelno tego mialem. Robactwo bylo w stanie zarznac squida nietypowymi wywolaniami...

[LordRuthwen]

Właśnie nie widzę tam nic dziwnego, jedyne co mnie zastanawia to takie coś w /var/log/messages:

Kod: Zaznacz cały

Oct 15 09:52:43 cache0 squid[2514]: Squid Parent: child process 2517 started
Oct 15 09:52:44 cache0 squid[2577]: Squid Parent: child process 2579 started
Oct 15 09:52:44 cache0 squid[2577]: Squid Parent: child process 2579 exited due to signal 6
Oct 15 09:52:47 cache0 squid[2577]: Squid Parent: child process 2591 started
Oct 15 09:52:47 cache0 squid[2577]: Squid Parent: child process 2591 exited with status 1
Oct 15 09:52:50 cache0 squid[2577]: Squid Parent: child process 2615 started
Oct 15 09:52:50 cache0 squid[2577]: Squid Parent: child process 2615 exited with status 1
Oct 15 09:52:53 cache0 squid[2577]: Squid Parent: child process 2617 started
Oct 15 09:52:53 cache0 squid[2577]: Squid Parent: child process 2617 exited with status 1
Oct 15 09:52:56 cache0 squid[2577]: Squid Parent: child process 2619 started
Oct 15 09:52:56 cache0 squid[2577]: Squid Parent: child process 2619 exited with status 1

Ale z tego co wyczytałem to nie jest związane z moim problemem.

//edycja
Zmieniłem jednej z maszyn adres IP, obecnie tylko ja z niej korzystam więc o innych zapytaniach nie ma mowy.
W logach mam takie coś:

Kod: Zaznacz cały

xxx.xxx.xxx.xxx - - [15/Oct/2010:10:39:57 +0200] "GET http://app.ceneostatic.pl/common/image/back/headers-sprite.png HTTP/1.0" 200 909 TCP_MISS :D IRECT

Efekt jest taki, że jak próbuję otworzyć kilka stron jedna po drugiej w osobnych zakładkach to pierwsze 2 otwierają się w całości a reszta już nie.

[bzyk]

Może jakiś problem z dnsami? Z jakich squid korzysta? Zobacz squidclientem czy wszystko jest w porządku. Uruchom squida z przełącznikami:

Kod: Zaznacz cały

squid -N -d 1 -D

i zobacz czy log czegoś brzydkiego (DIRTY) nie wyświetli.

[LordRuthwen]

Kod: Zaznacz cały

[B]# squidclient -p 8080 cache_object://localhost/info[/B]
HTTP/1.0 200 OK
Server: squid/2.7.STABLE3
Date: Fri, 15 Oct 2010 12:47:35 GMT
Content-Type: text/plain
Expires: Fri, 15 Oct 2010 12:47:35 GMT
X-Cache: MISS from cache2.xxx.xxx.pl
X-Cache-Lookup: MISS from cache2.xxx.xxx.pl:8080
Via: 1.0 cache2.xxx.xxx.pl:8080 (squid/2.7.STABLE3)
Connection: close

Squid Object Cache: Version 2.7.STABLE3
Start Time:     Fri, 15 Oct 2010 12:42:10 GMT
Current Time:   Fri, 15 Oct 2010 12:47:35 GMT
Connection information for squid:
        Number of clients accessing cache:      35
        Number of HTTP requests received:       2377
        Number of ICP messages received:        7634
        Number of ICP messages sent:    7634
        Number of queued ICP replies:   0
        Number of HTCP messages received:       0
        Number of HTCP messages sent:   0
        Request failure ratio:   0.00
        Average HTTP requests per minute since start:   439.8
        Average ICP messages per minute since start:    2825.2
        Select loop called: 152180 times, 2.131 ms avg
Cache information for squid:
        Request Hit Ratios:     5min: 11.9%, 60min: 11.9%
        Byte Hit Ratios:        5min: 0.5%, 60min: 0.5%
        Request Memory Hit Ratios:      5min: 25.4%, 60min: 25.4%
        Request Disk Hit Ratios:        5min: 25.7%, 60min: 25.7%
        Storage Swap size:      91764 KB
        Storage Mem size:       3360 KB
        Mean Object Size:       15.45 KB
        Requests given to unlinkd:      182
Median Service Times (seconds)  5 min    60 min:
        HTTP Requests (All):   0.03622  0.03622
        Cache Misses:          0.04047  0.04047
        Cache Hits:            0.00179  0.00179
        Near Hits:             0.05633  0.05633
        Not-Modified Replies:  0.00379  0.00379
        DNS Lookups:           0.00094  0.00094
        ICP Queries:           0.00075  0.00075
Resource usage for squid:
        UP Time:        324.247 seconds
        CPU Time:       2.732 seconds
        CPU Usage:      0.84%
        CPU Usage, 5 minute avg:        0.84%
        CPU Usage, 60 minute avg:       0.84%
        Process Data Segment Size via sbrk(): 8204 KB
        Maximum Resident Size: 0 KB
        Page faults with physical i/o: 1
Memory usage for squid via mallinfo():
        Total space in arena:    8204 KB
        Ordinary blocks:         7735 KB     22 blks
        Small blocks:               0 KB      0 blks
        Holding blocks:           280 KB      1 blks
        Free Small blocks:          0 KB
        Free Ordinary blocks:     468 KB
        Total in use:            8015 KB 94%
        Total free:               468 KB 6%
        Total size:              8484 KB
Memory accounted for:
        Total accounted:         5225 KB
        memPoolAlloc calls: 500214
        memPoolFree calls: 464171
File descriptor usage for squid:
        Maximum number of file descriptors:   1024
        Largest file desc currently in use:    150
        Number of file desc currently in use:  110
        Files queued for open:                   0
        Available number of file descriptors:  914
        Reserved number of file descriptors:   100
        Store Disk files open:                   1
        IO loop method:                     epoll
Internal Data Structures:
          5989 StoreEntries
           732 StoreEntries with MemObjects
           727 Hot Object Cache Items
          5939 on-disk objects

Kod: Zaznacz cały

[B]# squidclient -p 8080 onet.pl[/B]
HTTP/1.0 400 Bad Request
Server: squid/2.7.STABLE3
Date: Fri, 15 Oct 2010 12:53:02 GMT
Content-Type: text/html
Content-Length: 1177
Expires: Fri, 15 Oct 2010 12:53:02 GMT
X-Squid-Error: ERR_INVALID_URL 0
X-Cache: MISS from cache2.xxx.xxx.pl
X-Cache-Lookup: NONE from cache2.xxx.xxx.pl:8080
Via: 1.0 cache2.xxx.xxx.pl:8080 (squid/2.7.STABLE3)
Connection: close

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<HTML><HEAD><META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<TITLE>ERROR: The requested URL could not be retrieved</TITLE>
<STYLE type="text/css"><!--BODY{background-color:#ffffff;font-family:verdana,sans-serif}PRE{font-family:sans-serif}--></STYLE>
</HEAD><BODY>
<H1>ERROR</H1>
<H2>The requested URL could not be retrieved</H2>
<HR noshade size="1px">
<P>
While trying to retrieve the URL:
<A HREF="onet.pl">onet.pl</A>
<P>
The following error was encountered:
<UL>
<LI>
<STRONG>
Invalid URL
</STRONG>
</UL>

<P>
Some aspect of the requested URL is incorrect.  Possible problems:
<UL>
<LI>Missing or incorrect access protocol (should be `http://'' or similar)
<LI>Missing hostname
<LI>Illegal double-escape in the URL-Path
<LI>Illegal character in hostname; underscores are not allowed
</UL>
<P>Your cache administrator is <A HREF="mailto:admin@xxx.xxx.pl">admin@xxx.xxx.pl</A>.

<BR clear="all">
<HR noshade size="1px">
<ADDRESS>
Generated Fri, 15 Oct 2010 12:53:02 GMT by cache2.xxx.xxx.pl (squid/2.7.STABLE3)
</ADDRESS>
</BODY></HTML>

Kod: Zaznacz cały

[B]# squid -N -d 1 -D[/B]
2010/10/15 14:42:10| Starting Squid Cache version 2.7.STABLE3 for i386-debian-li                                                                             nux-gnu...
2010/10/15 14:42:10| Process ID 5394
2010/10/15 14:42:10| With 1024 file descriptors available
2010/10/15 14:42:10| Using epoll for the IO loop
2010/10/15 14:42:10| DNS Socket created at 0.0.0.0, port 55354, FD 6
2010/10/15 14:42:10| Adding domain xxx.xxx.pl from /etc/resolv.conf
2010/10/15 14:42:10| Adding nameserver xxx.xxx.xxx.xxx from /etc/resolv.conf
2010/10/15 14:42:10| Adding nameserver xxx.xxx.xxx.xxx from /etc/resolv.conf
2010/10/15 14:42:10| User-Agent logging is disabled.
2010/10/15 14:42:10| Referer logging is disabled.
2010/10/15 14:42:10| logfileOpen: opening log /var/log/squid/access.log
2010/10/15 14:42:10| Unlinkd pipe opened on FD 11
2010/10/15 14:42:10| Swap maxSize 102400 KB, estimated 7876 objects
2010/10/15 14:42:10| Target number of buckets: 393
2010/10/15 14:42:10| Using 8192 Store buckets
2010/10/15 14:42:10| Max Mem  size: 98304 KB
2010/10/15 14:42:10| Max Swap size: 102400 KB
2010/10/15 14:42:10| Local cache digest enabled; rebuild/rewrite every 3600/3600                                                                              sec
2010/10/15 14:42:10| logfileOpen: opening log /var/log/squid/store.log
2010/10/15 14:42:10| Rebuilding storage in /var/spool/squid (CLEAN)
2010/10/15 14:42:10| Using Least Load store dir selection
2010/10/15 14:42:10| Set Current Directory to /var/spool/squid
2010/10/15 14:42:10| Loaded Icons.
2010/10/15 14:42:11| Accepting proxy HTTP connections at 0.0.0.0, port 8080, FD                                                                              13.
2010/10/15 14:42:11| Accepting ICP messages at 0.0.0.0, port 3130, FD 14.
2010/10/15 14:42:11| HTCP Disabled.
2010/10/15 14:42:11| WCCP Disabled.
2010/10/15 14:42:11| Configuring xxx.xxx.xxx.xxx Sibling xxx.xxx.xxx.xxx/8080/3130
2010/10/15 14:42:11| Configuring xxx.xxx.xxx.xxx Sibling xxx.xxx.xxx.xxx/8080/3130
2010/10/15 14:42:11| Ready to serve requests.
2010/10/15 14:42:11| Store rebuilding is 77.8% complete
2010/10/15 14:42:11| Done reading /var/spool/squid swaplog (5263 entries)
2010/10/15 14:42:11| Finished rebuilding storage from disk.
2010/10/15 14:42:11|      5263 Entries scanned
2010/10/15 14:42:11|         0 Invalid entries.
2010/10/15 14:42:11|         0 With invalid flags.
2010/10/15 14:42:11|      5263 Objects loaded.
2010/10/15 14:42:11|         0 Objects expired.
2010/10/15 14:42:11|         0 Objects cancelled.
2010/10/15 14:42:11|         0 Duplicate URLs purged.
2010/10/15 14:42:11|         0 Swapfile clashes avoided.
2010/10/15 14:42:11|   Took 0.3 seconds (17865.4 objects/sec).
2010/10/15 14:42:11| Beginning Validation Procedure
2010/10/15 14:42:11|   Completed Validation Procedure
2010/10/15 14:42:11|   Validated 5263 Entries
2010/10/15 14:42:11|   store_swap_size = 91844k
2010/10/15 14:42:11| storeLateRelease: released 0 objects
2010/10/15 14:43:17| temporary disabling (Not Found) digest from xxx.xxx.xxx.xxx

Żadnego DIRTY nie ma.
Natomiast dziwi mnie ten środkowy kod

[Pacek]

A próbowałeś zacząć od najprostszej rzeczy - wyczyszczenia pamięci podręcznej? Może jest tam taki "burdello, bum, bum", że squid nie daje rady. Tu taki najszybciej znaleziony przez Google artykuł jak to zrobić: http://www.linuxquestions.org/questions ... xy-359346/

[LordRuthwen]

Od tego zacząłem

[Pacek]

Sprawdź, może coś jeszcze zużywa zasoby (CPU, pamięć) :

Kod: Zaznacz cały

top

Poza tym jak używasz Squida? Jako przezroczyste proxy, czy wprowadzasz proxy w przeglądarce?

[LordRuthwen]

W przeglądarce i to nie jest wymagane, po prostu dla ludzi na radio dużo daje.
W top nie widać nic szczególnego, w zasadzie najwyżej jest squid, czasem przebija go vmware-questd.

[Pacek]

A na pozostałych serwerach masz VMWare? Bo ja powiem Ci szczerze, że u mnie mam 3 maszyny wirtualne na serwerze odpalone i też potrafią przymulić serwer. Chodzi o to, że w momencie kiedy coś zapisują, to dysk się obciąża tak, że np. czasami podczas edycji w mc kilka razy wcisnę F2, żeby zapisać, to na 5 sekund mam przerwę bo wisi komunikat, że zapisuje. Czasami zdarza się, że serwer na chwile łapie sporego laga. Może coś w tym kierunku, bo może niekoniecznie przyczyną jest Squid sam w sobie.