падает Squid из-за большого store.log [БФ]

[gameover]

падает Squid из-за большого store.log [БФ]

есть сквид.

Squid Cache: Version 2.6.STABLE21
configure options: '--prefix=/usr/local/squid' '--enable-delay-pools' '--enable-default-err-language=Russian-1251' '--enable-ssl'

засетаплен пару лет назад. всё работало до последнего времени без вмешательства.
но пару недель назад начались жалобы на то что проксик не доступен.
в логах ошибка такого плана:

less /var/log/squid/logs/cache.log
2011/02/16 11:23:52| 65536 entries written so far.
2011/02/16 11:23:52| 131072 entries written so far.
2011/02/16 11:23:52| 196608 entries written so far.
2011/02/16 11:23:52| Finished. Wrote 235804 entries.
2011/02/16 11:23:52| Took 0.1 seconds (2074260.4 entries/sec).
FATAL: logfileWrite: /var/log/squid/logs/store.log: (11) Resource temporarily unavailable

Squid Cache (Version 2.6.STABLE21): Terminated abnormally.
CPU Usage: 2676.055 seconds = 1540.360 user + 1135.695 sys
Maximum Resident Size: 0 KB
Page faults with physical i/o: 1
Memory usage for squid via mallinfo():
total space in arena: 51436 KB
Ordinary blocks: 51333 KB 74 blks
Small blocks: 0 KB 0 blks
Holding blocks: 240 KB 1 blks
Free Small blocks: 0 KB
Free Ordinary blocks: 102 KB
Total in use: 51573 KB 100%
Total free: 102 KB 0%
2011/02/16 11:23:55| Starting Squid Cache version 2.6.STABLE21 for i686-pc-linux-gnu...
2011/02/16 11:23:55| Process ID 32407
2011/02/16 11:23:55| With 1024 file descriptors available
2011/02/16 11:23:55| Using epoll for the IO loop
2011/02/16 11:23:55| DNS Socket created at 0.0.0.0, port 41102, FD 9
2011/02/16 11:23:55| Adding nameserver 127.0.0.1 from /etc/resolv.conf
2011/02/16 11:23:55| helperOpenServers: Starting 5 'squidGuard' processes
2011/02/16 11:23:56| helperOpenServers: Starting 5 'ncsa_auth' processes
2011/02/16 11:23:56| Unlinkd pipe opened on FD 24
2011/02/16 11:23:56| Swap maxSize 4194304 + 262144 KB, estimated 0 objects
2011/02/16 11:23:56| Target number of buckets: 17140
2011/02/16 11:23:56| Using 32768 Store buckets
2011/02/16 11:23:56| Max Mem size: 262144 KB
2011/02/16 11:23:56| Max Swap size: 4194304 KB
2011/02/16 11:23:56| Rebuilding storage in /var/log/squid/cache (CLEAN)
2011/02/16 11:23:56| Using Least Load store dir selection
2011/02/16 11:23:56| Set Current Directory to /var/log/squid/cache
2011/02/16 11:23:56| Loaded Icons.
2011/02/16 11:23:56| Accepting proxy HTTP connections at 192.168.13.253, port 3128, FD 26.
2011/02/16 11:23:56| Accepting ICP messages at 0.0.0.0, port 3130, FD 27.
2011/02/16 11:23:56| WCCP Disabled.
2011/02/16 11:23:56| Configuring Parent 127.0.0.1/8080/0
2011/02/16 11:23:56| Ready to serve requests.
2011/02/16 11:23:56| Store rebuilding is 1.7% complete
FATAL: logfileWrite: /var/log/squid/logs/store.log: (27) File too large

размер этого файла 2,1Г

но до этого я настроил logrotate:

/var/log/squid/logs/access.log /var/log/squid/logs/cache.log /var/log/squid/logs/store.log {
daily
missingok
create 0640 squid squid
compress
rotate 2
postrotate
/etc/rc.d/rc.squid start
endscript
prerotate
/etc/rc.d/rc.squid stop
endscript
}

и он отработался:

ls -al /var/log/squid/logs/*
-rw-r----- 1 squid squid 659783 2011-02-16 11:55 /var/log/squid/logs/access.log
-rw-r----- 1 squid squid 5401870 2011-02-16 04:40 /var/log/squid/logs/access.log.1.gz
-rw-r----- 1 squid squid 28951916 2011-02-10 04:40 /var/log/squid/logs/access.log.2.gz
-rw-r----- 1 squid squid 18054 2011-02-16 11:37 /var/log/squid/logs/cache.log
-rw-r----- 1 squid squid 544959 2011-02-16 04:40 /var/log/squid/logs/cache.log.1.gz
-rw-r----- 1 squid squid 786194 2011-02-16 11:55 /var/log/squid/logs/store.log
-rw-r----- 1 squid squid 34300701 2011-02-16 04:40 /var/log/squid/logs/store.log.1.gz
-rw-r----- 1 squid squid 206774098 2011-02-08 04:41 /var/log/squid/logs/store.log.2.gz

а упал он в 11:23.
при чем активность юзеров началась с девяти утра. и накачать они успели 121М, с 16% попаданием в кэш.

вопрос:
куда копать? что делать что бы исправить ситуацию?

 

[eyeland]

>размер этого файла 2,1Г

>но до этого я настроил logrotate:

Взаимоисключающие параграфы детектед.

Где именно лежтит тот самый 2х гиговый лог?
в /var/log/squid/logs/* я его не вижу

И да, останавливать сквид не нужно, у него вообщето есть ключ -k rotate

 

[gameover]

>размер этого файла 2,1Г

>но до этого я настроил logrotate:

Взаимоисключающие параграфы детектед.

я эти 2,1г обнулил руками,чтоб сквид запустить.

И да, останавливать сквид не нужно, у него вообщето есть ключ -k rotate

про ключ -rotate я в курсе. но хочу logrotate использовать,можно,а?

 

[eyeland]

я эти 2,1г обнулил руками,чтоб сквид запустить.

Ага, тоесть лог вырос не смотря на ротейт? Типа логротейт перестал работать?

про ключ -rotate я в курсе. но хочу logrotate использовать,можно,а?

Ну в самом же логротейте можно указать не стоп-старт, а rotate.

 

[gameover]

Ага, тоесть лог вырос не смотря на ротейт? Типа логротейт перестал работать?

ага.
при чем то что logrotate отработал видно по времени/датам соседних файлов (4:40)

думаю не обнулился сам файл во время ротации.
или за несколько часов он раздулся до 2,1гига.

сюда по содержанию, др фалы( access.log и cache.log) были ротированы нормально.
ротацию store.log по содержимому не могу определить:

gunzip -c /var/log/squid/logs/store.log.1.gz |tail
1297823798.557 RELEASE -1 FFFFFFFF 0D19B0426CB59CB35381C10D83C2B701 407 1297823798 0 1297823798 text/html 1388/1388 GET

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

1297823858.556 RELEASE -1 FFFFFFFF 53AAEBCDF182BC761D3A321DA4B94DAE 407 1297823858 0 1297823858 text/html 1388/1388 GET

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

1297823899.048 RELEASE -1 FFFFFFFF 6F00D8F4EC3DCD4861B91B27A9204C0F 403 -1 -1 -1 text/html -1/2511 GET

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

1297823899.340 RELEASE -1 FFFFFFFF B6F0724143757B466B840A6CBDA3B417 403 -1 -1 -1 text/html -1/2511 GET

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

1297823899.340 RELEASE -1 FFFFFFFF A258DC8B243FC26064C2BD863EA8CBD0 403 -1 -1 -1 text/html -1/2511 GET

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

1297823918.554 RELEASE -1 FFFFFFFF C8B97B571226D10E10EFA8AC7C7E3E10 407 1297823918 0 1297823918 text/html 1388/1388 GET

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

1297823978.553 RELEASE -1 FFFFFFFF E28D2239A96672A0EE1E9CA99AA59D24 407 1297823978 0 1297823978 text/html 1388/1388 GET

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

1297823989.036 RELEASE -1 FFFFFFFF A37EA801B22F66D06F65E323593081EF 403 -1 -1 -1 text/html -1/2511 GET

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

1297823989.349 RELEASE -1 FFFFFFFF 8DEEEE3B5FEA93533E210C5C4CD728FB 403 -1 -1 -1 text/html -1/2511 GET

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

1297823989.349 RELEASE -1 FFFFFFFF 5224E512A5D32FAE6B418C24FA1AF936 403 -1 -1 -1 text/html -1/2511 GET

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

но это очень похоже на ночное обновление антивирусов

 

[Gwynn]

ага.
сюда по содержанию, др фалы( access.log и cache.log) были ротированы нормально.
ротацию store.log по содержимому не могу определить:

А чего не можете определить ? По содержимому ж видно когда он начат.
Первый параметр это дата в unixtime, оно конвертится довольно легко в дату. Так что можно посмотреть, по содержимому когда начался файл, и что просиходило в определенный промежуток, сколько записей было добавлено.

1297823798 = Wed, 16 Feb 2011 02:36:38 GMT
Если влом писать парсер, то вот вам онлайн переводчик

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

Кстати, тот кусочек, что вы привели говорит вообще о чистке кэша

RELEASE The object was removed from the cache (see also file number below).

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

А вам вообще нужен этот лог ?

However, the Squid developers recommend to treat store.log primarily as a debug file, and so should you, unless you know what you are doing.

# TAG: cache_store_log
# Logs the activities of the storage manager. Shows which
# objects are ejected from the cache, and which objects are
# saved and for how long. To disable, enter "none". There are
# not really utilities to analyze this data, so you can safely
# disable it.
#
#Default:
# cache_store_log /var/log/squid/store.log

 

[gameover]

оооо!!!
большое спасибо.
я его тогда отключу его!
ибо за один день он достигает 2 гигов.

 

[Lion81]

аналогичная проблема

возникла после того, как отключили свет ночью в организации, меня не предупредили, сервак работал. Настраивал все человек раньше, который уже здесь не работает. Нашел по логу, что:

FATAL: logfileWrite: /var/log/squid/store.log: (27) File too large.
Удалил store.log, размаер около 2,1 Гб, через 15-20 минут опять та же ошибка и прокся не работает.

Куда копать?

Starting Squid Cache version 3.0.STABLE5 for i686-suse-linux-gnu...

Раньше, в предыдущие дни, размер логов был такой:
store.log-20130411.bz2 3,9Mb

 

[BrainStorm]

я не специались в сквиде, но похоже, что проблема в том, кто в лог обильно срет. Посмотри кто.

 

[Lion81]

Т.к. размер лога большой, то просмотреть его проблемка та еще... Хочу очистить и пересоздать кеш - не могу остановить squid. Пишет:
% squid -k shutdown
no such job

Это типа не запущен squid что ли?!?

 

[gameover]

да. не запущен.
ps aux|grep squid скажет наверняка

уверен вам стоит отключить этот лог.
выше написано как это сделать.

 

[Lion81]

да. не запущен.
ps aux|grep squid скажет наверняка

уверен вам стоит отключить этот лог.
выше написано как это сделать.

Не могу найти файл, в котором надо его отключатьТкните пожалуйста меня носом... В squid.conf параметр cache_dir вообще не обнаружил...

 

[gameover]

#Default:
# cache_store_log /var/log/squid/store.log

??

 

[Gwynn]

??

Я же жирным выделил

# saved and for how long. To disable, enter "none". There are
# not really utilities to analyze this data, so you can safely

FATAL: logfileWrite: /var/log/squid/store.log: (27) File too large.
Удалил store.log, размаер около 2,1 Гб, через 15-20 минут опять та же ошибка и прокся не работает.

Куда копать?

Вы хотите сказать, что за 20 минут у вас кэш лог становится 2 гига ? Думаю тут надо не то что его отключать, а еще и внимательно его читать. Т.к. это явно не нормальное поведение.

Хотя подозреваю, что сквид просто не закрыл файл, и все еще думал что у него лог в 2 гига.