Тормоза сквида

ASDev · 29.03.2012

Тормоза сквида

Настроил на роутере сквида в прозрачном режиме, прописал подсеть, перенаправил порты, юзеры пошли через сквид, но эта сука очень тормозит работу инета. Сначала идёт задержка 5-6сек, потом начинает грузиться страница, и грузится секунд 30 вместо 3-5 как раньше. Сначала грешил на ДНСы, в resolv.conf прописал тока гугловский, у юзеров также гугловский, вроде стало чуть полегче. Потом отключил кэш, всё рано не так как без сквида. Смотрю загрузку каналов и процессов - вроде ничего сильно проц не грузит, загрузка в пределах пары процентов. В принципе мне кеширующий прокси нахер не нужен, надо мониторить юзверей и резать канал кому приспичит, ну и сайты само собой. В чём могут быть глюки сквида (2.7, из репов дебиана) и есть ли какие-то аналоги?

nerve · 29.03.2012

это какие страницы грузятся 3-5 сек?
эх. когда же нашим админам или тем кто их конролирует надоесть резать и контролировать, проксировать и тп. неужели кому-то не хватает инета, да еще на работе?
мне кажется свкид, да и любой прокси, просто не может соперничать по скорости с нат-ом. но если 30 секунд открывается через прокси - это что-то аномальное.
кажется наступал на эти грабли с тормозами сквида, но в чем было дело не помню.
я бы сперва проверил с самого роутера, консольным куда нить зайти.
попробовать non-transparent. и смотреть по логам: когда сделан запрос и когда сквид начал работать.
ты ведь редиректишь 80 порт на локалхост сквида, а 443 не трогаешь?
контроль доступа - последний бастион. который никак не упадет)
достаточно посмотреть по днс запросам кто куда лазил подойти и сделать внушение. в следующий раз уже подходит директор и больше внушений никому не требуется.

ASDev · 29.03.2012

Проблема в том что я это делаю не у себя. И в той конторе никого прохаваного по части линуха нет, директору надо нажать кнопку и посмотреть кто куда лазил. А т.к. там ещё и часто качают, из-за чего тормозит РДП, то надо резать траффик некоторым юзерам. Через нат всё работает заипись, только включаю сквид - и понеслась... Сквид стоит на роутере, редиректит иптаблесом 80 порт. С самого роутера проблем нет, всё летает

nerve · 29.03.2012

как минимум два варианта тебе еще надо проверить - непрозрачный и логи онлайн

ASDev · 30.03.2012

А что-нить схожее по функционалу с веб-мордой и не кешируещее есть? Я так думаю, проблема в кешировании или ДНС

Ещё вопрос по delay pools. Например есть строка
delay_parameters 1 800/64000
Это по идее должно означать ограничение в 800байт/сек при превышении порога к 64кбайт. Так вот, это общий объём скачаной информации, или конкретного файла? Я проверяю, качаю например 10мб файл, ограничение 800/1000000. Как только закачали метр - применяется ограничение, скорость занижается. Но если я отменяю загрузку, а потом снова начинаю грузить, или отменяю и лезу куда-нить броузером - то остаётся ограничение в 800байт. Можно ли как-то ставить ограничение именно на объём закачиваемого файла? Т.е. например если качаю большой файл - скорость режется, если отменяю его закачку - скорость растёт. Если же это ограничение на общий объём - то до каких пор оно действует?

Подначитался я тут по пулам, но блин всё равно немного не пойму. первое число - ограничение. Второе - буфер. Если скачиваемый файл не превышает размеров буфера - он качается на максимуме. Если превышает - то применяются ограничения. Т.е. при 64000/64000 всё что выше 64кбайт - будет качаться с ограничением. А например лёгкие картинки на сайтах - на макс. скорости. Теперь, если мне надо ограничить качающих юзеров при скачке больших файлов? Например 256000/1000000 - буфер 1мбайт, если я например качаю огромный файл на 200 метров, то он по скорости ограничится 256кбайтами. Но при этом почему-то если я отменю его закачку - у меня весь инет и последующие закачки остаются ограничеными. Почему так происходит?

Liker · 31.03.2012

выкинь из сквида вообще что связано с резволвиногом - прямым и обратным (мало ли может он твоих клиентов 192.168..... пытается резолвить). И проверь действительно обычным телнетом, чем занимается сквид эти 30 секнуд - на линуске strace'ом

ASDev · 31.03.2012

Бля... Проблема решена. Вот сколько раз давал зарок не связываться с десктопным железом, там где нужно серверное. Теперь и браться за настройку не буду пока у заказчика не будет нормальной платформы. В общем, отключение сквида решало проблему лишь частично, общий траффик в инет не превышал 1-2мбит при канале 25мбит. Сегодня пришёл туда, делаю пинги на сетевуху роутера, смотрящую внутрь - 100-500мс. Я насторожился

А если что-то качается - то до 3-5с. Поменяли сетевуху - и как бабка отшептала. Свид летает как ракета, ничего ни у кого не тормозит и не глючит, тьфу-тьфу

Liker · 31.03.2012

ASDev сказав(ла):
Бля... Проблема решена. Вот сколько раз давал зарок не связываться с десктопным железом, там где нужно серверное. Теперь и браться за настройку не буду пока у заказчика не будет нормальной платформы. В общем, отключение сквида решало проблему лишь частично, общий траффик в инет не превышал 1-2мбит при канале 25мбит. Сегодня пришёл туда, делаю пинги на сетевуху роутера, смотрящую внутрь - 100-500мс. Я насторожился А если что-то качается - то до 3-5с. Поменяли сетевуху - и как бабка отшептала. Свид летает как ракета, ничего ни у кого не тормозит и не глючит, тьфу-тьфу

а теперь воткни старую сетевуху в "крутое железо" - 99.999% что все в порядке будет

какая сетвуха старая ? ядро ОС какое ?

ASDev · 03.04.2012

Вообще та сетевуха новая, комп под роутер был собран из новых комплектующих, причём 3 одинаковых сетевухи, одна сука оказалась глючной. Сетевухи какие-то дешманские длинки. Я не знаю и знать не хочу как она где-то заработает, дело тут не в крутости железа, а в его предназначении, и соотв. кол-ве брака и глюкавости. Ну и вообще, сам наверное знаешь отличия правильных серверных сетевух и хлама за 3 уе

История получила продолжение. Заглючила вторая сетевуха длинк, на этот раз смотрящая в инет. Вот какое говно делают...

ASDev · 06.04.2012

ХЗ что за хрень, поставили другие сетёвки, не на стрёмном ВИА, а на обычном 8139. И что-то стабильно примерно с утра начинаются бока. Пингую гугл днс. Сначала всё ок, пинг до 50мс. Потом он становится 80 и медленно опускается до 50. Потом снова 80 и снова медленно опускается. Ещё через некоторое время де-то 130, потом вообще 400, а если сетевуху ещё и нагрузить - то до 3000. При этом смотрю iftop на интерфейс инета - ну никакой нагрузки, килобит так до 100. Процессы тоже не нагружают. После перезагрузки - некоторое время всё ок, потом снова начинается. Потом после 9 утра весь день всё ок. Грешу на какую-то хуйню в кроне, но пока не нашёл. При отключении сквида и оставлении чистого ната - та же херня. При большом пинге на гугл днс - тормозня инета такая шо пистец. Что интересно - там 2 инет канала, и со второго канала вроде всё ок, завтра ещё уточню

Renegade · 06.04.2012

купи у меня нормальную сетёвку 3Com

всего полтос делов и будет тебе счастье.

ASDev · 06.04.2012

Та какие-то одинаковые глюки уже на 3 сетёвках, странная херня...

Renegade · 06.04.2012

хз никогда глюков со сквидом небыло у меня. работал и под нехилой нагрузкой на стопяцот машин с торентами.

ASDev · 06.04.2012

Тут уже скорее не со сквидом, а в целом. У самого на работе роутер стоит, примерно те же конфиги, и всё летает. Правда и сервачок нормальный, на серверном железе

Liker · 06.04.2012

не сетевухи это, и не сквид, трафик надо проанализировать, что говорят счетчики сетвухи ?

ASDev · 06.04.2012

Вот в такие дебри я уже не лез ))) как посмотреть и что имеется ввиду? netstat, nmon? смотрел загрузку iftop на интерфейс, вообще мизерная

Liker · 06.04.2012

-для начала определи количественные показатели, чего там на интерфейсах происходит, тут достаточно будет trafshow понаблдать ну и любой построитель графиков типа (mrtg, cacti, и пр.). - причем вешать на все интерфейсы какие-только существуют.

- что сейчас показывает ifconfig например ?

- какие-то ADSL-железки типа dlink,tplink,zyxel, итд или вай-фай железки юзаются ?

ASDev · 06.04.2012

там 3 интерфейса. Внутренний, и 2 внешних. Тот который глючит - оптика от велтона через медиаконвертер. Никаких АДСЛей и вайфаей нет. Раньше работало через сервак на керио и винде без проблем. Настройки интерфейсом получаются по ДХЦП. Ифконфиг ошибок не показывает, т.к. после утренней перезагрузки глюков не было. Завтра утром ещё помониторю...

Liker · 06.04.2012

скорее всего задрочка с велтоном, доступ на ту железку велтон дает ? если нет - то ебать им надо мозги чтоб дали.

ASDev · 07.04.2012

А хули там той железки? Обычный медиаконвертер, там кажись никаких настроек даже нет, тупо оптику в витуху преобразовывает. Прямо там в офисе де-то в проводах закопана

Бляяя, ну это пиздец. Щас вот с утра с этого ёбаного роутера инет пингуется нормально, а вот локала - 100-800мс!!! Памяти занято 512 из 2гб, сам инет пингуется отлично, т.е. роутер не тормозит, глючит именно интерфейс, но какого хуя всё время разные????

О, вот такую херь только что плюнул в терминал

Message from syslogd@router at Apr 7 08:53:22 ...
kernel:[85855.242304] Disabling IRQ #17

О, кажись разгадка близка. После этого сообщения и инет стал херово пинговаться, ещё 10 мин назад 100% локала пинговалась херово, инет - отлично

Тааак, херовые пинги и со второго инет интерфейса. Для примера

64 bytes from 8.8.8.8: icmp_req=38 ttl=53 time=54.1 ms
64 bytes from 8.8.8.8: icmp_req=39 ttl=53 time=52.7 ms
64 bytes from 8.8.8.8: icmp_req=40 ttl=53 time=51.0 ms
64 bytes from 8.8.8.8: icmp_req=41 ttl=53 time=49.9 ms
64 bytes from 8.8.8.8: icmp_req=42 ttl=53 time=48.0 ms
64 bytes from 8.8.8.8: icmp_req=43 ttl=53 time=46.9 ms
64 bytes from 8.8.8.8: icmp_req=44 ttl=53 time=45.9 ms
64 bytes from 8.8.8.8: icmp_req=45 ttl=53 time=45.0 ms
64 bytes from 8.8.8.8: icmp_req=46 ttl=53 time=143 ms
64 bytes from 8.8.8.8: icmp_req=47 ttl=53 time=143 ms
64 bytes from 8.8.8.8: icmp_req=48 ttl=53 time=142 ms
64 bytes from 8.8.8.8: icmp_req=49 ttl=53 time=141 ms
64 bytes from 8.8.8.8: icmp_req=50 ttl=53 time=140 ms
64 bytes from 8.8.8.8: icmp_req=51 ttl=53 time=139 ms
64 bytes from 8.8.8.8: icmp_req=52 ttl=53 time=138 ms

Содержимое /proc/interrupts в части irq 17

17: 22389 0 IO-APIC-fasteoi eth5

это как раз та сетевуха, смотрящая на основной инет.

вот лог messages

Apr 7 08:53:22 router kernel: [85855.242222] Pid: 0, comm: swapper Not tainted 2.6.32-5-686 #1
Apr 7 08:53:22 router kernel: [85855.242224] Call Trace:
Apr 7 08:53:22 router kernel: [85855.242232] [<c106d941>] ? __report_bad_irq+0x24/0x69
Apr 7 08:53:22 router kernel: [85855.242236] [<c106d948>] ? __report_bad_irq+0x2b/0x69
Apr 7 08:53:22 router kernel: [85855.242239] [<c106da6d>] ? note_interrupt+0xe7/0x13e
Apr 7 08:53:22 router kernel: [85855.242243] [<c106df9b>] ? handle_fasteoi_irq+0x7a/0x97
Apr 7 08:53:22 router kernel: [85855.242249] [<c1004dd7>] ? handle_irq+0x17/0x1b
Apr 7 08:53:22 router kernel: [85855.242253] [<c1004659>] ? do_IRQ+0x38/0x89
Apr 7 08:53:22 router kernel: [85855.242257] [<c10037f0>] ? common_interrupt+0x30/0x38
Apr 7 08:53:22 router kernel: [85855.242261] [<c113007b>] ? bsg_map_hdr+0xc8/0x253
Apr 7 08:53:22 router kernel: [85855.242275] [<f80ef24b>] ? acpi_idle_enter_simple+0x117/0x151 [processor]
Apr 7 08:53:22 router kernel: [85855.242281] [<c11c73e9>] ? cpuidle_idle_call+0x68/0xbb
Apr 7 08:53:22 router kernel: [85855.242285] [<c1002377>] ? cpu_idle+0x89/0xa2
Apr 7 08:53:22 router kernel: [85855.242290] [<c13bf7fc>] ? start_kernel+0x318/0x31d

после этого начал глючить интерфейс инета, потом вообще отвалился пока не резетнули

Сислог пишет вот такое

Apr 7 08:53:22 router kernel: [85855.242215] irq 17: nobody cared (try booting with the "irqpoll" option)
Apr 7 08:53:22 router kernel: [85855.242222] Pid: 0, comm: swapper Not tainted 2.6.32-5-686 #1
Apr 7 08:53:22 router kernel: [85855.242224] Call Trace:
Apr 7 08:53:22 router kernel: [85855.242232] [<c106d941>] ? __report_bad_irq+0x24/0x69
Apr 7 08:53:22 router kernel: [85855.242236] [<c106d948>] ? __report_bad_irq+0x2b/0x69
Apr 7 08:53:22 router kernel: [85855.242239] [<c106da6d>] ? note_interrupt+0xe7/0x13e
Apr 7 08:53:22 router kernel: [85855.242243] [<c106df9b>] ? handle_fasteoi_irq+0x7a/0x97
Apr 7 08:53:22 router kernel: [85855.242249] [<c1004dd7>] ? handle_irq+0x17/0x1b
Apr 7 08:53:22 router kernel: [85855.242253] [<c1004659>] ? do_IRQ+0x38/0x89
Apr 7 08:53:22 router kernel: [85855.242257] [<c10037f0>] ? common_interrupt+0x30/0x38
Apr 7 08:53:22 router kernel: [85855.242261] [<c113007b>] ? bsg_map_hdr+0xc8/0x253
Apr 7 08:53:22 router kernel: [85855.242275] [<f80ef24b>] ? acpi_idle_enter_simple+0x117/0x151 [processor]
Apr 7 08:53:22 router kernel: [85855.242281] [<c11c73e9>] ? cpuidle_idle_call+0x68/0xbb
Apr 7 08:53:22 router kernel: [85855.242285] [<c1002377>] ? cpu_idle+0x89/0xa2
Apr 7 08:53:22 router kernel: [85855.242290] [<c13bf7fc>] ? start_kernel+0x318/0x31d
Apr 7 08:53:22 router kernel: [85855.242292] handlers:
Apr 7 08:53:22 router kernel: [85855.242294] [<f7e0eb87>] (rtl8139_interrupt+0x0/0x3c1 [8139too])
Apr 7 08:53:22 router kernel: [85855.242304] Disabling IRQ #17

и всё, писец. Сетевуха начинает сдуваться