Сайт чрезмерно использует ресурсы MySQL хост-сервера, подскажите что делать?

[Gyperion]

Сайт чрезмерно использует ресурсы MySQL хост-сервера, подскажите что делать?

Здравствуйте.
Подскажите пожалуйста как решить такую проблемму.
У нас в интернете висит сайт, что-то вроде каталога товаров.
Движок - OScommerce. До этого пользовались Joomla, проблема тоже была.
Суть в том, что сайт (как пишет наш хостер) чрезмерно использует ресурсы их базы данных. На нашем пакет-плане стоит пиковый лимит 1000 посещений в минуту.
Товаров в каталоге сейчас порядка двух тысяч. Исходя из статистики посещения (по google) нас в день посещает от силы 100 человек. То есть я понимаю что реально пользователи нам такого превышения создавать не могут чисто физически.
Тем более что по отчетам превышений, пиковые значения равномерно распределены в течение суток, без каких-то часов-пик и т.п. То есть получается, что через какие-то неравные интервалы минут в 5-10 (условно) у нас выстреливает пик запросов порядка нескольких тысяч. И за сутки таких пиков получается несколько сотен.
Мы заметили, что количество товаров влияет на количество пиков. То есть при (например) 2000 товаров средняя величина пиков достигает 1200 в минуту плюс стабильно несколько десятков пиков в день по 10 000 и более, а например при 5000 товара средние пиковые значения достигают уже 2100 (условно) и опять же+ несколько совсем высоких пиков в сутки.

Мы почти уверены что базу данных нам грузят не обычные посетители сайта, но в чем проблема - разобраться не можем, а хостер ругается.

Если кто-то может подсказать в чем проблема и посоветовать решение-буду очень благодарен.
Спасибо за внимание.

 

[Ferox]

У хостера стоит лимит не 1000 посещений, а 1000 запросов к базе мускуля, что совершенно разные вещи...

Я бы на вашем месте перенес бы магазин на свой выделенный сервер и не парился... При желании можно попробовать IP которые вас сканируют банить, IDS какую-то пытаться самостоятельно наваять и к оскоммерсу прикрутить, но ИМХО это все нездорово Лучше и дешевле перенести на свой сервер.

P.S. Кроме того, возможно эти тысячи запросов происходят просто в те моменты, когда вы прайсы в магазин заливаете.

 

[fromkiev77]

1000 запросов (а у вас скорее всего ограничение 100 запросов к базе, а не 100 обращений к сайту) на общих движках не так уж и трудно сделать. При каждом обращении в зависимости от софта (замечу,универсального софта: Джумлы, всякие коммерсы и т.д) может происходить от 3 до 30 запросов к базе. Это всего лишь одно обращение пользователя. Резюме: Лучше всего иметь свой магазин, написанный только под вас, в этом случае вы избавитесь от лишних запросов. Альтернативно, перейти на другой хостинг, где вам выделять больше ресурсов сервера, например VPS

 

[knife]

Шаред хостеры оченно не любят всякие ЦМСы, форумные движки, чаты и прочий интерактив. Для подобных вещей, Ферокс правильно предлагает, лучше взять выделенный сервер. Ну или хотя бы VPS. Хотя лучше все-таки дедик.

 

[Morpheuz]

Охтыж боже мой... vps, выделеный сервер.. ужс..
Перейдите на более дорогой тарыфный план у хостера, или ищите другого
1000 запросов в минуту, это как бы фигня

 

[zansul]

как вариант - это могут быть тупые поисковые роботы.. в гугл аналитикс вы их не увидите, т.к. они не выполняют джаваскрипт..
поищите как ограничить количество запросов через robots.txt, но их воспринимают тока яндекс, гугл, рамблер и т.д.

еще добавьте в скрипт логгирование в отдельный файл
ip, datetime, url, referer, user-agent

по юзер-агентам можно через модреврайт запретить доступ, благо роботы редко прикидываются браузерами.

 

[Ferox]

Охтыж боже мой... vps, выделеный сервер.. ужс..

И все-таки в случае перегрузки виртуального хостинга переходить на выделенный сервер стоит дешевле чем, решать задачи оптимизации движка.

 

[Gyperion]

Я бы на вашем месте перенес бы магазин на свой выделенный сервер и не парился...

Я так полагаю, это не копейки стоит -выделенный сервер. Бюджет мероприятия несколько ограничен, иначе бы просто заказали написать движок под магазин.

При желании можно попробовать IP которые вас сканируют банить

Такая мысль была, не знаем как их засечь).

P.S. Кроме того, возможно эти тысячи запросов происходят просто в те моменты, когда вы прайсы в магазин заливаете.

Это точно нет, работа с магазином происходит значительно реже.

Перейдите на более дорогой тарыфный план у хостера, или ищите другого
1000 запросов в минуту, это как бы фигня

1000 запросов-это максимальный тарифный план у этого хостера, бду благодарен,если подскажете хостинг с большим лимитом.

как вариант - это могут быть тупые поисковые роботы.. в гугл аналитикс вы их не увидите, т.к. они не выполняют джаваскрипт..
поищите как ограничить количество запросов через robots.txt, но их воспринимают тока яндекс, гугл, рамблер и т.д.
еще добавьте в скрипт логгирование в отдельный файл
ip, datetime, url, referer, user-agent
по юзер-агентам можно через модреврайт запретить доступ, благо роботы редко прикидываются браузерами.

Я в этом не сильно шарю, но мне казалось что роботы приходят не очень часто и регулярно, скажем раз в несколько дней. А тут превышения очень значительны и постоянны. Всю остальную инфу из поста увы ниасилил

Всем спасибо за коструктивные советы, буду ждать новых )

 

[BFG-9000]

Такая мысль была, не знаем как их засечь).

В логах сервера.
Вообще уровень у Вас к сожалению невысок, пригласите для анализа и консультаций спеца. Как минимум он скажет в чем трабла - скан/ДДОС, излишне прожорливый движок или еще чего. А там будете решать что делать.
Навскидку дело тут не в прожорливом движке. Даже 30 обращений к БД на один запрос - это 35 запросов к сайту в минуту. 2000 обращений к сайту в час. При 100 униках в день - так не бывает.
Может у Вас на кроне что-то висит и долбит базу? Тем более что распределение нагрузки равномерное и зависит от кл-ва позиций товара...
Или как вариант кто-то роботом потрошит Вашу базу товаров - тоже прямая зависимость от кл-ва товара.
Вобщем, такое надо смотреть.

 

[knife]

Я так полагаю, это не копейки стоит -выделенный сервер. Бюджет мероприятия несколько ограничен, иначе бы просто заказали написать движок под магазин.

Ну вродь щаз цены за дедик начального уровня кое-где опустились до 40 баков в месяц. Неужто дорого?

Такая мысль была, не знаем как их засечь).

Дык, логи посещений курите. В админ.консоли хвостинга

В логах сервера.
Вообще уровень у Вас к сожалению невысок, пригласите для анализа и консультаций спеца. Как минимум он скажет в чем трабла - скан/ДДОС, излишне прожорливый движок или еще чего. А там будете решать что делать.
Навскидку дело тут не в прожорливом движке. Даже 30 обращений к БД на один запрос - это 35 запросов к сайту в минуту. 2000 обращений к сайту в час. При 100 униках в день - так не бывает.
Может у Вас на кроне что-то висит и долбит базу? Тем более что распределение нагрузки равномерное и зависит от кл-ва позиций товара...

ыыы
опередил, зараза

 

[Ferox]

В логах сервера.
Вообще уровень у Вас к сожалению невысок, пригласите для анализа и консультаций спеца. Как минимум он скажет в чем трабла - скан/ДДОС, излишне прожорливый движок или еще чего. А там будете решать что делать.

Я в общем отсюда вижу что скан. У меня есть определенное число многостраничных сайтов и опыт чтения логов тоже есть. Если число страниц сайта не приближается и не превышает где-то 50000 то мое имхо - даже не стоит париться с какими-то IDS. Реально сервер современные движки не сильно грузят. Это просто у хостеров стоят лимиты на число мускульных запросов, хотя запросы сами по себе там простые и оптимизированные.

Скажем, если положить где-то 5-6 сайтов по 1-3 тыс. страниц каждый, на каждый из которых хостер жалуется на перегрузку, на выделенный сервер как тут говорят "начального уровня", то средняя нагрузка на процессор будет 2-3%.

Просто понимайте - альтернатива выделенному серверу это IDS - Intrusion Detection System хоть в каком-то виде. А это не так то просто.

 

[Gyperion]

Как минимум он скажет в чем трабла - скан/ДДОС, излишне прожорливый движок или еще чего. А там будете решать что делать.

Можете такого посоветовать?

 

[Morpheuz]

Были бы Вы нашим клиентом...
Вообще напиши в личку подробности, завтра постараюсь посмотреть в чем там дело.

 

[maxshevtsov]

Можете такого посоветовать?

Oscomercy стандартный двиг, допускаю что его могли переработать сильно, шото там оптимизировать можно но я думаю не сильно. Я думаю пора перезжать на виртуальный сервер.

 

[Ferox]

Кстати что касается виртуальных серверов... Я вот не очень понимаю сути советов... Ну виртуальный сервер, это разве чтоб хостер не пиздел. Но реально ведь сайты на нем работают хуже чем на простом шэред хостинге. Страница медленнее генерируется.

 

[Morpheuz]

Ferox
Щито?
Откуда такие мысли?
Виртуальный сервер это по сути кусок реальной железки, и в любом случае должен быстрее работать чем шаред хостинг.

 

[vatson]

Ferox
Щито?
Откуда такие мысли?
Виртуальный сервер это по сути кусок реальной железки, и в любом случае должен быстрее работать чем шаред хостинг.

Скорость работы на выделенных серверах зависит от прямоты рук админа и мощности самого сервера. Скорость шаред хостинга так же зависит от этих двух факторов + кол-во сайтов висящих на сервере и их потреблении системных ресурсов. Допустим наш бюджет $20-30 на месячные расходы. За эти деньги мы получим или маломощный VPS сервер с куском процессора и памятью в 256-512мб(а если это виртуоза, то и возможно без свопа) или возможно достаточно шустрый шаред, где общая комплектация сервера намного превосходит (4-8 головые процы, 4-8гб озу, терабайты жестокого). Основное же преимущество VPS'ов, дедиков и коллокейтов это в собственной конфигурации установленного софта(на шаредах с запозданием ставят новые релизы программных пакетов, пока те не пройдут тестирование и одобрение в реальном бою, частенько на шаредах можно встретить отсутсвие альтернативных языков программирования, etc). При этом лимиты и ограничения диктуются мощностью железки. И да, на шаредах трудно выбить белый айпишник

З.Ы.: честно, не ожидал такого вопроса от хостера.

 

[eyeland]

Ferox
Щито?
Откуда такие мысли?
Виртуальный сервер это по сути кусок реальной железки, и в любом случае должен быстрее работать чем шаред хостинг.

лол. учите матчасть, уважаемый))

но я таки намекну: на самом деле один хрен, и все зависит от загруженности сервера, но при прочих равных -- шаред таки быстрее и экономичнее в плане расхода ОЗУ.

 

[Ferox]

на шаредах с запозданием ставят новые релизы программных пакетов, пока те не пройдут тестирование и одобрение в реальном бою

И правильно делают. Один раз мне недоумки дали выделенный сервер с PHP версии 5.2.14 - так на ней же ничего не работает извините... Оно бросает дебильные ворнинги, и после этого хеадеры отправить уже не получается... Плюс к тому и еще установили php на FreeBSD не через порты, а ручками, так что я потом долго не мог понять как его переустановить...

Нах последние версии софта. Последние версии нужны больным на всю голову программерам, а не людям которым надо шоб оно все нормально работало.

виртуальный работает медленнее чем шэред потому что на виртуальном у вас если лимит процессорных ресурсов и памяти. А на шэреде лимита нет.

Причем "загрузка сервера" - понятие скорее виртуальное (если только она не доходит до 80 и более процентов, но это так бывает только у неправильных хостеров). Если загрузка меньше - то шэред всегда работает быстрее чем виртуальный.

 

[zansul]

И правильно делают. Один раз мне недоумки дали выделенный сервер с PHP версии 5.2.14 - так на ней же ничего не работает извините... Оно бросает дебильные ворнинги, и после этого хеадеры отправить уже не получается...

думается мне, дело не в новой версии, а в отсутствии модулей..
хотя хз