Просмотр полной версии : Нагрузка на сервер из за франции
Сегодня выяснил что францией в последний месяц с небольшим стало скачиваться по 10-20 гигов в день, причем почти всё это PHP страници, из чего делаю вывод что это какие то боты.
Для сравнения месячный трафик России составляет 10-15 гигов!
Из за такого налегания на сайт он стал тормозить а сегодня мне пришло письмо от хостера что сайт перенагружает сервер и будет через неделю заблокирован если ситуация не измениться.
Пока что я заблокировал сайт для нескольких диапазонов IPшников с которых были наиболее ощутимые загрузки, но боюсь ip могут смениться...
Может у кого есть идеи по решению данной проблемы?
Liiion911
30.06.2009, 22:03
отследить IP, заблочить большинство известных проксиков (с них будут ,если основные IP уже заблочил) ну попробовать разрешить обновление страницы раз в минуту с 1го IP :( а так, что-то странное ((
xkor, можно зарубежный трафик совсем отключить? По IP или еще как?
можно только по ip запрещать заходы, можно диапазонами ip, но у франции да и у любой другой страны диапазонов дохрена, и если все прописать сервак загнется думать разрешать ли этому ip доступ...
cerfdvbht
01.07.2009, 12:16
ыыыыы Смени провайдера и все :)
ыыыыы Смени провайдера и все :)
Походу он думает что форум на домашнем компе xkor'а стоит)
alexteam
01.07.2009, 12:47
ыыыыы Смени провайдера и все
..сказал человек сидящий на укртеле... :p
На всякий случай оставь контакт где потом если что искать новый твой сайт. Надеюсь до этого правда не дойдет.
если что на http://xkor.pp.ru буду оповещать о переездах
но думаю что даже в самом худшем варианте адресс останется этот же, просто придётся либо переехать на другой хостинг частично, либо еще чего, в общем coderx.ru будет с вами и дальше в любом случае)
nezabudkin
02.07.2009, 13:25
1. Закрыть доступ на чтение Гостям форума (хотя бы на время)
2. Пообщаться с хостером, может чего умное подскажут по блокировкам
3. Если есть возможность, заблокировать пользователям скачивать с форума больше 1ГБ в месяц.
nezabudkin, боюсь подходит только второй вариант но пока хостер ничего вразумительного сказать не смог, посылает между разными своими службами...
ЗЫ блокировка IP диапазонов через .htaccess значительно снизила нагрузку на сервер так как теперь PHP не приходиться надрываться для спамящих адресов, но к сожалению на апач нагрузка идет всё равно. К примеру за 24 часа ему приходится для этих адресов формировать около 240 000 небольших страничек - редиректов.
Тут походу поможет только блокировка этих IP на фаерволе, но хз пойдет ли на это хостер...
Добавлено через 4 минуты
кстати, может кто знает можно ли nginx настроить так чтобы он для определенного доменного имени выдавал странички не со своего сервера а запрашивал их с другого, то есть как бы осуществлял прозрачное перенаправление.
Добавлено через 55 минут
хех, придумал оригинальное решение:
по DNS направляю домен coderx.ru на свой VDS сервер, на котором настраиваю фаервол блокировать ipшники уродов, а nginx настраиваю проксифицировать запросы на этот сервак)
единственное что в этом способе плохо это - канал у мена на VDS всего 2 мегабита + ограничение трафика 40 гигов, а трафик то весь пойдет через него(
Всё это очень печально. =(
unknowned
03.07.2009, 10:04
xkor, а что будет в дальнейшем с "Домашний FTP: ftp://xkor.homeip.net/ или http://xkor.homeip.net/" ?
unknowned, да ничего с ними не будет (в смысле ничего не измениться), они с хостингом никак не связаны, это ссылки на мой домашний комп, который в данный момент выключен так как я уезжал из города, но через пару часов он снова будет доступен)
unknowned, да ничего с ними не будет (в смысле ничего не измениться), они с хостингом никак не связаны, это ссылки на мой домашний комп, который в данный момент выключен так как я уезжал из города, но через пару часов он снова будет доступен)
В данный момент ftp://xkor.homeip.net/ Так и не рубит(
хм, да чтот IIS глючит...
усё, хостер заблокировал недоброжелателя, можно спать спокойно)
усё, хостер заблокировал недоброжелателя, можно спать спокойно)
Ну вот все само как-то решилось))) Но зато какая мозговая деятельность )))
Вобще наверно они сами должны были разобраться что и кто у них тянет, а потом высылать гневное письмо тебе. И Слава Богу.
Paranoy, а как заблокировали?
Yegor, полагаю это вопрос всё таки ко мне, по ip заблокировали, на фаерволе наверно...
Скорей всего. У прова (хостера) много штукенций по отлову бандитов. Это мы тут фаерволами балуемся. Сценарии разные и методы воздействия...
xkor, да у тебя смпрашивал просто промахнулся не туда кликнул.
Paranoy, Штукенции щтукенциями а все равно надо при каждом запросе принимать решение - блокировать или нет, а при таком траффике это серьезные затраты машинного времени. Тем более что может быть спам шол с нескольких IP.
klemberg
07.07.2009, 01:26
Может у кого есть идеи по решению данной проблемы?как показала практика, в данном случае оптимальный вариант - блокировать все, кроме подсетей текущих пользователей.
я на таком "военном положении" просидел около трех недель с редиректом на гугль и считаю это оптимальным решением для форума.
блокировать всё не выход...
эпопея продолжается.., хостер заблочил тока один (основной) ip гада, но тот в свою очередь просто стал похоже работать через прокси, в связи с чем появилась идея отдосить основной ipшник этого засранца)
IPишник кста - 88.173.245.124
ты не думал что это ШВ старается ?)
ну в отличии от многих порталов тут можно быстро и легко найти то что надо в том числе и много скриптов на автоматизацию , и та же продажа бота (конечно бред) но чем черт не шутит )
Хм... А вариант блокировать доступ (Примерно так (http://leprosorium.ru/login/)) до момента авторизации? (чтото типа как на лепре, если канешн парльно соль понял)
Кстати периодически сайт не работает или работает очень медленно. Как я понял атаки продолжаются?
Yegor, да я уже сам не понимаю что происходит, по идее от 2-4 запросов в секунду которые через .htaccess блокируются апач нагружаться особо не должен, так что есть сильное подозрение что это хостер глючит...
Jamsho0T
08.07.2009, 18:25
xkor , для профилактики заблокируй маску ip 88.165.*.* - 88.173.*.*
inetnum: 88.165.150.0 - 88.173.255.255
netname: FR-PROXAD-ADSL
descr: Proxad / Free SAS
descr: Static IP address (Freebox)
descr: NCC#2007023917
country: FR
admin-c: ACP23-RIPE
tech-c: TCP8-RIPE
status: ASSIGNED PA
remarks: Spam/Abuse requests: mailto:abuse@proxad.net
mnt-by: PROXAD-MNT
source: RIPE # Filtered
role: Administrative Contact for ProXad
address: Free SAS / ProXad
address: 8, rue de la Ville L'Eveque
address: 75008 Paris
phone: +33 1 73 50 20 00
fax-no: +33 1 73 92 25 69
remarks: trouble: Information: http://www.proxad.net/
remarks: trouble: Spam/Abuse requests: mailto:abuse@proxad.net
admin-c: RA999-RIPE
tech-c: FG4214-RIPE
nic-hdl: ACP23-RIPE
mnt-by: PROXAD-MNT
source: RIPE # Filtered
abuse-mailbox: abuse@proxad.net
role: Technical Contact for ProXad
address: Free SAS / ProXad
address: 8, rue de la Ville L'Eveque
address: 75008 Paris
phone: +33 1 73 50 20 00
fax-no: +33 1 73 92 25 69
remarks: trouble: Information: http://www.proxad.net/
remarks: trouble: Spam/Abuse requests: mailto:abuse@proxad.net
admin-c: RA999-RIPE
tech-c: FG4214-RIPE
nic-hdl: TCP8-RIPE
mnt-by: PROXAD-MNT
source: RIPE # Filtered
abuse-mailbox: abuse@proxad.net
% Information related to '88.160.0.0/11AS12322'
route: 88.160.0.0/11
descr: ProXad network / Free SAS
descr: Paris, France
origin: AS12322
mnt-by: PROXAD-MNT
source: RIPE # Filtered
Наверно я бред написал :)
Что случилось с сервером? захожу на главную страницу и вижу это...
Получилось зайти только через:http://coderx.ru/forum.php
http://s56.radikal.ru/i151/0907/6a/234a53f55175t.jpg (http://radikal.ru/F/s56.radikal.ru/i151/0907/6a/234a53f55175.jpg.html)
Добавлено через 37 минут
Еще можно зайти через http://coderx.ru/index.php
Что все это значит? :confused:
Нормально все заходит через http://coderx.ru.
Бред какойта, удалил кукисы и стало нормально заходить... странно очень. Я то уж думал что хостинг прогнал этот сайт куда подальше... хорошо что все хорошо :D
я конечно извеняюсь) но ни кто не подумал что в файловом архиве может лежать что то что вызывает такие симптомы?)))
Amorality
17.07.2009, 16:38
xkor,
Если проблемы еще есть, то меняй хостера к черту, мой хостер например сам позаботился о защите от ддоса, распределил нагрузку среди клиентов, я уже 2 месяца под ддосом и никто никого не отключил, все прекрасно работает.
А те хостеры, которые сваливают все на клиента, это ламеры.. Хотя конечно если у тебя выделенный серв, то ты должен сам это делать, если обычный хост с директ админ, то ты мало чего можешь сделать.
Amorality, ну досом это назвать впринципе можно с натягом, да и вроде последние дни всё норм.., однако сайт почему то всё равно часто лагает...
ппц, после суток полностью отключенного форума (чтобы проверить как он сервер нагружает) обнаружилась странная вещь:
Ниже приведена статистическая нагрузка аккаунта coderxru.
+----------------------------------------------------------------------+
| server | user | cp_stat | quota | date | warnings | errors |
+----------------------------------------------------------------------+
| orion | coderxru | 30.78 | 32 | 2009-07-10 | 262 | 118 |
| orion | coderxru | 504 | 36 | 2009-07-11 | 713 | 345 |<- тут какой то гад опять "досил"
| orion | coderxru | 262.34 | 34 | 2009-07-12 | 637 | 129 |<- тут какой то гад опять "досил"
| q1 | coderxru | 31.91 | 32 | 2009-07-13 | 165 | 44 |
| q1 | coderxru | 37.26 | 29 | 2009-07-14 | 220 | 218 |
| q1 | coderxru | 41.33 | 29 | 2009-07-15 | 551 | 180 |
| q1 | coderxru | 30.41 | 29 | 2009-07-16 | 198 | 7 |
| q1 | coderxru | 83.92 | 34 | 2009-07-17 | 268 | 17 |
| q1 | coderxru | 55.45 | 32 | 2009-07-18 | 90 | 111 |
| q1 | coderxru | 43.87 | 32 | 2009-07-19 | 0 | 2 |<- а тут форум был отключен под корень
+----------------------------------------------------------------------+
В таблице приведены следующие значения: cp_stat - статистическая процессорная
нагрузка аккаунта на сервер, warnings - число превышений нагрузки на процессор
более 10% (втечение 5 секунд), errors - число превышений нагрузки на процессор
более 50% (втечение 5 секунд). В первую очередь стоит обратить внимание на
параметр cp_stat (безразмерная величина, характеризующая статистическую нагрузку
на процессор втечение суток) - она не должна превышать заданных норм. Такими нормами
для виртуального хостинга (кроме тарифа VIP) является значение 50 и для тарифа VIP
значение - 90. Также необходимо обратить внимание на столбцы warnings и errors.
Число errors должно быть равно 0, а warnings должно стремиться к нулю. Нормально
отлаженные работающие скрипты среднего сайта не должны отнимать более 3% процессорного
времени более 3-5 секунд. Если это не так, и дальнейшая оптимизации невозможна,
следовательно необходимо рассмотреть вариант размещения проекта на выделенном сервере.
то есть что форум есть что нет нагрузка на сервер есть и не хилая, только непонятно откуда, единственное она не превышает какие то барьеры за 5 сек...
Amorality
20.07.2009, 09:09
xkor,
Они еще должны предоставить статистику какой конкретно скрипт грузит серв, иначе это ддос, кстати, если хостинг слабый, то стоит забанить Яхуу ботов, толку от них 0, а вот грузить и даже ложить сайты Очень даже могут!
Жесть... Такое впечатление, что хостер тя отослал подальше в штаты, и там товарищи вручную формируют пакеты из-за чего все оооочень долго =*(
а как насчет включить дебаговый режим форума - и позырить в логи?
иногда скрипты умудряются за пару часов пару сотен метров логов накрейтить
вполне вероятно что какойто мод форума подглючивает
Jes, мм, ну я все лишние моды по отключал, счас форум стал работать значительно шустрее (был один мод запрашивающий у БД при каждой загрузке ВСЕ посты...), а где лог создаваемый скриптами оО?
сегодня опять начался HTTP-flood, что меня окончательно достало и я написал скриптик автоматически блокирующий IP если с него будут слишком часто идти запросы...
alexteam
18.08.2009, 21:36
надо будет поосторожней быть с открытием кучи вкладок при утреннем просмотре форума :rolleyes:
alexteam, не боись, человек не успеет открыть столько окон сколько надо для блокировки)
Добавлено через 1 минуту
+ скрипт будет предупреждать при слишком быстром открытии новой страници)
alexteam, не боись, человек не успеет открыть столько окон сколько надо для блокировки)
Добавлено через 1 минуту
+ скрипт будет предупреждать при слишком быстром открытии новой страници)
эт хорошо, ато я тож подумал как бы не перестараться)
ЗЫ чет у меня седня форум вообще еле ворочиется
alexteam
18.08.2009, 22:02
чет у меня седня форум вообще еле ворочиется
Утром был абзац, сейчас обстановка улучшилась, намного улучшилась. вобщем выражаю администрации то - чего они заслуживают -)
может у тебя слетела база(индексы или там не дефрагментированы таблицы или еще четам) - это может подгружать проц даже в обычных ситуациях
может стоит сделать дамп базы форума и пересоздать базу
также что там у тебя с почтовиком и отправкой уведомлений - может там есть какието подвисания?
невозможно загрузить регистрацию...
это в связи с сегодняшними проблемами?
vBulletin® v3.6.11, Copyright ©2000-2024, Jelsoft Enterprises Ltd. Перевод: zCarot