Змінюй хід війни! Допомагай ЗСУ!

onet и мистический трафик

  • Автор теми Автор теми Skar
  • Дата створення Дата створення
привяжи к mac, к адресу, к номеру договора - какая нафиг разница?
 
Садитесь, вам двойка с минусом. Сначала утрудите себя почитать, что для Windows систем означают следующие ключи реестра (см. ниже), а уже потом мы будем разговаривать "о вопиющей безграмотности, незнании и непонимании простейших законов сетевого взаимодействия".
TcpAckFrequency
TCPNoDelay
TcpWindowSize
GlobalMaxTcpWindowSize
etc..
Мля... и эти люди мнят себя сетевыми специалистами.

Чем интересно поможет изменение значения TcpWindowSize с точки зрения соотношения трафика? Для просто читающих неспецов и для безграмотных умников из онета поясняю: этот параметр управляет размером окна т.е. грубо говоря кл-ва данных, которые могут быть посланы до получения квитанции на первый пакет. Это окно нужно, чтобы не стоять в ожидании квитанции на посланный пакет перед отправкой следующего. НО! Квитанции на эти данные никто не отменял! Просто они придут чуть позже. Увеличение этого окна оптимизирует загрузку канала но увеличивает откаты и перепосылку данных в случае сбоев. Уменьшение окна наоборот, уменьшает откаты, но ухудшает показатель загрузки канала. Но кл-ва квитанций он НЕ МЕНЯЕТ!

TCPNoDelay... ну что сказать. На быстрый Кузин взгляд да! Это замечательный аргумент. Ибо сказано, что эта опция "TCP feature that combines several small packets into a single, larger packet for more efficient transmission". Ключевые слова для Кузи и ему подобных спецов - "a single, larger packet". Вот оно! Однако если бы они еще удосужились последовать совету предыдущего поста и прочесть что такое МТУ... то они бы знали, что в Инете не бывает пакетов длиннее 576 байт, а в обычном эзернете - длинее 1500 (тут они называются фреймами). И это включая служебную инфу. Кстати по дефолту эта опция отключена.

TcpAckFrequency... Вот, вот Кузя нашел то что искал!!! Это действительно может снизить кл-во квитанций TCP! Все, теперь все юзера и уж конечно же я точно полных лохи и ламеры!
Что ж, попробуем рассмотреть этот параметр в доступной не спецам форме.
Считается, что по мере увеличения этого параметра TCP-протокол будет посылать квитанции не на каждый пакет, а на 2-3-4 и т.д. пакетов сразу. Максимальное значение параметра 255. Т.е. одна квитанция на 255 пакетов. Пока теория совпадает с Кузиной мечтой (на то что даже коэффициент 255 не объяснит толком соотношения трафика у ТС мы закроем глаза). Однако есть несколько моментов.
1. Если бы разнообразные Кузи читали документацию до конца, то они бы увидели маленькую приписку "... квитанция посылается после получения определенного параметром числа пакетов ИЛИ если за 200мс не получено ни одного пакета". Т.е. тупо по таймауту, коих в сети общего назначения по кличке Интернет более чем достаточно. Даже на хороших каналах в специально создаваемых условиях опыт показывает, что реально удается добиться 10-15-кратного уменьшения трафика квитирования. Но это же опыт, это же надо не бабки с клиентов тянуть и на форуме чушь нести, а сниффер погонять и головой слегка подумать.
2. Да, можно ждать получения 255 пакетов... но тут БАЦ! Закрывается окно TCP (про него упоминалось в описании предыдщих параметров). Т.е. все, исчерпалось кл-во данных, которые можно было принять без отправки квитанции и система подождав 200 мс опять посылает квитанцию, чтобы открыть это окно.
О да! Продвинутый ТС оттюнинговал систему, он сделал окно больше 1-го мегабайта (что явно не рекомендовано), он поставил TcpAckFrequency равным 255, у него идеальный канал без таймаутов и система работающая согласно теории а не жизненным реалиям... Другими словами ТС сделал все, чтобы добиться такого соотношения трафика и пристебаться провайдеру. Надо же, какой негодяй! Но тут наступает самый интересный Пункт 3.
3. Данный параметр в отличие от окна ТЦП, которое согласовывается, имеет отношение только к системе, на которой он установлен. Т.е. только та система, которая принимает данные и посылает квитанции решает, как часто она будет эти квитанции посылать. В случае ТС-а данные посылает система ТС-а (у него огромный исходящий трафик, "он посылает письма" или "с него тянут файл" по утверждению Кузи), а квитанции (которые будут для ТС-а входящим трафиком) посылает удаленная система!
Все. ТС попал. Совершение преступления в группе всегда считалось отягчающим обстоятельством. В данном случае ТС вступил в сговор с администратором удаленной системы, чтобы он специально оттюнинговал свою систему для минимально генерации исходящего (а для ТС-а входящего) трафика! Кузенька, пожалуйста, смени дату на своем компьютере с 1937-го на 2008-й год.

Итого, я попытался наглядно показать, что Кузьма опять бездарно использовал отрывочные знания без какого-либо понимания происходящего для аргументации позиции "все ламеры а у нас все правильно". И такому "специалисту" люди должны верить на слово, что "все работает идеально и правильно". Блажен кто верует.

Понимаю, что я не самый способный популяризатор, но думаю хоть что-то для не спецов стало понятным. Если кого-то заинтересовали мои пояснения - велкам в личку или аську, подскажу, посоветую, с интересом выслушаю аргументы против и т.д.

Кстати, Кузя, а что это мы уперлись в квитирование ТЦП, в котором Вы и Ваши сторонники явно нифига не понимаете? Давайте перейдем на более простую тему - протоколы прикладного уровня.
Внимание, опять ПРЯМОЙ ЧЕТКО ПОСТАВЛЕННЫЙ ВОПРОС: "Сколько минимум байт прикладного уровня посылает SMTP-сервер принимая письмо для отправки?"
Сразу скажу, что теоретический минимум, которым может обойтись почтовый сервер - это 35 байт протокола прикладного уровня. Это в случае полностью отключенной вербализации чего в жизни не бывает и отсутствия авторизации. Практически там 200-400-600 байт. На каждое письмо. Это только на прикладном уровне, к которому добавится служебная инфа ТЦП и ИП уровней, а еще сопутствующие действия МТА по резолву МХ-сов в адреса ( а в случае спама - как еще назвать такой объем писем - еще и собсно получения самих МХ-сов).
Итак, Кузя, доказываем, что это все херня (точнее показываем свои "знания").
Кстати заодно доказываем, что ТС проспамился минимум 3-5 тысячами писем и не пришло ни одного абуза :)

Уфф, многа букафф, но я старался для не спецов. Уже не важно даже что глюкануло в случае с ТС, здесь пошло наглядная демонстрация уровня знаний в техслужбе провайдера с активным участием представителей этой техслужбы :іржач:

ЗЫЖ Кого заинтересовало происходящее в его сетевом кабеле - ищет что такое WireShark, качает, ставит, разбирается (может спросить у меня) и удивляется неизведаному миру ;)
 
Тем более не понимаю что такого, чтобы эту инфу пихать в SQL и хранить там пару месяцев.

Отвечу не своими словами. Читай внимательнее.

Ну скажем так:
Для выборки лога соединений по одному пользователю за 1 месяц нужно перелопатить примерно 2 гига * 30 дней 60 гиг логов, причем их нужно ПРОАНАЛИЗИРОВАТЬ, выбрав при этом записи, относящиеся именно к этому абоненту.
Загрузка машины, занимающаяся этим перелопачиванием 100% (2 ксеона 3,0) примерно в течении 7 минут.
Если такая услуга будет бесплатной, то примерно 10 абонентов, запросивших детализацию, уже смогут получить ее, всего то часов за 20 времени каждый.
Если этих запросов будет 50, то о такой услуге уже можно забыть, это как Интернет от Лайф, он вроде как бы есть, но его на самом то деле и нет.
У меня детализация стоит 5 гривен за месяц, это деньги небольшие, но сильно спасающие от неработоспособности услуги.
Детализация за последние 24 часа предоставляется бесплатно.
Мое ЛИЧНОЕ мнение - детализацию нельзя делать бесплатной НИ ПРИ КАКИХ условиях.

2 гб за месяц, умножаем на (пару месяцев) 4 гб. 4гб*6000юзеров=24ТБ данных.
Не думаю что существует в мире тачка способная перелопапить SQL базу подобного размера.
 
Отвечу не своими словами. Читай внимательнее.



2 гб за месяц, умножаем на (пару месяцев) 4 гб. 4гб*6000юзеров=24ТБ данных.
Не думаю что существует в мире тачка способная перелопапить SQL базу подобного размера.

Я немного не согласен с цифрами. Что же это за логи, которые весят 2 гб на юзера в месяц????
 
привяжи к mac, к адресу, к номеру договора - какая нафиг разница?

Конечно чисто теоретически можно попытатся заставить винду перед отсылкой пакета обращатся к базе, сверятся и дописывать полученную инфу в первые несколько байт :) но так уж сложилось исторически что туда вбивается IP адрес.
Никто ж не мешает, напишите свою версию стека ТCP\IP протоколов :)
 
мы говорим о разных вещах
я говорю о базе для работы со статистикой
ты говоришь о приходящих пакетах
 
мы говорим о разных вещах
я говорю о базе для работы со статистикой
ты говоришь о приходящих пакетах

А ты не понимаешь чт омы говорим о базе статистики приходящих и уходящих пакетов?
 
шарик, ты замучал вусмерть
как сейчас считают трафф общий, без деталировки?
если бы не было механизма считать бы не могли
так какая нафиг принципиальная разница тогда считать без деталировки или с деталировкой?
специально для тебя повторяю еще раз - потом можно чекрыжить по ip, mac итд итп
 
Конечно чисто теоретически можно попытатся заставить винду перед отсылкой пакета обращатся к базе, сверятся и дописывать полученную инфу в первые несколько байт :) но так уж сложилось исторически что туда вбивается IP адрес.
Никто ж не мешает, напишите свою версию стека ТCP\IP протоколов :)

А ты не понимаешь чт омы говорим о базе статистики приходящих и уходящих пакетов?
Помоему это еще один "специалист" в области сетевого взаимодействия. Почему-то он считает, что надо что-то дополнительно вписать в пакет, чтобы вести статистику.
Спешу его разочаровать - все уже вписано. Каждый пакет, приходящий на дефоловый гейт во ФРЕЙМЕ (т.е. эзернет-пакете) имеет назначением адрес самого гейта, а вот на следующей стадии инкапсуляции в ИП-пакете имеет собсно внешний адрес назначения. Какую еще надо инфу для ведения подробнейшей статистики?
 
BFG-9000, я прошу прощения, я натурально не в курсе, а как работают качалки использующие UDP, а не TCP? Они не могли дать тот эффект соотношения траффика?

И я хочу извиниться за свой пост №22. Действительно соотношение 0.226:250 не может быть при использовании протокола TCP. Также оно не может быть при всех разумных сценариях скана по ICMP.

Может быть представители провайдера хотя бы теоретически расскажут, откуда могло быть такое соотношение траффиков? Действительно, похоже не на реальную ситуацию, а на глюк в системе статистики.

А если так, то какова гарантия, что тот же глюк не реализуется в отношении других клиентов, которые в отличие от топикстартера не так внимательно следят за своим траффиком и не имеют такого малого объема принятого траффика?

Какова гарантия, что глюк (глюк ли) не носит массового характера и не влияет на рентабельность провайдера в целом?
 
Удивительно, почему при таких доскональных знаниях протокола TCP/IP, вы несколькими постами выше написали ерунду вроде:
на каждый пакет в идеале равный МТУ будет ответ минимум 36 байт) - тогда вы возможно перестанете писать бред. Кстати заодно узнаете что такое МТУ и чему оно равно в инете и в локалке, разделите размер МТУ на 36 и удивитесь...
Итого, я попытался наглядно показать, что Кузьма опять бездарно использовал отрывочные знания без какого-либо понимания происходящего для аргументации позиции "все ламеры а у нас все правильно".
А на самом деле, всего-то, показали, что неплохо владеете поиском в и-нете, знаете, что такое MSDN и Википедия, дополнив информацию из MSDN своими "пояснениями".
Кстати приведенные мною примеры были исключительно "теоретическими", те. то, что "мого-бы-быть", что там было на самом деле, мы увы никогда не узнаем.
ну, эт уже совсем вы не по мужски. Типа мы тут одни хоршшие окружены врагами. Типа враги вас опорочили.
Нет, не нужно утрировать. Просто на резкие заявления, я резко и отвечаю.
Более того, повторюсь, я не сисадмин, но кое какое представление о предмете разговора имею. Так вот, каждый фрейм содержит адрес отправителя и адрес источника. Припрохождении вашего шлюза нет никакой сложности отследить куда ушел и откуда пришел фрейм. Тем более не понимаю что такого, чтобы эту инфу пихать в SQL и хранить там пару месяцев.
Нет нужды изобретать велосипед. Есть такая замечательная вещь как Посилання видалено. Именно на его основе и генерится детальная статистика для пользователей. Просто несколько дней подряд он не работал, верее работал, но ему было некуда складывать логи (за день это порядка 7-10Гб данных).
 
Кузя, а ведь действительно, на каждый пакет будет ответ, равный минимум 36 байт. А пакет не будет размером больше МТУ.

Не верите - проанализируйте свой траффик.
 
BFG-9000, я прошу прощения, я натурально не в курсе, а как работают качалки использующие UDP, а не TCP? Они не могли дать тот эффект соотношения траффика?
Не могут. Поясняю почему. ЮДП является протоколом негарантированной доставки, посему для того, чтобы отсылающая сторона так или иначе убедилась в том, что данные доставлены - она должна получить на эти данные ту или иную квитанцию, суть подтверждение о доставке. Протокол ТЦП инкапсулирует в себе такие квитанции, при использовании ЮДП квитанции в той или иной форме реализуются разработчиком софта вручную. Посему ощутимый входящий трафик будет обязательно.
 
Может быть представители провайдера хотя бы теоретически расскажут, откуда могло быть такое соотношение траффиков?
Понятия не имеем.
Действительно, похоже не на реальную ситуацию, а на глюк в системе статистики.
Еще можно сомневаться, что биллинг что-то не правильно рассчитал, но чтоб таким образом проглючило Радиус... Я думаю подобная ситуация наблюдалась бы не только у нас, а весь форум "пестрил" сообщениями о "мистическом". Но теоретически, конечно, ничего исключить нельзя. Поскольку нет возможности установить, куда ушел трафик, мы компенсировали его клиенту.
А если так, то какова гарантия, что тот же глюк не реализуется в отношении других клиентов, которые в отличие от топикстартера не так внимательно следят за своим траффиком и не имеют такого малого объема принятого траффика?
Какова гарантия, что глюк (глюк ли) не носит массового характера и не влияет на рентабельность провайдера в целом?
А где гарантия того, что на луне не готовится вторжение инопланетян на землю?
Думайте что пишите...
 
Выводы - клиент нашел палево, ОНЕТ вмест того, чтобы разбираться быстро все уладил. 1 заметит, 100 не заметят - так, чтоли?
 
А на самом деле, всего-то, показали, что неплохо владеете поиском в и-нете, знаете, что такое MSDN и Википедия, дополнив информацию из MSDN своими "пояснениями".
Мальчик, ты даже на это не способен, что ты наглядно продемонстрировал дважды.
Достал, щен, тебе бы поучиться годков так пять - тогда тебе можно будет не что-то доказывать, а всего лишь не впустую начать объяснять серьезные вещи. Господи, ну какое ламерье с претензиями на суперсетевиков.

Кстати приведенные мною примеры были исключительно "теоретическими",
Как было показано с цифрами не теоретическими примерами, а отмазками для *****.
те. то, что "мого-бы-быть", что там было на самом деле, мы увы никогда не узнаем.
О! Главная мысль "мы никогда не узнаем что было", но при этом "у нас все правильно, это клиент у себя херню сотворил". Логично.

Ладно, чет меня начал явно бьющий в глаза *****изм отдельных технарей онета раздражать, пошел я отсюда насовсем.

Напомню, все кто хотят че-нить спросить о сетях или серьезно поговорить о сетевом взаимодействии любого уровня (разве что АТМ-сети не обсуждаю) - буду рад в личке или аське.
 
Кузя, а ведь действительно, на каждый пакет будет ответ, равный минимум 36 байт. А пакет не будет размером больше МТУ.
Не верите - проанализируйте свой траффик.
Анализировал, неоднократно, по разным поводам, в частности, когда участвовал в разработке одного из эмуляторов сервера WoW. По этому, знаю что это не так. Кроме того, если вспомнить что различных протоколов, помимо TCP не один десяток, к тому-же есть такая вещь как РавСокет, то судить о возможности или невозможности данной ситуации по соотношению вход:исход - вообще бессмысленно.
Выводы - клиент нашел палево, ОНЕТ вмест того, чтобы разбираться быстро все уладил. 1 заметит, 100 не заметят - так, чтоли?
Да нет просто возможности разобраться. Даже если ИТЛ и ДатаГруп собирают NetFlow, никто не станет терять свое время, на то, чтобы найти трафик нашего абонента. А за своим трафиком следит не только ТС, как я уже писал, подобного рода заявления - не единичный случай. Просто в остальных случаях, у нас есть данные о том, куда этот трафик ушел, и мы можем предоставить их абоненту. Иногда компенсируем этот трафик даже в том случае, если мы четко установили (и доказали) что трафик ушел по вине пользователя. Просто нам выгоднее компенсировать пользователю nnn Мб трафика сгенерированного вирусом (проконсультировав пользователя как с этим вирусом бороться), чем потерять этого пользователя (потому что он решил не погашать долг в nnn гривен).
Мальчик, ты даже на это не способен, что ты наглядно продемонстрировал дважды.
Достал, щен, тебе бы поучиться годков так пять - тогда тебе можно будет не что-то доказывать, а всего лишь не впустую начать объяснять серьезные вещи. Господи, ну какое ламерье с претензиями на суперсетевиков.
Когда вас побили умственно и морально, остается только перейти к личным оскорблениям :іржач:

ps: Я никогда не претендовал на "суперсетевика", даже на "админа" (в моем понимании этого слова). Мои непосредственные обязанности в ООО "Наша Сеть", никак не связаны с сетью и ее работоспособностью.
 
Останнє редагування:
А меня в детстве не роняли :-)
 
Не могут. Поясняю почему. ЮДП является протоколом негарантированной доставки, посему для того, чтобы отсылающая сторона так или иначе убедилась в том, что данные доставлены - она должна получить на эти данные ту или иную квитанцию, суть подтверждение о доставке. Протокол ТЦП инкапсулирует в себе такие квитанции, при использовании ЮДП квитанции в той или иной форме реализуются разработчиком софта вручную. Посему ощутимый входящий трафик будет обязательно.

Мда....
Вам бы хоть пару месяцев поработать Админом у провайдера, максимализма бы поубавилось...
Вы не знакомы с UDP исходящими по 80 порту???
Ботонет.......
У меня были преценденты, причем НА ВСЮ ширину канала, при этом ни единого пакетика в ответ, и так до ПОЛНОГО исчерпания баланса абонента, но в моем случае это все решалось банальной детализацией трафика.
 
Подобный UDP флуд бывает как правило при инсталяции разного рода софта, обещающего "стократное увеличение скорости интернета даже на диалапе", этот софт, якобы сканирует сетевое соединение для якобы "оптимизации", на самом деле или усилино кликает по банерам, или глушит UDP флудом.
Так же всякого рода "интернет оптимизаторы" на сайтах файлообмена, типа мегааплоада грешат подобными червяками.
 
Назад
Зверху Знизу