МАРТовская кухня.Часть 2: как мы следим сами за собой

Автор: Сергей Гусаков

Должность: Специалист узла доступа в Интернет

06.03.20

О системе мониторинга оборудования ГК Март, производящем наблюдение за серверами и хостингом. А также о том, как мы следим за своей работой, чтобы пользователи оставались довольны.

Технический прогресс идёт вперёд и останавливаться точно не собирается. По крайней мере, на нашем веку. Системы становятся всё сложнее, скорости всё быстрее. И те времена, когда к нам в дом приходила лишь одна труба с холодной водой, прошли. Сейчас в нашем распоряжении есть  холодная и горячая вода, отопление и система водоотведения, газ, вентиляция, кабельное ТВ, Интернет, и кто знает, что ещё придумают в будущем. (Например, я в детстве мечтал о трубопроводе, по которому течёт одна небезызвестная газировка, приносящая нам праздник 31 декабря. Ох уж эти детские фантазии...). 

В одном из ранних блогов наш Шеф – Александр Солодовников коротко, но ёмко рассказал про  “Мартовскую кухню” – “закулисную” работу технической поддержки: что делают сотрудники отдела, помимо настройки роутера и выходов к абонентам по заявкам. Одной из тем статьи был мониторинг состояния нашей сети, что называется “в прямом эфире”, посредством “больших экранов”, на которые выводится информация о текущем состоянии всех значимых узлов.

Так вот, сегодня я еще чуть-чуть отодвину занавес и расскажу про эти самые мониторы. Начнём с самого красивого, самого зелёного и самого главного монитора, расположенного справа.

Непосвящённый человек видит на нём какой-то набор цифр, значков, букв, и, как пел Леонид Агутин “Мир зелёного цвета”. Однако, цвет здесь, как и на среднем мониторе, не для красоты “прилеплен”, а служит сигналом по принципу уличного светофора. Сейчас всё зелёное – значит всё работает штатно. Если появляются синие и, тем более, жёлтые блоки - стоит насторожиться. А когда этот экран краснеет – … тьфу-тьфу-тьфу. Даже думать страшно.  

Но, если выключить музыку, и внимательно изучить изображение, то наборы символов становятся осмысленными. Пройдёмте же на экскурсию в этот “Мир зелёных островов правого монитора”. Отмечу сразу, что “входом” мы будем считать верхнюю границу экрана, “выходом” – нижнюю. Некоторые “экспонаты” находятся в “частных коллекциях” или на “реставрации”. Попросту говоря – являются служебными, и на работу Интернета у наших абонентов практически не влияют. Поэтому некоторые блоки я пропущу. 

Итак, сразу под часами, необходимыми для сверки времени, перед вами не один и не два, а сразу три входа в нашу сеть (которые в то же время являются также и выходами). В этом месте весь поток трафика, приходящий из Всемирной паутины, попадает под нашу ответственность. На данный момент, владельцем двух из них является всем нам знакомый телекоммуникационный оператор “МегаФон”, а ещё одними “воротами” управляет международный оператор связи “RETN”.

На каждом блоке отображён уровень “загруженности” канала в обе стороны. По вечерам, когда многие абоненты возвращаются домой, уровень загрузки (проценты слева) может в два, а то и в три раза превосходить уровень отдачи (проценты справа). Однако, для таких случаев у “магистралов” для нас припасён, как сказали бы банкиры “овердрафт” – настоящая граница ширины канала находится гораздо дальше отметки в 100%. 

Смысл наличия трёх каналов связи прост – будь он у нас один, скажем, от того же “МегаФона”, мы бы были сильно зависимы от него, и если бы вдруг на линии случилась авария, то все наши абоненты остались бы без Интернета. А сейчас, когда от стабильной работы сети зависит не только досуг физических лиц, но и, как минимум, уровень продаж у юридических лиц, иметь один канал – просто непозволительно. Также в один момент, мы бы упёрлись в “потолок” скорости канала, что не позволило бы нам расширять абонентскую базу.  Поэтому 3 канала связи действуют ещё и как подушка безопасности: если на одном из них происходит авария, остальные два “берут” нагрузку отказавшего, и у технической поддержки есть время на выяснение причин поломки и их устранение. К тому же это увеличивает общую ширину канала, что позволяет нам работать над постоянным увеличением покрытия не только южной столицы региона. 

Далее. Многие из вас, если не все, слышали от моих коллег из Отдела по работе с абонентами (или читали в договоре) непонятные слова: “IPoE” и “PPPoE”. Я заострил на этом внимание только из-за того, что следом за воротами нас ожидают маршрутизаторы, отвечающие за логистику упомянутых выше подключений в нашей сети.

Конкретно CR7 и CR8 “пускают” в Интернет тех абонентов из нашей базы, кто только подключился, или уже перешёл на тарифы линейки “Фристайл”, на котором подключение работает по схеме IPoE. Чем они загруженнее, тем “легче” становится CR9 и CR10. Они, как вы могли догадаться, предназначены для абонентов, работающих по схеме PPPoE (оставшихся на линейке “Оптинет-Форсаж”, некоторых юридических лиц, и других). Здесь на блоке выводится информация о текущей загрузке процессора, процентному соотношению “гуляющего” по его каналам трафика, а также количество подключённых абонентов (закрашенный человечек) и свободного “места” для подключения (полые человечки).   

Крайний блок слева – CR6, предназначен для абонентов (физ. и юр. лиц), пожелавших выходить в Интернет через статический IP-адрес. Крайний блок справа – CR11, в данный момент используется как “тестовый полигон” для обкатки новых решений до внедрения их в работу. 

Самый многочисленный ряд – CoreXY – узлы агрегации нашей сети. Каждый абонентский компьютер, каждый роутер, каждый смартфон (если он подключён по Wi-Fi к домашнему роутеру, или одной из бесплатных городских Точек Доступа) проходит через эти узлы. Разумеется, здесь тоже есть разделение “обязанностей”, но, в основном, их задача заключается в сборе трафика со всех коммутаторов, установленных в городе, и передаче оного вверх по цепочке, или наоборот – распределять данные по городу.

Здесь особо выделяются разве что Core 13 и Core 14, так как помимо работы с городскими коммутаторами, они отвечают ещё и за “города-сателлиты”, такие как Новосокольники (13), Невель и Себеж (14), где ГК “Март” также предоставляет свои услуги. 

Во второй половине экскурсии нас встречает “зона поддержки”. Здесь расположены “экспонаты”, помогающие нашей сети работать быстро и стабильно. И первые на очереди – источники бесперебойного питания и почтовый сервер. Да, были времена, когда электронная почта была чем-то свежим(!), новым(!!), и быстрым(!!!). И я не шучу. Буквально 20 лет назад, чтобы позвонить родственнику, скажем, в тот же Санкт-Петербург, надо было либо идти на почту и звонить из будки, либо из дома по проводному дисковому телефону. Но в обоих случаях, межгород стоил бы недёшево. Это сейчас, благодаря развитию мессенджеров, можно в один клик связаться хоть с Бразилией, хоть с Австралией, заплатив при этом только лишь за мобильный или домашний Интернет. Но что-то я отвлёкся... Данный блок показывает количество писем в очереди на отправку адресатам.

Про ИБП, думаю, что никому ничего объяснять не требуется. Дополнительные аккумуляторы никогда не помешают, особенно в нашем деле.

За ними “стоят” наши сервера NAT и DNS. Попытаюсь коротко о них рассказать. В очень далёкие от нас 1970-е, когда IPv4 только появился на свет, все были уверены, что 4,3 миллиарда адресов (а именно столько их было зарезервировано изначально) хватит всем и “с головой”. Но технологии всё быстрее и быстрее развивались с каждым годом, и … Прогнозируемая экспертами дата полного исчерпания свободных адресов IPv4 – 27 мая 2020 года, когда вероятно произойдёт истощение адресов у африканского Регионального Регистратора. Проблему нехватки адресов, отчасти решает технология NAT. Если объяснить на примере – сколько бы ни было у вас устройств, подключённых по Wi-Fi или кабелю к роутеру, мы, как провайдер, будем видеть только IP-адрес самого роутера. Хотя в то же время, сам роутер присваивает каждому подключённому устройству свой IP. 

Сервера DNS (DNS 1 и DNS 2) помогают запросам от пользователей быстрее сориентироваться в сети. Вы замечали, что когда, скажем, на компьютере открываете сайт поисковика (к примеру, тот же Яндекс), а потом заходите на найденный сайт, который до этого ни разу не открывали, сама скорость открытия страниц немного отличается? Вот в этом и есть “магия” DNS. Адрес сервера Яндекса уже “закеширован” (сохранён) на сервере DNS, что позволяет тут же направить запрос от браузера “в цель”. А если вы заходите на сайт, который до этого не открывали, то наш сервер DNS ещё о нём не знает. И, получив запрос от браузера, “рыщет” по Всемирной сети в поисках ответа.

Числа на этих блоках означают общую загрузку сервера (рядом со значком часов), загруженность канала в обе стороны (у серверов NAT) и количество закешированных адресов (у серверов DNS). И, пожалуйста, не путайте DNS-сервер и небезызвестную сеть магазинов электроники :) 

Последняя остановка нашей экскурсии, одна из самых “молодых” наших услуг – IPTV.  Собственно, CR17 и Core 16 ответственны за то, чтобы наши абоненты смогли смотреть не только 20 каналов из общедоступных мультиплексов, но и ещё сверху более 100 каналов различной тематики, в дополнение к которым идут городские камеры, и канал нашей видеостудии iLuki.ru. Абонентам тарифной линейки “Фристайл” услуга IPTV предоставляется бесплатно.

В этом “зале” мы закончили. Давайте пробежимся по небольшим экспозициям других мониторов. 

Центральный монитор отображает состояние всех коммутаторов, которые на данный момент подключены к нашей сети, как в Великих Луках, так и в Новосокольниках, Невеле и Себеже. Для удобства они “разбиты” на приоритеты - от первого до пятого. Например, коммутаторы первого приоритета являются наиважнейшими в этой цепочке. Зачастую это узловые точки, расположенные в городе, к которым приходит волокно от Core’ов. От этих узловых коммутаторов далее идёт развёртывание сети и подключение новых домов в районе. В нижней части этого монитора расположена строка с важными для мониторинга юридическими лицами. Номер приоритета соответствует интервалу опроса коммутаторов в нём - соответственно, раз в 1, 2, 3, 4 или 5 минут.

Самый простой пример применения данного монитора отображён на этом скриншоте: в зафиксированный промежуток времени в доме 12 по ул. Зверева случилась авария у электриков. Из-за этого обесточился один из городских узлов. Соответственно, все зависимые от него коммутаторы в других домах также перестали отвечать на запросы мониторинга. Получается, что если условный абонент живёт по адресу ул. Зверева 14 и у него в доме есть свет, то, пока не восстановится питание узлового коммутатора в 12 доме, Интернета у нашего абонента не будет. Чтобы исключить или хотя бы максимально минимизировать подобные случаи, мы постоянно модернизируем сеть, "подселяя" к узловым точкам и другим коммутаторам, участвующим в маршрутизации, дополнительные резервные аккумуляторы.

На самом левом мониторе отображается актуальное состояние ТВ-каналов, которые мы предоставляем. Больше о нём сказать особо и нечего.

На этом наша экскурсия подошла к концу. Надеюсь, те, кому это было интересно, узнали что-то новое про  “закулисье” технической поддержки ГК “Март”.  

Как видите, наша задача, как провайдера, на первый взгляд проста – чтобы сайт загружался спустя несколько секунд после клика мышкой или “тапа” по экрану, а видео не “буферило” и шло в максимально возможном качестве. Однако, трафик, прежде чем достичь конечного пользователя, проходит множество сложных устройств и километры проводов с околосветовой скоростью. И с каждым годом объёмы трафика, летящего на этих скоростях, будет расти. 

Но благодаря вот такой системе мониторинга, о которой я рассказал далеко не всё, мы к будущему готовы.