Одна линия на схеме: что на самом деле обеспечивает связность дата-центра

У дата-центра могут быть современные серверы, резервные источники питания, дизель-генераторы и прецизионное охлаждение. Но если площадка потеряет связь с внешними сетями, оборудование продолжит работать, а пользователи не смогут получить доступ к своим сервисам. В определённом смысле ЦОД превратится в очень дорогой склад исправных серверов.

Поэтому надёжность связи для дата-центра имеет не меньшее значение, чем электропитание и охлаждение. И измеряется она далеко не только количеством каналов и гигабитами в характеристиках.

Два канала, а кабель один

Казалось бы, самый простой способ обеспечить резервирование связи заключается в подключении второго оператора. Если у одного возникнет авария, трафик можно будет направить через другого. А если подключить третьего, надёжность должна стать ещё выше.

На практике количество подключений далеко не всегда означает их независимость.

На Хабре встречаются весьма показательные инженерные истории. В одной из публикаций описывались случаи, когда два формально независимых канала проходили не просто по одной кабельной канализации, а внутри одного физического кабеля. При его повреждении оба подключения могли перестать работать одновременно.

В другом материале разбиралась схема оптических подключений дата-центра, где три направления связи сходились на общем участке трассы протяжённостью около 120 метров. Дальше маршруты расходились, но этот небольшой участок оставался общей точкой риска для всех трёх направлений.

Такие примеры хорошо показывают, насколько реальная сетевая инфраструктура может отличаться от аккуратной схемы на бумаге. Для полноценного резервирования важно учитывать физическое разнесение линий, наличие общих участков и зависимость от промежуточного оборудования.

Есть и ещё один момент. Даже полностью независимый резервный канал должен обладать достаточной пропускной способностью. Если после отказа основного подключения весь трафик переключится на канал с существенно меньшей ёмкостью, часть сервисов может столкнуться с перегрузкой. Формально соединение сохранится, но качество работы приложений изменится.

Поэтому резервирование связи представляет собой отдельную инженерную задачу, где важны физическая независимость подключений, возможности маршрутизации и достаточная пропускная способность альтернативных путей.

Скорость подключения и связность сети. В чём разница?

В характеристиках серверов обычно указывают скорость сетевого порта: 100 Мбит/с, 1 Гбит/с или 10 Гбит/с. Эти цифры легко сравнивать, но они описывают только возможности подключения сервера к сетевому оборудованию.

Дальше трафику предстоит выйти за пределы дата-центра, и здесь всё становится сложнее. Интернет не является единой сетью под управлением одного оператора. Он состоит из множества автономных систем, принадлежащих провайдерам, крупным компаниям, облачным платформам и другим организациям. Чтобы пользователь одной сети мог обратиться к серверу в другой, между ними должен существовать маршрут передачи данных.

Взаимодействие сетей строится в том числе через IP-транзит и пиринг. При использовании транзита оператор получает доступ к другим сетям через транзитного провайдера. Пиринг позволяет двум сетям обмениваться трафиком непосредственно между собой, например через точку обмена трафиком.

Информацией о доступности сетей автономные системы обмениваются с помощью протокола BGP. При этом BGP не работает как автомобильный навигатор, который всегда выбирает кратчайшую дорогу. Маршруты определяются политиками взаимодействующих сетей, поэтому путь с меньшим количеством промежуточных узлов не обязательно окажется быстрее или надёжнее.

Отсюда и разница между скоростью подключения и сетевой связностью. Высокая пропускная способность позволяет передавать большие объёмы данных, но характеристики передачи до конкретных пользователей зависят также от межоператорских соединений, загруженности маршрутов и состояния внешних сетей.

Именно поэтому для дата-центров так важна развитая инфраструктура взаимодействия с операторами связи.

М9 и MSK-IX. Где встречаются сети?

В середине 1990-х российский интернет состоял из множества развивающихся сетей, которым необходимо было обмениваться трафиком. В 1995 году семь провайдеров договорились создать для этого общую инфраструктуру. Первый узел Московского Internet Exchange заработал на Московской междугородной телефонной станции № 9, известной как М9.

Выбор площадки был вполне закономерен. На М9 уже размещалось телекоммуникационное оборудование и сходились линии связи разных операторов. Организовывать межоператорские соединения там было удобно с технической и экономической точки зрения.

Со временем М9 стала одним из наиболее известных телекоммуникационных узлов Москвы, а инфраструктура обмена трафиком продолжила развиваться и вышла за пределы одной площадки.

Здесь важно различать два понятия. М9 представляет собой физический телекоммуникационный объект, на котором размещается оборудование операторов и организуются соединения. MSK-IX является распределённой сетью обмена трафиком, позволяющей участникам устанавливать пиринговые соединения.

Присутствие на М9 и участие в MSK-IX не одно и то же. На М9 можно организовать прямое соединение между операторами, а инфраструктура MSK-IX позволяет обмениваться трафиком с другими участниками при наличии соответствующих пиринговых договорённостей.

Для дата-центров доступ к таким узлам расширяет возможности организации сетевых подключений. Операторы могут использовать различные межоператорские соединения, выстраивать маршрутизацию и уменьшать зависимость от отдельных транзитных направлений. При этом подключение к точке обмена трафиком само по себе не гарантирует минимальную задержку до любого пользователя. Результат зависит от конкретных маршрутов и условий взаимодействия сетей.

Что скрывается за линией между двумя ЦОДами

Вернёмся к георезервированию. Допустим, основная и резервная площадки находятся в разных частях города. Серверы установлены, репликация настроена, резервное оборудование готово принять нагрузку.

Теперь многое зависит от соединения между площадками.

Прежде всего, его пропускной способности должно хватать для передачи необходимого объёма данных. Если изменения в базе данных возникают быстрее, чем успевают передаваться по каналу, реплика на резервной площадке будет постепенно отставать от основной. Для синхронной репликации существенным ограничением может стать и задержка, поскольку подтверждение записи в некоторых схемах зависит от ответа удалённой площадки.

Но передать данные недостаточно. После отказа основного ЦОДа пользователи должны получить доступ к резервному. Для этого должны корректно работать внешние маршруты, DNS, необходимые сетевые подключения и зависимости приложений. Иначе даже успешно восстановленный сервис может остаться недоступным.

В этом и заключается сложность той самой линии на схеме. Она обозначает не просто соединение двух комплектов оборудования, а целую систему передачи данных и обеспечения сетевой доступности.

При этом резервирование каналов и георезервирование дополняют друг друга, но решают разные задачи. Альтернативные сетевые подключения позволяют снизить зависимость от отдельных линий и операторов связи. Резервная площадка помогает сохранить работу сервисов при более масштабных отказах основной инфраструктуры.

Есть и ещё одна угроза, от которой само по себе резервирование каналов не защищает: DDoS-атаки. Даже сеть с несколькими подключениями может столкнуться с объёмом вредоносного трафика, для обработки которого потребуются специализированные механизмы фильтрации. Эту тему мы подробно разберём в следующем материале.

Сетевая инфраструктура ESTT

В нашем московском дата-центре на улице Пришвина сетевая связность является частью общей инженерной инфраструктуры наряду с электропитанием, охлаждением и системами безопасности.

ESTT использует собственную автономную систему (AS) с поддержкой протокола BGP. В сети организованы прямые стыки с магистральными операторами связи и подключения к сетям обмена трафиком. Это обеспечивает возможности межсетевого взаимодействия и организации доступа к внешним сетям.

Для проектов с дополнительными требованиями к сетевой инфраструктуре предусмотрена техническая возможность организации соединений L2/L3 через телекоммуникационные площадки ММТС-9 (М9) и IXcellerate, в том числе для подключения сторонних операторов связи. Конкретная схема подключения и параметры каналов согласовываются с учётом технических условий.

Не только серверы и стойки

Сетевая инфраструктура дата-центра не так заметна, как серверные стойки, системы охлаждения или дизель-генераторы. Значительная её часть находится за пределами машинного зала: в кабельных трассах, телекоммуникационных узлах, сетях операторов и системе межоператорского взаимодействия.

Именно эта инфраструктура обеспечивает доступность вычислительных ресурсов и возможность обмена данными с внешним миром. Без качественной связности даже самое современное серверное оборудование не сможет выполнять значительную часть своих задач.

В московском дата-центре ESTT мы предоставляем инфраструктуру для размещения и работы IT-сервисов: от стоек и физических серверов до облачных ресурсов и резервных площадок.

Планируете разместить оборудование или арендовать серверы в Москве? В ESTT доступны colocation, аренда выделенных серверов и решения для организации резервной инфраструктуры. При необходимости можно отдельно обсудить сетевое подключение через нужного вам оператора связи.