Еще недавно основной головной болью при строительстве ЦОДа было электричество. Потом к нему добавились земля, технологическое присоединение, согласования, стоимость строительства и финансирование. Казалось бы, проблем и так достаточно, чтобы жизнь девелопера ЦОДов не казалась скучной.

Но последние события показали, что список придется расширить. Причем существенно.

За несколько дней появились сообщения о серьезных повреждениях сразу нескольких центров обработки данных одной из крупнейших российских технологических компаний. И если первый инцидент еще можно было списать на исключительное стечение обстоятельств, то последующие заставляют иначе взглянуть на риски физической безопасности вычислительной инфраструктуры.

Я не специалист по противовоздушной обороне и рассуждать о военной стороне происходящего не собираюсь. Но строительством и развитием ЦОДов занимаюсь достаточно давно, чтобы понимать: некоторые привычные подходы к выбору площадок и проектированию объектов теперь придется пересмотреть.

Причем желательно до того, как мы построим очередной объект на несколько десятков мегаватт.

Уехали из Москвы. И что?

Несколько лет назад многие крупные корпоративные заказчики активно взялись за строительство собственных ЦОДов в Московской области и регионах.

Мотивация была понятной: в Москве дорогая земля, сложно получить электричество, высокие затраты на строительство. А за пределами столицы можно найти участок побольше, мощности подешевле и не тратить годы на согласования.

В результате появились крупные корпоративные объекты на значительном удалении от основных центров потребления вычислительных ресурсов. Нередко - фактически в чистом поле.

С экономикой такого подхода можно поспорить. Я, например, давно придерживаюсь мнения, что строительство ЦОДа в регионе далеко не всегда обходится дешевле московского. Но об этом я уже писал отдельно.

Сейчас интереснее другое.

Когда несколько лет назад принимались инвестиционные решения, сценарии масштабного внешнего воздействия на площадку практически не фигурировали в финансовых моделях.

Да и кто тогда всерьез предложил бы включить в инвестиционный меморандум вероятность полной потери ЦОДа по причинам, не связанным с отказом инженерного оборудования? Думаю, автора попросили бы вернуться к более реалистичным рискам.

Теперь этот сценарий вполне реален.

И здесь возникает неприятный вопрос: насколько оправданно размещение огромного количества дорогостоящего оборудования на отдельно стоящей площадке, если ее удаленность от крупных городов больше не гарантирует безопасности?

Получается довольно странная ситуация. Мы строили ЦОДы подальше от основных центров потребления, рассчитывая в том числе на преимущества такого расположения. А теперь выясняется, что удаленность не только не исключает новых угроз, но и усложняет реагирование на происшествия.

При этом крупный отдельно стоящий ЦОД с высокой концентрацией вычислительных мощностей становится потенциально очень дорогой целью.

Не самый приятный результат многолетней оптимизации затрат.

Может, сразу за Урал?

Казалось бы, решение очевидно. Если несколько сотен километров от Москвы уже не обеспечивают необходимого спокойствия, можно уехать еще дальше.

Например, за Урал.

Проблема только в том, что основные потребители вычислительных мощностей - как коммерческих, так и корпоративных ЦОДов - сосредоточены преимущественно в европейской части России.

Исключение составляют майнинг и значительная часть задач искусственного интеллекта, прежде всего обучение моделей. Для них географическое расположение зачастую вторично: гораздо важнее стоимость и доступность электроэнергии. А вот для традиционных корпоративных систем, облачных сервисов и инфраструктуры операторов связи близость к основным потребителям по-прежнему имеет значение.

Москва и Московская область концентрируют основную часть коммерческих мощностей, значительная доля рынка приходится на Санкт-Петербург.

Здесь же расположены крупнейшие корпоративные заказчики, финансовые организации, операторы связи, облачные платформы и основные точки концентрации трафика.

Для многих корпоративных систем география имеет вполне конкретную цену.

Дополнительные магистральные каналы, резервирование маршрутов, задержки, логистика оборудования, доставка ЗИП, командировки специалистов - все это превращается в дополнительные расходы.

А если клиенту необходимо регулярно обслуживать собственное оборудование, расположенное за несколько тысяч километров от его основной команды, экономическая привлекательность такого решения становится еще менее очевидной.

Поэтому просто перенести вычислительную инфраструктуру в удаленные районы страны не получится. Во всяком случае без серьезного изменения ее архитектуры и экономики.

Да и абсолютных гарантий безопасности такой переезд все равно не дает.

Большой город - не обязательно плохое место

На мой взгляд, сейчас стоит заново оценить преимущества размещения ЦОДов в крупных городах.

Возьмем Москву.

Здесь есть развитая инфраструктура обеспечение безопасности, экстренного реагирования, инженерного обслуживания и восстановления.

Здесь же находятся основные поставщики оборудования, сервисные компании, склады ЗИП, квалифицированный персонал и операторы связи.

Я не берусь утверждать, что любой объект внутри МКАД защищен лучше любого регионального ЦОДа. Это было бы слишком смелым обобщением.

Но и считать, что площадка в небольшом городе или за его пределами автоматически безопаснее московской, теперь как минимум странно.

Возможности обеспечения безопасности и оперативного реагирования в разных городах существенно различаются. И эти различия необходимо учитывать при выборе площадки.

Возможно, крупные агломерации в новых условиях имеют дополнительные преимущества, которые раньше практически не принимались во внимание.

Правда, в Москве еще нужно найти место, где построить ЦОД, и получить необходимую мощность. Но это, как говорится, наши традиционные проблемы. К ним мы хотя бы привыкли.

Гигантомания теперь имеет дополнительную цену

Последние годы отрасль увлеченно соревновалась в размерах новых проектов.

ЦОД на 5 МВт уже воспринимается как небольшой. На 20 МВт - вполне обычный проект. На 50 МВт - серьезный разговор. А если речь идет о сотне мегаватт, можно смело собирать конференцию.

И с точки зрения экономики все правильно.

Большой объект позволяет снижать удельные капитальные и эксплуатационные затраты. Чем больше масштаб, тем эффективнее используются инженерная инфраструктура, персонал и земельный участок.

Но теперь у этой экономики появилась еще одна переменная.

Чем больше вычислительных мощностей сосредоточено на одной площадке, тем серьезнее последствия ее потери.

Можно построить резервирование 2N, поставить дополнительные ДГУ, предусмотреть независимые системы охлаждения и несколько вводов электропитания.

Но все это рассчитано прежде всего на отказ отдельных инженерных систем и компонентов.

Если недоступной становится вся площадка, наличие второго комплекта ИБП уже не решает проблему.

И здесь возникает вопрос, который раньше мы задавали значительно реже: а насколько разумно концентрировать десятки мегаватт критически важной инфраструктуры в одной точке?

Возможно, в новых условиях экономия на масштабе должна оцениваться вместе с риском одновременной потери этого масштаба.

А если строить под землей?

Есть еще одно направление, которое, на мой взгляд, заслуживает гораздо более серьезного внимания, чем раньше, - подземные и заглубленные ЦОДы.

Сама идея далеко не новая. В мире существуют примеры размещения вычислительной инфраструктуры в подземных сооружениях, бывших промышленных объектах и специально подготовленных пространствах.

До последнего времени для российского коммерческого рынка это скорее выглядело экзотикой.

Зачем усложнять строительство, если можно построить обычное здание?

Теперь ответ уже не столь очевиден.

Подземное размещение потенциально позволяет обеспечить дополнительную физическую защищенность критически важной инфраструктуры.

Но разумеется, за это придется заплатить.

Строительство подземного ЦОДа - это сложная геология, гидроизоляция, вентиляция, охлаждение, пожарная безопасность, эвакуация персонала, доставка и замена крупного оборудования.

Отдельная задача - обеспечение независимости инженерных коммуникаций и исключение общих точек отказа.

Нельзя просто закопать стандартный ЦОД в землю и считать, что вопрос безопасности решен.

Тем не менее я считаю, что время для серьезного проектирования подобных объектов пришло.

Особенно если речь идет о критически важной государственной, финансовой или корпоративной инфраструктуре, для которой стоимость длительного простоя несопоставима с дополнительными капитальными затратами.

Возможно, через несколько лет подземные ЦОДы перестанут восприниматься как дорогая инженерная экзотика и займут собственную нишу на рынке.

Небольшой ЦОД проще защитить

У небольших ЦОДов есть еще одно преимущество, которое раньше практически не учитывалось: их значительно проще дополнительно защитить и органично вписать в существующую промышленную застройку.

Компактный объект не требует отдельного масштабного комплекса и позволяет гибче подходить к архитектуре и конструктивным решениям. На территориях, где внешний вид промышленного здания не имеет принципиального значения, можно предусмотреть дополнительные защитные конструкции, не пытаясь одновременно соответствовать представлениям архитекторов о прекрасном.

Кроме того, небольшой ЦОД проще сделать менее заметным в публичном информационном поле. Для этого необязательно сопровождать его строительство громкими презентациями, фотографиями с воздуха и подробными описаниями инженерной инфраструктуры.

Конечно, ни компактность, ни информационная сдержанность сами по себе не гарантируют безопасности. Но в сочетании с инженерной защитой и распределением мощностей между несколькими независимыми площадками они могут стать дополнительными преимуществами небольших объектов.

Может, хватит рассказывать всем, что мы построили?

Есть и еще один вопрос, который отрасли, на мой взгляд, стоит пересмотреть.

Мы привыкли сопровождать строительство крупных ЦОДов громкими презентациями.

Вот новый объект. Вот его мощность. Вот фотографии с воздуха. Вот сколько установлено ДГУ, какие системы охлаждения используются и как устроена инженерная инфраструктура.

Осталось только приложить инструкцию по эксплуатации.

Я, конечно, утрирую. Для коммерческого ЦОДа публичность необходима: нужно привлекать клиентов, инвесторов и партнеров.

Но между разумным продвижением услуг и избыточным раскрытием информации существует довольно большая разница.

Далеко не все подробности расположения критических инженерных систем, инфраструктурных зависимостей и внутреннего устройства объектов действительно необходимы широкой аудитории.

Разумеется, заказчики, государственные органы, подрядчики и экстренные службы должны получать всю необходимую информацию.

Но возможно, нам стоит немного умерить желание рассказывать о каждом новом мегаватте во всех подробностях.

Тем более что относительно небольшие объекты зачастую проще интегрировать в существующую застройку и не превращать их строительство в масштабное публичное событие.

Это не означает, что непубличность способна заменить физическую защиту. Но и делать инфраструктуру максимально открытой для всех желающих в нынешних условиях выглядит не самой очевидной идеей.

ЦОД-острова: альтернатива гигантомании

Есть еще один подход, который, на мой взгляд, заслуживает внимания, - создание сетей относительно небольших, территориально разнесенных ЦОДов.

Условно назовем их ЦОД-островами.

Вместо одного объекта на несколько десятков мегаватт - несколько независимых площадок меньшей мощности. Каждая со своей инженерной инфраструктурой, подключениями к операторам связи и возможностью резервирования критических нагрузок.

Разумеется, просто распределить оборудование между несколькими зданиями недостаточно. Необходимы независимость ключевых инженерных систем, резервирование связности и соответствующая архитектура IT-сервисов.

Но принцип понятен: серьезное происшествие на одной площадке не должно автоматически означать остановку всей инфраструктуры.

Причем небольшие ЦОДы имеют дополнительные преимущества. Их проще интегрировать в существующую промышленную застройку, предусмотреть дополнительные меры физической защиты и не превращать каждый новый объект в заметный инфраструктурный комплекс.

Конечно, такая модель уступает крупным ЦОДам по эффекту масштаба и требует дополнительных затрат на распределенную инфраструктуру.

Но если учитывать не только стоимость строительства мегаватта, а еще и последствия полной потери отдельной площадки, экономика может оказаться уже не столь однозначной.

И речь не о том, чтобы отказаться от крупных ЦОДов. Скорее, о том, чтобы перестать считать концентрацию максимального количества мегаватт в одной точке универсально правильным решением.

Но острова должны быть рядом с материком

Здесь важно не впасть в другую крайность.

Я не предлагаю строить небольшие ЦОДы в случайных точках на карте России, лишь бы подальше от крупных городов.

Основные потребители вычислительных мощностей находятся в Москве, Санкт-Петербурге и других крупных агломерациях.

Поэтому и распределенная инфраструктура должна формироваться преимущественно вокруг этих центров спроса.

Несколько независимых площадок с разными инженерными зависимостями и каналами связи, объединенных общей архитектурой резервирования, могут обеспечить более высокую устойчивость критических сервисов, чем один большой объект.

Но только при условии, что резервирование существует не на бумаге.

Если три ЦОДа используют общую критическую точку связи, единый управляющий контур или зависят от одной системы хранения, их географическая разнесенность сама по себе мало что дает.

Необходимы репликация данных, независимые маршруты, достаточные резервные вычислительные мощности и регулярно проверяемые сценарии переключения.

Причем резервирование исключительно внутри одной агломерации тоже не решает всех задач. Для защиты от масштабных региональных происшествий часть мощностей должна быть территориально удалена.

То есть мы возвращаемся к довольно старой и хорошо известной идее: не складывать все яйца в одну корзину.

Просто теперь цена этой корзины стала заметно выше.

Кто оплатит дополнительную безопасность?

И вот здесь мы подходим к самому интересному - экономике.

Один большой ЦОД при прочих равных обычно дешевле нескольких небольших аналогичной суммарной мощности.

Подземный ЦОД, вероятнее всего, будет дороже обычного наземного объекта.

Дополнительные меры физической защиты тоже требуют денег.

Распределенная архитектура означает дополнительные инженерные системы, каналы связи, эксплуатационные расходы и резервные вычислительные мощности.

То есть все предлагаемые решения так или иначе увеличивают стоимость инфраструктуры.

И возникает вполне закономерный вопрос: кто за это заплатит?

До сих пор заказчики в основном оценивали ЦОДы по стоимости размещения, уровню инженерной надежности, связности и качеству эксплуатации.

Теперь, возможно, придется добавить еще один критерий - устойчивость к масштабным внешним воздействиям.

Причем оценивать ее нужно не только на уровне отдельного объекта, но и на уровне всей инфраструктуры заказчика.

Сколько будет стоить полная потеря одной площадки? Сколько времени потребуется на восстановление? Какие сервисы продолжат работать? Где находятся резервные мощности?

И только после ответа на эти вопросы можно понять, насколько оправданны дополнительные инвестиции.

Для одних клиентов это будет избыточно.

Для других - единственный разумный вариант.

Вполне возможно, что со временем на рынке сформируется отдельный спрос на размещение с повышенными требованиями к физической защищенности и территориальному резервированию.

Так что теперь делать?

Я бы не стал объявлять конец эпохи крупных ЦОДов. Они никуда не денутся, и для многих задач их экономика по-прежнему будет наиболее привлекательной.

Но при выборе площадки для нового проекта теперь придется учитывать гораздо больше факторов, чем раньше.

На мой взгляд, разумно рассматривать несколько направлений.

Первое - строительство в крупных агломерациях, где есть спрос, связность, инженерные компетенции и развитая инфраструктура обеспечения безопасности и восстановления.

Второе - распределенные сети относительно небольших ЦОДов, преимущественно вокруг основных центров потребления, с возможностью полноценного взаимного резервирования.

Третье - подземные и заглубленные объекты для тех категорий инфраструктуры, где дополнительная физическая защищенность оправдывает более высокую стоимость строительства и эксплуатации.

И конечно, всем нам стоит немного умерить любовь к публичным рассказам о каждом новом инфраструктурном проекте.

Но главное изменение, на мой взгляд, должно произойти в подходе к надежности.

Мы привыкли строить ЦОДы, в которых отказ отдельного компонента не должен приводить к остановке оборудования.

Теперь необходимо гораздо серьезнее относиться к сценарию, когда недоступным становится весь объект.

И если раньше вопрос: "А что будет, если мы полностью потеряем этот ЦОД?" - мог показаться излишне пессимистичным, то сегодня его стоит задавать на самом первом совещании по новому проекту.

Причем желательно до утверждения бюджета.

Потому что ответ "у нас же Tier III" теперь явно недостаточен.