Распределительная сеть дата-центров мирового масштаба — сердце империи google

      Комментарии к записи Распределительная сеть дата-центров мирового масштаба — сердце империи google отключены

Распределительная сеть дата-центров мирового масштаба — сердце империи google

Многие знают многоликость Гугл — это и популярный поисковик, и соцсеть, и еще множество вторых нужных и новаторских сервисов. Но мало кто вспоминал: как именно удалось компании развернуть и поддерживать их со столь отказоустойчивостью и высоким быстродействием? Как организовано то, что снабжает такие возможности,— дата-центр Google, каковы его особенности?

Именно об этом и отправится обращение в данной статье.

Фактически, корпорация Гугл уже давно никого не удивляет замечательной динамикой собственного роста. Деятельный борец за «зеленую энергетику», множество патентов в разных областях, дружественность и открытость по отношению к пользователям — вот те первые ассоциации, каковые появляются при упоминании Гугл у большинства. не меньше впечатляет и ЦОД компании: это целая сеть дата-центров, размещённых в мире, суммарной мощностью220 МВт (по состоянию на прошедший год).

Учитывая тот факт, что инвестиции в ЦОД лишь за последний год составили 2,5 миллиарда американских долларов, ясно, что компания вычисляет это направление стратегически серьёзным и перспективным. Одновременно с этим отмечается некое диалектическое несоответствие, поскольку, не обращая внимания на публичность деятельности корпорации Гугл, его дата-центры являются этаким ноу-хау, тайной, скрытой за семью печатями. В компании уверены в том, что разглашение подробностей проектов возможно использовано соперниками, исходя из этого только часть информации о самые передовых ответах просачивается в широкие веса, но кроме того эта информация очень увлекательна.

Начнем с того, что конкретно сам Гугл не занимается постройкой ЦОД. У него имеется департамент, что занимается сопровождением и развитием, а компания сотрудничает с местными интеграторами, каковые и делают внедрение. Правильное количество выстроенных дата-центров не афишируется, но в прессе их количество варьируется от 35 до 40 в мире.

Главная концентрация дата-центров приходится на США, Восточную Азию и Западную Европу. Кроме этого некая часть оборудования размещается и в снятых в аренду помещениях коммерческих ЦОД, имеющих хорошие каналы связи. Как мы знаем, что Гугл применял площади для размещения оборудования коммерческих дата-центров Equinix (EQIX) и Savvis (SVVS).

Гугл стратегически нацелен на переход только к применению собственных дата-центров — в корпорации это растолковывают растущими требованиями к конфиденциальности информации пользователей, каковые доверились компании, и неизбежностью утечки информации в коммерческих дата-центрах. Следуя последним тенденциями, летом этого года было заявлено, что Гугл будет предоставлять в аренду «облачную» инфраструктуру для разработчиков и сторонних компаний, соответствующую модели IaaS-сервис Compute Engine, что будет предоставлять вычислительные мощности фиксированных конфигураций с почасовой оплатой за пользование.

Главная изюминка сети дата-центров не в столько в высокой надежности раздельно забранного дата-центра, сколько в гео-кластеризации. Любой дата-центр имеет множество высокоемких каналов связи с внешним миром и реплицирует собственные данные в пара вторых дата-центров, территориально распределенных по миру. Так, кроме того форс-мажорные события наподобие падения метеорита значительным образом не повлияют на сохранность данных.

География дата-центров

Первый из публичных дата-центров находится в Дугласе, США. Данный контейнерный ЦОД (рис. 1) был открыт в 2005 году. Данный же дата-центр есть самые публичным. По сути это некая каркасная конструкция, напоминающая ангар, в которой в два последовательности расставлены контейнеры.

В одном последовательности — 15 контейнеров, расположенных в один ярус, и во втором — 30 контейнеров, расположенных в два яруса. В данном дата-центре находится приблизительно 45 000 серверов компании Гугл. Контейнеры — 20-футовые морские. На данный момент введены в работу 45 контейнеров, а мощность ИТ-оборудования образовывает 10 МВт.

Любой контейнер имеет собственное подключение к гидравлическому контуру охлаждения, собственный блок распределения питания — в нем имеется, не считая автоматических выключателей, еще и анализаторы электропотребления групп электропотребителей для вычисления коэффициента PUE. Раздельно расположены насосные станции, каскады чиллеров, дизель-трансформаторы и генераторные установки. Декларируется PUE, равный 1.25.

Совокупность охлаждения — двухконтурная, наряду с этим во втором контуре употребляются экономайзеры с градирнями, разрешающие существенно снизить время работы чиллеров. По сути это не что иное, как открытая градирня. Вода, забирающая тепло из серверной, подается в верхнюю часть башни, откуда распыляется и стекает вниз.

Благодаря распылению воды тепло передается воздуху, что нагнетается извне вентиляторами, а сама вода частично испаряется. Такое ответ разрешает существенно сократить время работы чиллеров в дата-центре. Примечательно, что первоначально для пополнения запасов воды во внешнем контуре употреблялась очищенная вода из под крана, пригодная для питья.

В компании Гугл скоро осознали, что вода не обязательно должная быть такой чистой, исходя из этого была создана совокупность, очищающая сточные воды из близлежащих очистных сооружений и пополняющая запасы воды во внешнем контуре охлаждения.

В каждого контейнера стойки с серверами выстроены по принципу неспециализированного «холодного» коридора. На протяжении него под фальшполом находятся вентиляторы и теплообменник, каковые выдувают охлажденный воздушное пространство через решетки к воздухозаборникам серверов. Нагретый воздушное пространство с тыльной части шкафов забирается под фальшпол, проходит через теплообменник и охлаждается, образуя рециркуляцию.

Контейнеры оборудованы аварийным освещением, кнопками EPO, дымовыми и температурными датчиками пожарной безопасности.

Рис. 1. Контейнерный ЦОД в Дугласе

Примечательно, что Гугл потом запатентовал идею «контейнерной башни»: контейнеры ставятся друг на друга, с одной стороны организован вход, а с другого — инженерные коммуникации — электрической системы, кондиционирования и подвод наружных каналов связи (рис. 2).

Рис. 2. Принцип охлаждения воздуха в контейнере

Рис. 3. Запатентованная «контейнерная башня»

Открытый годом позднее, в 2006-м, в Даллесе (США), на берегу реки Колумбия, дата-центр уже складывался из трех раздельно стоящих строений, два из которых (каждое площадью 6 400 кв. метров) были возведены прежде всего (рис.4) — в них расположены машинные залы. Рядом с этими строениями находятся строения, в которых размещены холодильные установки. Площадь каждого строения — 1 700 кв. метров.

Также, в комплексе имеется административное строение (1 800 кв. метров) и общежитие для временного проживания персонала (1 500 кв. метров).

Ранее этот проект был известен под кодовым заглавием Project 02. направляться подчернуть, что само место для дата-центра было выбрано не просто так: до этого тут функционировала алюминиевая плавильня мощностью 85 МВт, работа которой была приостановлена.

Рис. 4. Строительство первой очереди ЦОД в Далласе

В 2007 году Гугл начал строить дата-центр на юго-западе штата Айова — в Каунсил–Блафсе, неподалеку от реки Миссури. Концепция напоминает прошлый объект, но имеется и внешние отличия: строения объединены, а холодильное оборудование вместо охлаждающих башен размещено на протяжении обеих сторон главного строения (рис. 5).

Рис. 5. Дата-центр в Каунсил-Блафсе — типовая концепция построения дата-центров Гугл

По всей видимости, как раз такая концепция была забрана в качестве best practices, поскольку она прослеживается в будущем. Примеры тому — дата-центры в Соединенных Штатах:

— Ленуар-Сити (Северная Каролина) —строение площадью в 13 000 кв. метров; выстроен в 2007—2008 гг. (рис. 6);

— Монкс Корнер (Южная Каролина) — открылся в 2008 году;складывается из двух строений, между которыми зарезервирована площадка под постройку третьего; наличие собственной высоковольтной подстанции;

— Майес Каунти (Оклахома) —строительство затянулось на три года — с 2007 по 2011 год; ЦОД реализовывался в две очереди — любая включала в себя постройку строения площадью 12 000 кв. метров; электроснабжение дата-центра обеспечивается ветроэлектростанцией.

Рис. 6. Дата-центр в Ленуар-Сити

Но первенство по секретности в собственности дата-центру в Сен-Гислене (рис. 7а). Выстроенный в Бельгии в 2007—2008 гг., данный дата-центр по размерам превосходит дата-центр в Каунсил-Блафсе.

Помимо этого, этот ЦОД примечателен тем, что при попытке разглядеть спутниковую карту Гугл, вместо него вы заметите пустую площадку в чистом поле (рис. 7б). Гугл говорит об отсутствии негативного влияния от работы данного ЦОД на окружающие поселения: в качестве воды для градирень в дата-центре употребляются очищенные сточные воды.

Для этого рядом выстроена особая станция многостадийной очистки, а вода к станции подводится по техническому судоходному каналу.

Рис. 7а. Дата-центр в Сен-Гислене на карте поисковика bing

Рис. 7б. А вот на карте Гугл его не существует!

Эксперты Гугл в строительных работах подчернули, что воду, которая употребляется для охлаждения наружного контура, было бы логично приобретать из ее естественного хранилища, а не забирать из водопровода. Корпорация для собственного будущего дата-центра купила в Финляндии (г. Хамина) ветхую бумажную фабрику, которая была реконструирована под центр обработки данных (рис.

8). Проект выполнялся в течение 18 месяцев. В его реализации приняло участие 50 компаний, а успешный финиш проекта пришелся на 2010 год.

Одновременно с этим таковой размах не случаен: созданная концепция охлаждения вправду разрешила Гугл заявить еще и о экологичности собственных ЦОД. Северный климат в совокупности с низкой точкой замерзания соленой воды разрешил обеспечить охлаждение по большому счету без чиллеров, применив лишь теплообменники и насосы. Тут употребляется типовая схема с двойным контуром «вода — вода» и промежуточным теплообменником.

Морская вода закачивается, попадает на теплообменники, охлаждает дата-центр и после этого сбрасывается в залив в Балтийском море.

Рис. 8. Реконструкция ветхой бумажной фабрики в г. Хамина превращает ее в энергоэффективный ЦОД

В 2011 году в северной части Дублина (Ирландия) был выстроен дата-центр площадью 4 000 кв. метров. Для ЦОД было реконструировано уже существовавшее тут строение склада. Это самый скромный из известных дата-центров, выстроенных в качестве плацдарма для развертывания сервисов компании в Европе. В этом же году началось развитие сети дата-центров и в Азии: три дата-центра должны показаться в Гонконге, Сингапуре и Тайване.

А в текущем году Гугл заявил о покупке почвы для постройки дата-центра в Чили.

Любопытно, что в строящемся тайванском ЦОД эксперты Гугл пошли по-второму пути, решив воспользоваться экономической пользой от наболее недорогого, ночного тарифа наэлектроэнергию. Вода в огромных резервуарах охлаждается при помощичиллерной установки с баками—аккумуляторная батареями холода и употребляется для охлаждения в дневное время. А вот будет ли тут употребляться фазовый переход теплоносителя либо компания остановится лишь на баке с охлажденной водой — неизвестно.

Быть может, по окончании ввода ЦОД в эксплуатацию Гугл предоставит эти сведенья.

Примечательно, что полярной идеей есть еще более храбрый проект корпорации —плавучий ЦОД, что еще в 2008 году запатентовал Гугл. В патенте указывается, что ИТ-оборудование находится на плавучем судне, охлаждение выполняется холодной забортной водой, а электричество производится плавучими генераторами, генерирующими электричество от перемещения волн. Для пилотного проекта планируется применять плавучие генераторы производства Pelamius: 40 таких генераторов, плавающих на площади 50х70 метров, разрешат производить до 30 МВт электричества, достаточной для работы ЦОД.

Кстати, Гугл систематично опубликует показатель энергоэффективности PUE собственных дата-центров. Причем увлекательна сама методика измерения.

В случае если в хорошем понимании стандартов Green Grid это отношение потребляемой мощности дата-центра к ее ИТ-мощности, то Гугл измеряет PUE в целом для объекта, включая не только совокупности жизнеобеспечения ЦОД, но и утраты на преобразование в трансформаторных подстанциях, кабелях, энергопотребление в офисных помещений и т. д. — другими словами всего, что находится в периметра объекта. Измеренный PUE приводится как усредненное значение для годичного периода. По состоянию на 2012 год усредненный PUE по всем дата-центрам Гугл составлял 1.13.

Особенности выбора места построения ЦОД

Фактически, ясно, что, строя такие огромные ЦОД, их расположение Гугл выбирает не просто так. Какие конкретно же критерии прежде всего учитывают эксперты компании?

1. Достаточно недорогая электричество, возможность ее подвода и ее экологически чистое происхождение. Придерживаясь курса на сохранение внешней среды, компания применяет возобновляемые источники электричества, поскольку один большой дата-центр Гугл потребляет около 50—60 МВт — достаточное количество, дабы быть единоличным клиентом всей электростанции. Более того, возобновляемые источники разрешают быть свободными от цен на источники энергии.

На данный момент употребляются ГЭС и парки ветряков.

2. Наличие громадного количества воды, которую возможно применять для совокупности охлаждения. Это возможно как канал, так и естественный водоем.

3. Наличие буферных территорий между населёнными пунктами и дорогами для построения защищаемого сохранения и периметра большой конфиденциальности объекта. Одновременно с этим требуется наличие магистралей для обычного транспортного сообщения с дата-центром.

4. Площадь почвы, приобритаемой под строительство дата-центров, обязана разрешать его предстоящее расширение и постройку запасных строений или собственных возобновляемых источников электричества.

5. Каналы связи. Их должно быть пара, и они должны быть надежно защищены. Это требование стало особенно актуально по окончании регулярных неприятностей пропадания каналов связи в дата-центре, расположенном в Орегоне (США). Воздушные линии связи проходили по ЛЭП, изоляторы на которых стали для местных охотников чем-то наподобие мишеней для состязаний в стрельбе.

Исходя из этого в сезон охоты сообщение с дата-центром всегда обрывалась, и на ее восстановление требовалось большое количество времени и большие силы. В итоге проблему решили, проложив подземные линии связи.

6. Налоговые льготы. Логичное требование, учитывая, что применяемые «зеленые разработки» стоят существенно дороже классических. Соответственно, при расчете окупаемости налоговые льготы должны снизить и без того высокие капитальные затраты на начальной стадии.

Особенности в подробностях

Начнем с серверного парка. Количество серверов содержится в тайне, но разные источники информации именуют цифру от одного до двух миллионов серверов, наряду с этим говорится, что кроме того последняя цифра не предел, а существующие дата-центры заполнены не всецело (учитывая площади серверных помещений, с этим сложно не дать согласие). Серверы выбираются исходя из качества и соотношения цены, а не исходя из безотносительного качества либо производительности.

Платформа серверов — x86, а в качестве ОС употребляется модифицированная версия Linux. Все серверы объединены в кластерное ответ.

Компания еще в 2000 году задумалась над уменьшением трансформации электроэнергии и потерь передачи в серверах. Исходя из этого блоки питания соответствуют уровню Gold стандарта Energy Star — КПД блока питания не меньше 90%. Кроме этого из серверов были убраны все компоненты, каковые не требуются для исполнения приложений, трудящихся на них.

К примеру, в серверах отсутствуют графические адаптеры, стоят вентиляторы с контролем оборотов, а компоненты разрешают пропорционально загрузке уменьшать собственный энергопотребление. Примечательно, что в громадных дата-центрах и контейнерных ЦОД, где серверы являются по сути расходным материалом, по всей видимости, было решено: срок судьбы серверов сопоставим с судьбой аккумуляторная батарей. А раз так, то вместо ИБП – батарея, которая устанавливается в корпус самого сервера.

Так удалось уменьшить утраты на ИБП и исключить проблему его низкого КПД при малой нагрузке. Как мы знаем, что употреблялась двухпроцессорная платформа x86, а производством материнских плат специально для Гугл занималась небезызвестная компания Gigabyte. Любопытно, что сервер не имеет привычного нам закрытого корпуса: присутствует только нижняя его часть, где размещаются твёрдые диски, материнская плата, блок и батарея питания (рис. 9).

Процесс установки весьма несложен: администратор вытягивает железную заглушку из монтажного поля и вставляет вместо нее сервер, что вольно продувается с фронтальной части на тыльную. По окончании установки выполняется подключение блока и батареи питания.

работоспособность и Состояние каждого твёрдого диска сервера отслеживается. Дополнительно выполняется архивация данных на ленточные носители. Необычно решена неприятность утилизации нерабочих носителей информации — твёрдых дисков. На начальной стадии диски попеременно попадают на некое подобие пресса: железный наконечник продавливает жесткий диск, спрессовывает камеру с пластинами, дабы сделать неосуществимым чтение с них любым имеющимся сейчас методом.

После этого диски попадают в шредер, где их измельчают, и лишь затем они смогут покинуть территорию дата-центра.

Столь же большой уровень безопасности и для сотрудников: охрана периметра, бригады стремительного реагирования дежурят круглосуточно, идентификация служащего сначала по пропуску, выполненному с применением линзовой (лентикулярной) печати, снижающей возможность подделки, а по окончании — биометрический контроль по радужке глаза.

Рис. 9. Типовой «спартанский» сервер Гугл — ничего лишнего

Все серверы устанавливаются в 40-дюймовые двухрамные открытые стойки, каковые размещаются в ряды с неспециализированным «холодным» коридором. Примечательно, что в дата-центрах Гугл не применяет особые конструкции для ограничения «холодного»коридора, а применяет навесные твёрдые подвижные полимерные ламели, уверяя, что это недорогое решение и простой, разрешающее весьма скоро доустанавливать в существующие последовательности шкафы и при необходимости сворачивать существующие ламели над верхом шкафа.

Как мы знаем, что, не считая аппаратного обеспечения, Гугл применяет файловую системуGoogle File System (GFS), предназначенную для громадных массивов данных. Особенность данной совокупности в том, что она кластерная: информация делится на блоки по 64 Мбайт и хранится минимум в трех местах в один момент с возможностью обнаружить реплицированные копии. В случае если какая-то из совокупностей выйдет из строя, реплицированные копии находятся машинально, посредством специальных программ модели MapReduce.

Сама модель подразумевает распараллелирование операций и исполнение задач на нескольких автомобилях в один момент. Наряду с этим в совокупности информация шифруется. Совокупность BigTable применяет распределенные массивы хранения данных для сохранения громадного массива информации с стремительным доступом для хранения, к примеру, веб-индексации, Гугл Earth and Гугл Finance.

В качестве базисных веб-приложений используются Гугл Web Server (GWS) и Гугл Front-End (GFE), применяющие оптимизированное ядро Apache. Все эти совокупности являются закрытыми и кастомизированными — Гугл растолковывает это тем, что закрытые и кастомизированные совокупности весьма устойчивы против внешних атак и в них намного меньше уязвимостей.

Подводя итоги, хотелось бы отметить пара серьёзных моментов, каковые не смогут не удивлять. Компания Гугл разумно планирует затраты и стратегию развития дата-центров, используя понятие «лучшее по цене/качеству» вместо «наилучшее ответ». Нет лишнего функционала, нет никаких декоративных излишеств — лишь «спартанское» наполнение,не смотря на то, что кому-то это может показаться не эстетичным.

Компания деятельно применяет «зеленые» разработки, причем не как самоцель, а как средство для понижения операционных затрат на электричество и штрафов за загрязнение внешней среды. При построении дата-центров уклон делается не на много резервирования совокупностей — резервируются сами ЦОД (тем самым минимизируется влияние внешних факторов). Главный акцент делается на нестандартные решения и программный уровень.

Ориентация на возобновляемые использование ресурсов и источники электроэнергии естественных водоемов показывает, что компания старается быть максимально свободной от растущих цен на источники энергии. Экологичность используемых ответов прекрасно коррелирует с их энергоэффективностью. Все этого показывает, что компания Гугл имеет не только сильную техническую компетенцию, но и может верно инвестировать деньги, наблюдать вперед, идя в ногу с тенденциями рынка.

Источник: habrahabr

Интересные записи:

Как устроен дата-центр — экскурсия по ЦОД DataPro


Еще немного статей: