ЦОД - особенности построение - Ряполов Михаил - IFF - доклад - сообщество программистов

ПРИМЕЧАНИЕ: это конспект доклада для IFF : http://fkn.ktu10.com/?q=node/4191

Итак сегодня мы будем говорить о проблеме построения сервака - точнее о помещении для размещении фермы серверов

Ну например - может просто не хватать разеток -
или же в здании что-то не очень с проводкой

Также сервера сильно греются и шумят.
Если это зима- то это нормально, но летом когда 40-50 градусов - а столько и будет в помещении -всё становится совсем плохо.

Поэтому размещать сервера там где сидят люди - не реально.

Да и хлам рядом с сервером - это плохо -
например немытая посуда и т.д.

Итак ЦОД - центр обработки данных.
Что нужно для него*?

Что нужно для ЦОД:
1) вычислительное оборудование - здесь надо внимательно подойти к выбору компов - это вам не личный ноутбук - так гугл и фэйсбук берут не готовое оборужование, а делают всё на заказ - это позволяет им сэкономить.

2) Помещения для размещения оборудования -
здесь не случайно множественное число -так отдельно у нас могут быть сервера, отдельно кондиционеру - ну и люди отдельно.

3) Система электроснабжения

Возникает проблема - нам надо передать оборудованию не мало электрической мощности - при этом надо сделать так, что есть какой-то фрагмент электирики вылетит - нельзя чтобы это сказалось на системе в целом.

4) Система охлаждения

Обычно оборудованию не полезно работать на воздухе ,где Т выше 50 по цельсию

5) Структурированная кабельная система

Здесь нам нужно отдельно как-то разместить шнуры передачи данных и отдельно питание -и не перепутать всё это

Ещё можно назвать:
6) система пожаротушения
7) система контроля доступа
8) охранно-пожарная система

но последние три вещи изрядно распространены.

Помещения.

1)По стандартам нужен пол который выдерживает 1.5 тонны на квадратный метр - то есть стандартное офисное помещение не подходит
Ещё нам нужно:
2) минимум дверей и окон - через окно проще залезть - а во вторых из окна может дуть - что приводит к неприятным последствиям для техники - из-за переменчивой влажности.

3) Двери нормальных размеров для завоза оборудования - ряд оборудования вообще нельзя наклонять - так что именно ввозят - так что надо не жадничать и делать дверь пошире и повыше

4) Помещение ЦОДа не должно быть грязным и не должно довать пыли - в идеале даже обеспечивается избыточное давление внутри для остановки засасывания пыли внутри - в таком помещении все сквозняки идут наружу -

5) вот в таких вот помещения обычно делается фальшпол - под ним можно протянуть коммуникации различных видов.

На слайдах представлены фотографии (см. канал IFF)

Иногда делают даже фальшпаталок - но смысла в нём особого нет - это часто очередной пылесборник.

Итак с ремонтом помещения мы закончили.

СИСТЕМА ЭЛЕКТРОСНАБЖЕНИЯ

Строителей - ремонтников при ремонте контролировать сложнее -следите чтобы они красили стены краской которая не будет вылить - читайте стандарты.

Следить за электриками и проверять работу в каком-то смысле проще.

Нужно иметь несколько запасных соединений - на случай сбоя.

Ещё:
1) трёхфазная линия электропитания

2) Должен быть распределительный щит энергоснабжения. Разетки у каждой из планируемых стоек

3) Единый ИПБ (бесперебойник) -если он мощнее 100 кВт - то его надо забросить в отдельное помещение. - это удобнее в том числе в смысле обслуживания - более того есть батареи - они должны находиться в помещении с Т = 20-25 градусов - так то отдельное помещение почти единственный вариант.

4) Если же ваши мощности слишком серьёзны - вам понадобиться дизельгенератор - а батарейки используют только пока он заводится.

То что ставится в ЦОДах позволяет "на горячую" менять практически всё - то есть даже один бесперебойник оказывается очень живучим.

5) Заземление.
а что именно надо заземлять?

Переменный ток делает наводки - а потому нам надо экранировать и заземлять оборудование.

В старых зданиях заземления в розетках обычно нет. - так вот надо проводить его -
так под фальшполом идёт мощная шина проводник - к нему подключают сам фальшпол и стойки -таким образом всё уходит в землю, а не шатается по нащему ЦОДу =)

(смотрим слайды -видео канал IFF)

лучше всего когда электрика пересекается с другими кабельными системами под прямым глом - но чем меньше - тем лучше.

СИСТЕМА ОХЛАЖДЕНИЯ

Погружная система -что это?
А во что погружают?

Используют - или фрион или вода
Фрион плохо с точки зрения экологии - с другой стороны вода не подходит для малых масштабов.

Так в ВГУ решили поставить неэкологичный фрион (маломощно)

Адоптическая система охлаждения.

Воздушая -просто продуваем воздухом. Десктопы могут засазывать воздух отовсюду - а вот
с серваками всё более продумано - там две панели - воздух идёт от одного места к другому.

Водяная система -
подводят две трубки - вход и выход -
подводят холожную жидкость - а уводят уже нагревшееся.

Понтовая система - затопить сервера в специальной жидкости - но надо идут не все.

Что лучше?

От кондеев мы не зависим - можем подтянуть их - но у них всё более ограничено 0-
с жидкостными же проще - там плотность оборужования может быть увеличено в разы.

Горячие и холодные коридоры

Можно было охлаждать всё - но может оказаться, что холодный воздух не попадает на вход серверов - тогда воздух закачивают под пол - и он выходит через дырочки перед стойками - тогда воздух оказывается пере стойками -всё как надо =)
(см. видео)

Чем отличаются шкафы от кандеев в офисах -
прежде всего они рассчитаны на годы работы и вовсе не дешевы.

Все серьёзные промышленные кондиционеры умеют регулировать влажность - с одной стороны не должны быть слишком сухо - тогда летает пыль и накапливается статика -и влажно тоже - тогда будет конденсат.

Распыление воды.

Если распылять воду - то температура рядом падает.

Но тут важно чтобы вода была чистая -песок забьёт распылители, а взвеси окажутся в воздухе в виде пыли.

А коденсат не падает? от распыления?

Сейчас идёт тенденция к тому, чтобы не охлаждать до 18-ти градусов а даже позволить себе температуру в 30 градусов - оказывается что выгоднее сэкономить на охлаждении.

Вернёмся к адиабатическому отношению

то есть там сервера не рядом с фонтанами?)

Когда воздух охлаждённые распылением воды проходит через зал -воду из него коденсируют и используют повторно.

Но на атомной станции не распылением же воды охлаждают???
(там конденсируют из пара) - именно в этом смысле употреблено на видео.

СТРУКТУРИРОВАННАЯ КАБЕЛЬНАЯ СИСТЕМА

1) Используют специальные лотки для кабелей
2) Подписи всех розеток и кабелей (обычно коды - человек особо не почитает, даже используют штрих-код)
3) Документация - описание кабельных систем - шнуров и портов. Это нужно чтобы не лазия по системе определить что куда идёт.

Потихоньку медные кабели начинают уходить в прощлое - хоты бы потому что скорости их начинают уступать оптоволкну - особенно в смысле отклика.

Для скоростей более 10Г - понадобиться более двух жил на одно соединение.

ПОЖАРОТУШЕНИЕ, КОНТРОЛЬ ДОСТУПА ОХРАННО-ПОЖАНАЯ СИГНАЛИЗАЦИЯ

Эти системы напрямую не влияют на обработку данных - потому мы не рассмаотривали это подробно.

Пожары с вычислительной техникой тушатам спец. газами - такими, что "убирают" кислород из воздуха -потому люди там при таком порцессе могут погибнуть - и потому система пожаротушения предусматривает наличие кучи противогазов и указателей и ещё ряда важных вещей.

КАК ОРГАНИЗОВАТЬ СТРОЙКУ ЦОД

1) Определитесь для чего именно этот самый ЦОД нужен.

2) Сделать проект ЦОДа (заказать) - если нет своих спецов приходится консультироваться - появится здоровое количество ссылок на стандарты - для ЦОДов есть платные стандарты, которые бесплатно даже и по почитать - но на этот случай у нас есть ГОСТ =)
- это позволяет спрашивать с исполнителей по конктретным пунктам - чтобы не сделали чего-то ужасного. Прихожится пинать подрядчика (иногда).

3) Как уже сказано - очень важно "прянять" работу всё проверить и т.д.

Вообще выбирать из фирм - не просто - меньше денег - не ясно кто лучше сделает.

---------------------------

ВОПРОСЫ К ДОКЛДАЧИКУ:

Ув. докладчик, в вы теперь уже не можете спроектировать? после опыта ,так сказать?
Ответ:
"скорее я сейчас представляю что должно в этом ЦОДе быть.....- надо всё соединять и т.д. - нужно ещё серьёзное инженерное образование.

Один из людей, который проектировал ЦОД - заканчивал политех "

2) А в ВГУ хорошо спроетировали в результате?

Ответ: "адекватно вложениям... =)) Всё было неплохо - но был трабл в отношении двери например - приходилось немного разбирать фальшпол"

---------------------

PUE - показатель энергетической эффективности - файтически показатель того сколько мы тратим на поддержку ЦОДа в целом и на вычисления.

Для старых отношение суммы к полезному - 2.5
а вот для новых 1.6

Так фэйсбук бытался использовать плотно напичканный блэйды -но оказалось что их накладно охлаждать.

Жидкостные системы охдлаждения - если верить рекламы - позволяют значительно улучшить этот показатель и довести его до 1.1