Адаптация СКС к требованиям ЦОД

Адаптация СКС к требованиям ЦОД
Степан Большаков
Как долж­на вы­гля­деть ка­бель­ная си­сте­ма в со­вре­мен­ном ЦОД и какое вли­я­ние ока­зы­ва­ют на про­ек­ти­ро­ва­ние таких си­стем со­вре­мен­ные тен­ден­ции в об­ла­сти сетей Ethernet и Fibre Channel? Какие про­бле­мы в связи с этим воз­ни­ка­ют при по­стро­е­нии го­ри­зон­таль­ной и ма­ги­страль­ной подсистем?
 
В по­след­ние год-два все более оче­вид­ным ста­но­вит­ся раз­де­ле­ние рынка СКС на две раз­ли­ча­ю­щи­е­ся по под­хо­дам к их ре­а­ли­за­ции части: речь идет об офис­ных си­сте­мах и ре­ше­ни­ях для ЦОД. Если в пер­вом слу­чае по­стро­е­ние уни­вер­саль­ной ка­бель­ной си­сте­мы оправ­дан­но как эко­но­ми­че­ски, так и идео­ло­ги­че­ски (про­ек­ты, по сути, от­ли­ча­ют­ся толь­ко сво­и­ми мас­шта­ба­ми), то во вто­ром — по­пыт­ки со­здать уни­вер­саль­ную СКС вы­ли­ва­ют­ся либо в неоправдан­ные фи­нан­со­вые за­тра­ты, либо в негиб­кую и не очень хо­ро­шо ра­бо­та­ю­щую систему.
FULL MESH НА УРОВНЕ ДОСТУПА
В чем же при­чи­на? Ведь мно­гие годы все сети (в том числе и в сер­вер­ных) стро­и­лись в со­от­вет­ствии с иерар­хи­че­ской трех­уров­не­вой ар­хи­тек­ту­рой (см. Ри­су­нок 1): ядро, рас­пре­де­ле­ние, до­ступ, кли­ен­ты с ре­зер­ви­ру­е­мым под­клю­че­ни­ем к ком­му­та­то­рам. Такая иерар­хия поз­во­ля­ла ре­а­ли­зо­вать стан­дарт­ную ка­бель­ную си­сте­му — иерар­хи­че­ская ка­бель­ная звез­да на­кла­ды­ва­ет­ся на эту струк­ту­ру наи­бо­лее есте­ствен­ным образом.
 

Ри­су­нок 1. Тра­ди­ци­он­ная трех­уров­не­вая архитектура.

 
 
Ко­неч­но, за уни­вер­саль­ность при­хо­ди­лось пла­тить свою цену. Так, в раз­ветв­лен­ной струк­ту­ре воз­ни­ка­ли се­рьез­ные за­держ­ки при про­хож­де­нии па­ке­тов от уров­ня до­сту­па до ядра и об­рат­но. Од­на­ко все с этим ми­ри­лись до по­яв­ле­ния идеи уни­фи­ка­ции ло­каль­ных сетей и сетей хра­не­ния и се­мей­ства про­то­ко­лов Converged Enhanced Ethernet (CEE), ча­стью ко­то­рых яв­ля­ет­ся Fibrе Channel over Ethernet (FCoE). При этом стало оче­вид­но, что ис­поль­зо­ва­ние тра­ди­ци­он­ной ар­хи­тек­ту­ры для по­стро­е­ния сетей CEE при­во­дит к непри­ем­ле­мым за­держ­кам для тра­фи­ка FCoE.
Взяв за ос­но­ву связ­ную ком­му­ти­ру­е­мую ар­хи­тек­ту­ру (switched fabric), при­ме­няв­шу­ю­ся для по­стро­е­ния сетей Fibrе Сhannel, про­из­во­ди­те­ли се­те­во­го обо­ру­до­ва­ния на­ча­ли пред­ла­гать по­стро­е­ние сетей по схеме, пред­став­лен­ной на Ри­сун­ке 2. Вроде бы, струк­ту­ра по­хо­жа — те же три уров­ня, но для нее ха­рак­тер­на прак­ти­че­ски пол­ная связ­ность (full mesh) на вто­ром уровне. По­пыт­ки по­стро­ить по­доб­ные сети (в ос­нов­ном в целях обес­пе­че­ния от­ка­зо­устой­чи­во­сти и ба­лан­си­ров­ки на­груз­ки) пред­при­ни­ма­лись и рань­ше, од­на­ко, как по­ка­зал опыт, стрем­ле­ние вос­про­из­ве­сти эту схему с ис­поль­зо­ва­ни­ем тра­ди­ци­он­но­го се­те­во­го обо­ру­до­ва­ния при­во­дит к по­яв­ле­нию очень боль­шо­го числа точек ад­ми­ни­стри­ро­ва­ния (про­бле­ма, с ко­то­рой про­из­во­ди­те­ли се­те­во­го обо­ру­до­ва­ния ак­тив­но бо­рют­ся) и по­тен­ци­аль­ным от­ка­зам в мас­шта­бах всей сети ЦОД. 

Ри­су­нок 2. Ар­хи­тек­ту­ра ком­му­ти­ру­ю­щей фабрики.

Тем не менее тен­ден­ция та­ко­ва: все боль­ше за­каз­чи­ков при по­стро­е­нии своих сетей ори­ен­ти­ру­ют­ся на при­ме­не­ние обо­ру­до­ва­ния на­по­до­бие Cisco Nexus или Juniper QFabric и по­стро­е­ние сетей пе­ре­да­чи дан­ных с плос­кой то­по­ло­ги­ей вто­ро­го уров­ня. Gartner ожи­да­ет, что в сле­ду­ю­щем году по дан­ной мо­де­ли будет стро­ить­ся около трети всех новых ЦОД. Пе­ре­ход к ней сти­му­ли­ру­ет­ся уве­ли­че­ни­ем числа по­то­ков «сер­вер – сер­вер» и «сер­вер – си­сте­ма хра­не­ния». По­став­щи­кам СКС оста­ет­ся толь­ко при­спо­со­бить свои си­сте­мы к ком­му­ти­ру­ю­щей струк­ту­ре Switched Fabric, про­по­ве­ду­е­мой та­ки­ми се­те­вы­ми вен­до­ра­ми, как Cisco, Juniper и другие.
Как уже го­во­ри­лось, толч­ком к по­яв­ле­нию ука­зан­ной схемы было стрем­ле­ние ин­те­гри­ро­вать Fibre Channel в сеть Ethernet. Од­на­ко если сети Ethernet мед­лен­но, но верно ми­гри­ру­ют в этом на­прав­ле­нии, то сети хра­не­ния оста­ют­ся изо­ли­ро­ван­ны­ми, что со­зда­ет до­пол­ни­тель­ную про­бле­му для по­став­щи­ков и ин­стал­ля­то­ров СКС — им при­хо­дит­ся стро­ить две со­вер­шен­но раз­ные по то­по­ло­гии ка­бель­ные си­сте­мы для под­держ­ки от­дель­но FC и Ethernet.
ПРО­БЛЕ­МЫ СЕТЕЙ ХРАНЕНИЯ
Пять лет назад сети хра­не­ния были срав­ни­тель­но неболь­ши­ми — ко­ли­че­ство устройств хра­не­ния и кли­ен­тов в сети FC было го­раз­до мень­шим, чем мы видим в со­вре­мен­ных ЦОД. Рез­кое уве­ли­че­ние раз­ме­ров фи­зи­че­ской сети для под­держ­ки сети хра­не­ния ведет к чрез­вы­чай­но вы­со­кой кон­цен­тра­ции оп­ти­ки в ядре. Порой плот­ность оп­ти­ки до­сти­га­ет 800– 900 во­ло­кон на 8–10 юни­тов. Рань­ше такую кар­ти­ну можно было на­блю­дать толь­ко на ма­ги­страль­ных узлах про­вай­де­ров либо в очень круп­ных ЦОД на 30–40 МВт. Во всех осталь­ных слу­ча­ях не при­хо­ди­лось осо­бен­но за­ду­мы­вать­ся о том, где и как про­кла­ды­вать оп­ти­ку, каким об­ра­зом ее укла­ды­вать в лотки, как раз­но­сить с мед­ны­ми ка­бе­ля­ми и си­сте­ма­ми элек­тро­пи­та­ния и т. д.
Пре­тер­ми­ни­ро­ван­ная оп­ти­ка поз­во­ля­ет ху­до-бед­но бо­роть­ся с про­бле­мой рас­ту­щих раз­ме­ров сети хра­не­ния, но она не оп­ти­маль­на с точки зре­ния за­ту­ха­ния — пе­ре­ход­ное за­ту­ха­ние на MPO-разъ­емах яв­ля­ет­ся не таким уж ма­лень­ким. Как ре­зуль­тат, при ис­поль­зо­ва­нии таких про­то­ко­лов, как FC на 8 и 16 Гбит/с, у ко­то­рых бюд­жет за­ту­ха­ния со­став­ля­ет около 2 дБ, же­ла­ние по­стро­ить гиб­кую си­сте­му, ко­то­рую легко на­ра­щи­вать, всту­па­ет в про­ти­во­ре­чие с необ­хо­ди­мо­стью обес­пе­чить при­ем­ле­мый уро­вень затухания.
При этом сле­ду­ет иметь в виду, что у всех про­из­во­ди­те­лей СКС бюд­жет для пре­тер­ми­ни­ро­ван­ной оп­ти­ки рас­счи­ты­ва­ет­ся ста­ти­сти­че­ски. Даже если взять наи­худ­ший слу­чай, за­ту­ха­ние на любом MPO-разъ­еме лю­бо­го про­из­во­ди­те­ля не пре­вы­сит пол­де­ци­бе­ла — от 0,3 до 0,5. Од­на­ко пре­дель­ный слу­чай встре­ча­ет­ся крайне редко, и для ка­бель­но­го трак­та, со­сто­я­ще­го из боль­шо­го ко­ли­че­ства со­еди­не­ний MPO, шанс по­лу­чить 4–5 оди­на­ко­во пло­хих со­еди­не­ний MPO под­ряд будет равен нулю. Боль­шин­ство про­из­во­ди­те­лей со­глас­ны при­нять такой риск на себя и ре­шать эти про­бле­мы в рам­ках га­ран­тий­ных пре­тен­зий, по­это­му в вы­пол­нен­ных ими рас­че­тах за­ту­ха­ние на пяти со­еди­не­ни­ях ни­ко­гда не будет равно 2,5 дБ. Но все равно по­лу­ча­е­мая цифра до­ста­точ­но близ­ка к тем ли­ми­там, ко­то­рые уста­нав­ли­ва­ет протокол.
Таким об­ра­зом, рас­ту­щий спрос на те воз­мож­но­сти, ко­то­рые обес­пе­чи­ва­ет про­то­кол FC, при­вел к уве­ли­че­нию объ­е­мов ис­поль­зо­ва­ния оп­ти­ки в ЦОД. В свою оче­редь, про­ек­ти­ров­щи­ки на­ча­ли изыс­ки­вать спо­со­бы гра­мот­но­го по­стро­е­ния ка­бель­ной си­сте­мы для сети хра­не­ния, чтобы ее можно было быст­ро и эф­фек­тив­но наращивать.
ЗНАЙ СВОЙ ПРЕДМЕТ
Так каким же об­ра­зом долж­на вы­гля­деть ка­бель­ная си­сте­ма в ЦОД? На этот во­прос невоз­мож­но от­ве­тить, не имея пред­став­ле­ния о том, как будут ор­га­ни­зо­ва­ны сеть пе­ре­да­чи дан­ных и сеть хра­не­ния дан­ных (ко­неч­но, если это не ма­ш­зал на 20–30 стоек). На все боль­шем числе объ­ек­тов сле­до­ва­ние тра­ди­ци­он­ной схеме обо­ра­чи­ва­ет­ся про­ва­лом, при­чем в круп­ных ЦОД такая схема ино­гда фи­зи­че­ски нере­а­ли­зу­е­ма, а если все же уда­ет­ся ее внед­рить, это при­во­дит либо к се­рьез­ным фи­нан­со­вым за­тра­там, либо к нехват­ке ем­ко­сти и по­сто­ян­ной по­треб­но­сти в из­ме­не­нии ка­бель­ной инфраструктуры.
Чтобы гра­мот­но спро­ек­ти­ро­вать ка­бель­ную си­сте­му в ЦОД, необ­хо­ди­мо знать ло­ги­че­скую и фи­зи­че­скую схему ло­каль­ной сети — в част­но­сти, хотя бы по­ни­мать, где будут рас­по­ла­гать­ся ком­му­та­то­ры уров­ня до­сту­па. Вы­со­кая сто­и­мость пор­тов обо­ру­до­ва­ния FC за­став­ля­ет еще более от­вет­ствен­но под­хо­дить к по­стро­е­нию оп­ти­че­ской СКС для сети хра­не­ния. В этом слу­чае го­раз­до слож­нее оправ­дать любые стран­ные кон­фи­гу­ра­ции на том ос­но­ва­нии, что, де­скать, мы сэко­но­мим на ка­бель­ной си­сте­ме, зато потом до­ба­вим ак­тив­ное обо­ру­до­ва­ние, — по­доб­ный под­ход от­ри­ца­тель­но ска­зы­ва­ет­ся на сто­и­мо­сти про­ек­та в целом.
О чем сле­ду­ет пом­нить, так это об управ­ле­нии по внеш­не­му ка­на­лу (outofband management — воз­мож­ность ад­ми­ни­стри­ро­вать устрой­ства, не ис­поль­зуя ос­нов­ную сеть пе­ре­да­чи). Об этом, на­при­мер, неред­ко за­бы­ва­ют спе­ци­а­ли­сты Cisco, по­сколь­ку такая сеть не впи­сы­ва­ет­ся в ар­хи­тек­ту­ру Unified Fabric Architecture (UFA). В ре­аль­но­сти же по­доб­ная сеть име­ет­ся прак­ти­че­ски все­гда. И о ее су­ще­ство­ва­нии непло­хо вспо­ми­нать до на­ча­ла про­ек­ти­ро­ва­ния СКС, а не после за­вер­ше­ния монтажа.
 

Ри­су­нок 3. Цен­тра­ли­зо­ван­ная схема с пря­мым подключением.

 
 
ТРИ ТОПОЛОГИИ
Как уже го­во­ри­лось, выбор ка­бель­ной то­по­ло­гии во мно­гом опре­де­ля­ет­ся тем, где рас­по­ла­га­ют­ся ком­му­та­то­ры до­сту­па — в стой­ках с сер­ве­ра­ми, как при связ­ной ком­му­ти­ру­е­мой ар­хи­тек­ту­ре (Switched Fabric), или же в цен­тре, как обыч­но де­ла­ет­ся в трех­уров­не­вой мо­де­ли (прав­да, в дан­ном слу­чае они тоже могут быть рас­пре­де­ле­ны по машзалу).
В за­ви­си­мо­сти от этого ка­бель­ная си­сте­ма ре­а­ли­зу­ет­ся в со­от­вет­ствии с одним из трех вариантов:
·         схема с цен­траль­ным крос­сом (DirectConnect);
·         схема Top of Rack (ToR);
·         зон­ная схема (Zone).
Цен­тра­ли­зо­ван­ная схема. Ско­рее всего, если толь­ко вы не со­зда­е­те ЦОД на 200–300–400 стоек, сеть хра­не­ния будет стро­ить­ся по цен­тра­ли­зо­ван­ной схеме, когда все обо­ру­до­ва­ние будет све­де­но в центр, как фи­зи­че­ски, так и то­по­ло­ги­че­ски. Имен­но эта схема в первую оче­редь рас­смат­ри­ва­ет­ся при об­ду­мы­ва­нии про­ек­та ЦОД, когда при­хо­дит­ся ре­шать, как до­ста­вить сер­вис в шкафы. В этом слу­чае все обо­ру­до­ва­ние — не толь­ко ком­му­та­то­ры ядра, но также устрой­ства рас­пре­де­ле­ния и до­сту­па, ди­рек­то­ра FC и си­сте­мы хра­не­ния — скон­цен­три­ро­ва­но в одном месте. Это пред­по­ла­га­ет по­стро­е­ние до­ста­точ­но мас­штаб­ной мед­ной и оп­ти­че­ской (с уче­том FC) систем.
До­сто­ин­ства. Такая схема лучше всего под­хо­дит для неболь­шо­го ЦОД — любой сер­вис можно по­дать в любое место сер­вер­ной ком­на­ты. Она обес­пе­чи­ва­ет чет­кое раз­гра­ни­че­ние обя­зан­но­стей вслед­ствие раз­не­се­ния обо­ру­до­ва­ния — пас­сив­ным крос­сом могут за­ни­мать­ся одни спе­ци­а­ли­сты, ак­тив­ным обо­ру­до­ва­ни­ем — дру­гие. Ре­ше­ние вполне кон­ку­рен­то­спо­соб­но и с точки зре­ния обес­пе­че­ния фи­зи­че­ской без­опас­но­сти и раз­гра­ни­че­ния контроля.
К тому же оно обес­пе­чи­ва­ет эф­фек­тив­ное ис­поль­зо­ва­ние пор­тов се­те­во­го обо­ру­до­ва­ния — ко­ли­че­ство по­тре­би­те­лей и, сле­до­ва­тель­но, ко­ли­че­ство пор­тов можно четко про­счи­тать как для целей на­ра­щи­ва­ния, так и для оцен­ки загрузки.
Недо­стат­ки. Необ­хо­ди­мо пом­нить, что при ис­поль­зо­ва­нии такой схемы может эле­мен­тар­но не хва­тить места для про­клад­ки ка­бе­лей. К тому же боль­шое ко­ли­че­ство ка­бе­лей под фаль­шпо­лом пре­пят­ству­ет про­хож­де­нию воз­душ­ных по­то­ков, что су­ще­ствен­но за­труд­ня­ет кон­ди­ци­о­ни­ро­ва­ние по­ме­ще­ния. Про­бле­мы воз­ни­ка­ют и с на­ра­щи­ва­ни­ем: если по этой схеме по­пы­тать­ся по­стро­ить боль­шую пло­щад­ку в несколь­ко оче­ре­дей, то в этом слу­чае за­ве­до­мо не удаст­ся из­бе­жать «гряз­ных» работ. Как че­ло­век, очень долго за­ни­мав­ший­ся экс­плу­а­та­ци­ей ЦОД, могу ска­зать, что любая по­доб­ная де­я­тель­ность в тех ме­стах, где есть ра­бо­та­ю­щее обо­ру­до­ва­ние, — пло­хая идея.
Top of the Rack. Про­ти­во­по­лож­ный под­ход к цен­тра­ли­за­ции пред­став­ля­ет собой де­цен­тра­ли­за­ция, когда ком­му­та­то­ры до­сту­па раз­ме­ща­ют­ся внут­ри стой­ки. И хотя мно­гие по­став­щи­ки СКС по­на­ча­лу были про­тив этой схемы, боясь, что она при­ве­дет к со­кра­ще­нию по­треб­ле­ния ка­бе­лей, боль­шин­ство про­ек­тов, ре­а­ли­зо­ван­ных по этой схеме, как ми­ни­мум не де­шев­ле любых дру­гих (в части СКС).
По моему мне­нию, рынок дви­жет­ся в эту сто­ро­ну вслед­ствие тен­ден­ции пе­ре­но­са от­ка­зо­устой­чи­во­сти с уров­ня ин­фра­струк­ту­ры на уро­вень при­ло­же­ний: когда про­грамм­ный сер­вис можно пе­ре­ме­стить из одной точки ин­фра­струк­ту­ры в дру­гую с ну­ле­вы­ми за­держ­ка­ми, от­ка­зо­устой­чи­вая ин­фра­струк­ту­ра не очень нужна. Если при ты­ся­че узлов в сети по­ло­ви­на спо­соб­на под­дер­жи­вать необ­хо­ди­мую на­груз­ку со сто­ро­ны при­ло­же­ний, то в любой мо­мент дан­ные могут пе­ре­бро­сить с от­ка­зав­ших узлов на ра­бо­та­ю­щие. Со­от­вет­ствен­но, не имеет зна­че­ния, что это за узлы — ка­ко­ва их на­деж­ность, как они под­клю­че­ны, есть ли у них ре­зерв­ное пи­та­ние. Но зато тре­бо­ва­ния к сетям, свя­зы­ва­ю­щим узлы, повышаются.
В со­от­вет­ствии с кон­цеп­ци­ей ToR уро­вень до­сту­па пе­ре­ме­ща­ет­ся ближе к сер­ве­рам. Для обес­пе­че­ния от­ка­зо­устой­чи­во­сти долж­но быть уста­нов­ле­но как ми­ни­мум два ком­му­та­то­ра. В одном шкафу или со­сед­них — это дру­гой во­прос. Кроме того, воз­мож­но, по­тре­бу­ет­ся ком­му­та­тор для внеш­не­го управ­ле­ния OOB (такие при­ме­ры есть, но, на мой взгляд, они не вполне оправ­дан­ны с эко­но­ми­че­ской точки зре­ния). Кроме того, если про­па­ган­ди­ру­е­мые Brocade идеи най­дут во­пло­ще­ние на прак­ти­ке, в шкафу будут рас­по­ла­гать­ся один-два ком­му­та­то­ра-ди­рек­то­ра FC, так что от че­ты­рех до шести юни­тов в нем ока­жет­ся за­ня­то се­те­вым обо­ру­до­ва­ни­ем. Зато до шкафа будет про­ло­же­на толь­ко оп­ти­ка (медь нужна ис­клю­чи­тель­но для OOB). Ма­ги­страль­ный канал (uplink) дол­жен быть до­ста­точ­но на­деж­ным — иначе при его по­те­ре те­ря­ет­ся не одно устрой­ство, а целая стой­ка (что осо­бен­но ак­ту­аль­но в свете рас­смот­рен­ной выше концепции).
Внут­ри стой­ки про­кла­ды­ва­ют­ся оп­ти­че­ские шнуры. Од­на­ко, по моему глу­бо­ко­му убеж­де­нию, от этого мно­гие ста­нут от­ка­зы­вать­ся в самом бли­жай­шем бу­ду­щем по при­чине эко­но­ми­че­ской неэф­фек­тив­но­сти — 10BaseT се­год­ня стал де­ше­вым ре­ше­ни­ем (се­те­вая кар­точ­ка Intel в Москве сто­и­ла вес­ной менее 500 дол­ла­ров). Таким об­ра­зом, внут­ри шкафа будет про­кла­ды­вать­ся медь (шнуры Ка­те­го­рии 6A) вме­сто оптики.
Как го­во­ри­лось в на­ча­ле ста­тьи, схема ToR из­на­чаль­но за­ду­мы­ва­лась для FCoE, и для нее она наи­бо­лее ак­ту­аль­на. На го­ри­зон­таль­ном уровне при­ме­ня­ет­ся уни­вер­саль­ная среда пе­ре­да­чи для FC и Ethernet, несмот­ря на то что на уровне рас­пре­де­ле­ния она опять де­лит­ся на две части. Такая си­сте­ма го­раз­до проще в ад­ми­ни­стри­ро­ва­нии. Впро­чем, на ре­аль­ных объ­ек­тах ре­а­ли­за­цию FcoE на­блю­дать не до­во­ди­лось. В ре­зуль­та­те ка­бель­ная си­сте­ма для Ethernet ре­а­ли­зу­ет­ся по схеме ToR, а для FC — по Direct Connect. Из-за того что вся оп­ти­ка про­во­дит­ся в центр, по­лу­ча­ет­ся много оп­ти­ки в шкафу.
До­сто­ин­ства. СКС ста­но­вит­ся в ос­нов­ном оп­ти­че­ской и при этом имеет го­раз­до мень­шие раз­ме­ры. Ко­неч­но, для FC по-преж­не­му тре­бу­ет­ся много оп­ти­ки, но с этим можно бо­роть­ся дру­ги­ми спо­со­ба­ми. Если все пра­виль­но спро­ек­ти­ро­ва­но, а в ка­че­стве го­ри­зон­таль­ной ка­бель­ной си­сте­мы ис­поль­зу­ет­ся пре­тер­ми­ни­ро­ван­ная оп­ти­ка, то такое ре­ше­ние легко на­ра­щи­ва­ет­ся. Соб­ствен­но саму СКС легко экс­плу­а­ти­ро­вать — ко­ли­че­ство пе­ре­клю­че­ний небольшое.
По­вы­ше­ние эф­фек­тив­но­сти ис­поль­зо­ва­ния про­стран­ства ма­ш­за­ла — во­прос спор­ный: вме­сто ненуж­ных шка­фов под го­ри­зон­таль­ные крос­сы до­бав­ля­ют­ся стой­ко-ме­ста для обо­ру­до­ва­ния, но зато под се­те­вое обо­ру­до­ва­ние при­хо­дит­ся вы­де­лять про­стран­ство внут­ри шка­фов. К слову, его надо вы­би­рать тща­тель­но: тем­пе­ра­ту­ра в верх­ней части сер­вер­но­го шкафа при воз­душ­ном охла­жде­нии будет не очень ком­форт­ной для боль­шин­ства со­вре­мен­ных ком­му­та­то­ров доступа.
По­сколь­ку они весь­ма чув­стви­тель­ны к пе­ре­гре­ву, надо ис­поль­зо­вать обо­ру­до­ва­ние до­сту­па, ко­то­рое раз­ра­ба­ты­ва­лось для уста­нов­ки в сер­вер­ную стой­ку, на­при­мер ком­му­та­то­ры Nexus 2xxx.
Недо­стат­ки. Если не ис­поль­зу­ет­ся вир­ту­а­ли­зи­ро­ван­ная се­те­вая ин­фра­струк­ту­ра (Cisco Nexus, Juniper QFabric), то от схемы ToR лучше от­ка­зать­ся — вряд ли вас при­вле­ка­ет воз­мож­ность по­лу­чить на 200 стоек 400 по­тен­ци­аль­ных точек от­ка­за и ад­ми­ни­стри­ро­ва­ния. Экс­плу­а­та­ция такой сети тре­бу­ет се­рьез­ных уси­лий, осо­бен­но в плане управ­ле­ния и под­держ­ки, — ре­ше­ние хоть и уни­вер­саль­ное, но на каж­дое устрой­ство необ­хо­дим свой сер­вис­ный кон­тракт. Надо очень тща­тель­но про­счи­ты­вать эко­но­ми­че­скую эф­фек­тив­ность дан­но­го ре­ше­ния при пла­ни­ру­е­мом сроке жизни ЦОД. В ряде слу­ча­ев смысл в этом есть, но по­до­зре­ваю, что мно­гие кли­ен­ты, ко­то­рые стро­и­ли ин­фра­струк­ту­ру по такой схеме, де­ла­ли это на­о­бум. Нужно также про­счи­ты­вать сто­и­мость пор­тов и эф­фек­тив­ность их ис­поль­зо­ва­ния. В прин­ци­пе, у Cisco и Juniper, на­при­мер, есть ком­му­та­то­ры до­сту­па с неболь­шим чис­лом пор­тов, на­чи­ная от 8. По­до­брать обо­ру­до­ва­ние, ко­то­рое со­от­вет­ству­ет те­ку­щим по­треб­но­стям, не про­бле­ма, но вот как его даль­ше наращивать?
Зон­ная струк­ту­ра. В сред­них и неболь­ших ЦОД (если у вас 20–30–50 стоек в одном ма­ш­за­ле) зон­ную схему при­ме­нять неце­ле­со­об­раз­но (за ис­клю­че­ни­ем слу­ча­ев, когда не хва­та­ет до­ступ­но­го про­стран­ства). Идея про­ста — со­здать ми­ни­маль­ную еди­ни­цу на­ра­щи­ва­ния для боль­шо­го помещения.
Го­ри­зон­таль­ная ка­бель­ная си­сте­ма огра­ни­чи­ва­ет­ся пре­де­ла­ми зоны. В за­ви­си­мо­сти от ре­ша­е­мых задач она стро­ит­ся про­из­воль­но — одна зона может иметь го­ри­зон­таль­ные крос­сы, когда ком­му­та­то­ры до­сту­па вы­не­се­ны в от­дель­ные стой­ки, дру­гая — со­зда­вать­ся по схеме ToR, тре­тья — иметь от­дель­ную зону хра­не­ния и т. д. Таким об­ра­зом, зо­ни­ро­ва­ние внут­ри од­но­го сер­вер­но­го по­ме­ще­ния поз­во­ля­ет при­ме­нить несколь­ко раз­ных под­хо­дов, при этом каж­дая зона может на­ра­щи­вать­ся отдельно.
Чаще всего внут­ри зоны ком­му­та­то­ры до­сту­па рас­по­ла­га­ют­ся в конце ряда (End of Row, см. Ри­су­нок 4, а). Когда необ­хо­ди­мо обес­пе­чить фи­зи­че­ское раз­не­се­ние уров­ня до­сту­па, они рас­по­ла­га­ют­ся с обоих кон­цов ряда. Такой под­ход зна­чи­тель­но по­вы­ша­ет от­ка­зо­устой­чи­вость при непло­хой гибкости.
 

Ри­су­нок 4. Раз­лич­ные зон­ные схемы: а — в конце ряда, б — в се­ре­дине ряда, в — с вы­де­лен­ным се­те­вым рядом.

 
 
Ин­те­рес­ный ва­ри­ант — уста­нов­ка ком­му­та­то­ров в цен­тре ряда (Middle of Row, см. Ри­су­нок 4, б). Это поз­во­ля­ет раз­ве­сти ка­бель­ные трас­сы, ко­то­рые идут от ком­му­та­то­ров до­сту­па на уро­вень рас­пре­де­ле­ния. Если объем оп­ти­ки велик, то при по­мо­щи по­доб­ной кон­фи­гу­ра­ции уда­ет­ся кор­рект­но раз­ве­сти ка­бе­ли по раз­ным трас­сам. Когда они про­ло­же­ны под фаль­шпо­лом, по­ме­хи для си­сте­мы охла­жде­ния ока­зы­ва­ют­ся минимальны.
Зоны с вы­де­лен­ным се­те­вым рядом (см. Ри­су­нок 4, в) ор­га­ни­зу­ют­ся пре­иму­ще­ствен­но на боль­ших пло­щад­ках (преды­ду­щие два ва­ри­ан­та ис­поль­зу­ют­ся и в от­но­си­тель­но неболь­ших ЦОД). Один такой ряд, пред­став­ля­ю­щий собой вы­де­лен­ное про­стран­ство, где со­сре­до­то­че­ны ка­бель­ная ин­фра­струк­ту­ра и ком­му­та­то­ры до­сту­па, об­слу­жи­ва­ет несколь­ко рядов сер­вер­ных шка­фов. По боль­шо­му счету такая зона — ми­ни-ЦОД по схеме Direct Connect в виде модуля.
Для эф­фек­тив­но­го зо­ни­ро­ва­ния надо иметь пред­став­ле­ние о том, каким об­ра­зом мы будем раз­ме­щать обо­ру­до­ва­ние, кто будет вы­сту­пать в роли по­тре­би­те­лей, где будут уста­нав­ли­вать­ся блейдсер­ве­ры, мо­но­лит­ные си­сте­мы (типа Superdome) и т. д. Зон­ная струк­ту­ра при всей ее внеш­ней при­вле­ка­тель­но­сти тре­бу­ет се­рьез­но­го пла­ни­ро­ва­ния со сто­ро­ны за­каз­чи­ка в первую оче­редь, чего, к со­жа­ле­нию, прак­ти­че­ски ни­ко­гда не бы­ва­ет. Уни­вер­саль­ную струк­ту­ру, обес­пе­чи­ва­ю­щую уста­нов­ку лю­бо­го обо­ру­до­ва­ния в любой точке ма­ш­за­ла, со­здать невоз­мож­но (или такой про­ект ока­жет­ся слиш­ком за­трат­ным). Если мы знаем, где и какое обо­ру­до­ва­ние будет сто­ять (СХД, лен­точ­ные биб­лио­те­ки, от­дель­ные кон­струк­ти­вы, кор­зи­ны с блей­да­ми и т. д.), тогда струк­ту­ра как ло­каль­ной, так и ка­бель­ной сети ста­нет более по­нят­ной. А за­од­но ре­шит­ся во­прос, до­ста­точ­но ли воз­душ­но­го охла­жде­ния или при­дет­ся то­чеч­но при­ме­нять дру­гие решения.
Зо­ни­ро­ва­ние — пра­виль­ная мера, но за­каз­чи­ки долж­ны пред­став­лять, как это будет вы­гля­деть. К со­жа­ле­нию, слиш­ком часто они даже не знают, какое обо­ру­до­ва­ние у них будет уста­нов­ле­но: «Нам надо сде­лать ЦОД, а потом мы туда будем что-ни­будь ста­вить, и это что­ни­будь может быть чем угод­но». Но за за­каз­чи­ка эту про­бле­му никто не решит.
Пре­иму­ще­ства. Все зоны стан­дар­ти­зи­ро­ва­ны — для каж­дой име­ет­ся свой стан­дарт­ный набор про­дук­тов, чем обес­пе­чи­ва­ет­ся про­сто­та на­ра­щи­ва­ния. (У Commscope есть спе­ци­фи­ка­ция для зон раз­ных типов, ко­то­рые можно раз­вер­нуть до­ста­точ­но быст­ро). По срав­не­нию со схе­мой Direct Connect такое ре­ше­ние об­хо­дит­ся де­шев­ле, прав­да, эф­фек­тив­ность ис­поль­зо­ва­ния пор­тов се­те­во­го обо­ру­до­ва­ния несколь­ко ниже, хотя и выше чем у ToR. И в целом она пред­став­ля­ет опре­де­лен­ный ба­ланс между ToR и Direct Connect.
Недо­стат­ки. Зо­ни­ро­ва­ние не под­хо­дит для неболь­ших ЦОД (за ис­клю­че­ни­ем тех слу­ча­ев, когда не хва­та­ет про­стран­ства для про­клад­ки ка­бе­лей). Если тре­бу­ет­ся мак­си­маль­но ис­поль­зо­вать до­ро­го­сто­я­щие порты, то оп­ти­маль­ный выбор — цен­тра­ли­зо­ван­ная схема. А когда пла­ни­ру­ет­ся сде­лать всю сеть пол­но­связ­ной и за­каз­чик со­би­ра­ет­ся ис­поль­зо­вать FCoE, то лучше по­дой­дет ToR.
Сте­пан Большаков — тех­ни­че­ский ди­рек­тор под­раз­де­ле­ния Enterprise Solutions ком­па­нии Commscope в Рос­сии и СНГ. С ним можно свя­зать­ся по ад­ре­су: sbolshakov@commscope.com.