توزیع انرژی الکتریکی در مراکز داده بر پایه استاندارد TIA942

سیستم تأمین انرژی الکتریکی در یک مرکز داده
یک سامانه الکتریکی مناسب که برای مرکز داده طراحی شده باشد، باید این ویژگی‌ها را شامل شود:
• نیاز سخت‌افزارها و تجهیزات مرکز داده را تأمین کند.
• دارای افزونگی (Redundancy) کافی و مناسب باشد.
• با استانداردهای ایمنی ملی و منطقه مدنظر مطابقت‌های لازم را داشته باشد.

به طور کلی، نیازهای یک مرکز داده کامپیوتری عبارتند از:
- برق Rackها و تجهیزات مخابراتی و شبکه‌ای 
- برق سامانه سیستم سرمایشی (HVAC)
-  برق سیستم روشنایی اداری و اتاق کامپیوتر (Lighting)
- سامانه نظارتی و مراقبتی (CCTV)
- تجهیزات کنترل دسترسی (Access)
- تجهیزات کنترل، اعلان و اطفای حریق 

تعریف استاندارد TIA942 
کارگروه TR42.2، زیرمجموعه انجمن صنعت مخابرات (TIA)، کمیته فنی- مهندسی TR-42 همان انجمن و مؤسسه استانداردهای ملی آمریکا (ANSI)، این استاندارد را تصویب کرده‌اند. انجمن TIA استانداردها را هر پنج‌سال یک‌بار بازبینی می‌کند و طبق آخرین اطلاعات عرضه‌شده، استانداردها مجدداً تأیید، لغو یا اصلاح می‌شوند.

مطلب پیشنهادی

مراکز داده درون‌سازمانی می‌توانند به همان کارآمدی کلاودهای عمومی استفاده شوند

DCSM و DCIM کلیدهای موفقیت مراکز داده آینده

هدف از این استاندارد فراهم کردن نیازها و راهنمایی‌های لازم برای اجرای اجزا و سطوح مختلف یک مرکز داده یا اتاق کامپیوتر است. این استاندارد برای طراحانی تهیه شده است که به درک بالایی از طراحی مرکز داده از قبیل طراحی تأسیسات الکتریکی، تأسیسات مکانیکی، سیستم کابل‌کشی و طراحی شبکه نیاز دارند. 

تعریف اجزای مختلف سیستم توزیع مرکز داده
UTILITY:
این مورد نشان‌دهنده برق شهر است که مستقیماً از نیروگاه یا از یک پست برق محلی تأمین می‌شود. تعداد این منابع الکتریسیته به رده (Tier) مرکز داده بستگی دارد که در ادامه این مقاله به توضیح آن می‌پردازیم. باید توجه کرد که اندازه ترانسفورماتور اصلی در پست ورودی به مرکز باید بتواند کل نیاز مرکز را برآورده کند.

Emergency Power Source:
برای تأمین نیروی الکتریسیته مناسب و پایدار در زمان قطعی برق شهر، به منابع اضطراری پایدار و در دسترس نیاز است که دیزل ژنراتورهای سنکرون یکی از همین منابع است. این ژنراتورها به صورت نصب دائم و ثابت در نزدیکی بار یا به صورت پرتابل هستند. دیزل ژنراتور باید قابلیت تحمل هارمونیکی را که یوپی‌اس تولید می‌کند، داشته باشد و اندازه آن با توجه به نیاز بار متصل به یوپی‌اس، تجهیزات سرمایشی، سیستم‌های مصرفی فرعی و برق روشنایی مشخص شود. مخزن سوخت دیزل ژنراتور باید برای استفاده حداقل چهار ساعت تا حداکثر 60 روز در نظر گرفته شده باشد و می‌توان آن را درون زمین مستقر کرد.

Change Over Panel یا ATS:
از آنجا که به هنگام قطع برق شهر و راه‌اندازی دیزل ژنراتور، خطای انسانی در کلیدزنی به طور دستی می‌تواند منجر به خسارت‌های جبران‌ناپذیر به تجهیزات شود و تداوم برق‌رسانی به این مراکز را از بین ببرد، بنابراین عمل کلیدزنی باید حتماً توسط سیستم کنترل خودکار انجام شود تا به جز در موارد خاص، نیازی به حضور اپراتور برای کلیدزنی نباشد. به همین منظور از تابلوهای مخصوص این کار استفاده می‌شود که ATS Panel یا Automatic Transfer Switch نامیده می‌شوند و دارای دو عملکرد عمده هستند:
الف) کنترل و نظارت بر فاکتورهای تغذیه بار مصرفی از برق شبکه شهری یا ژنراتور و تغییر وضعیت کلیدهای موتوردار برق شهر و ژنراتور در زمان خاموشی با توجه به سناریوهای لازم‌الاجرا
ب) نظارت بر عوامل الکتریکی و مکانیکی دیزل ژنراتور

UPS:
UPS يک منبع تغذيه بدون وقفه (Uninterruptible power Supply) است که پشتيباني از باطري را در صورت قطع برق برای دیتاسنتر فراهم می‌کند. این در حالی است که یوپی‌اس و سیستم ژنراتور باید برای کارکرد موازی، همخوانی‌های لازم را با یکدیگر داشته باشند. بازدهي انرژي تجهيزات یوپی‌اس از اهميت بالايي برخوردار است؛ زيرا مي‌تواند در مراکز مهم و بزرگ از 50 تا 60 درصد برق مصرفي در يک دیتاسنتر را به خود اختصاص دهد. به طور کلی یوپی‌اس‌ها به نحوی که در شکل زیر نشان داده شده است، تقسیم‌بندی می‌شوند.

در مراکز داده اگر قدرت سایزشده یوپی‌اس تا صد کیلو ولت آمپر باشد، می‌توان یوپی‌اس را در اتاق کامپیوتر نصب و از آن بهره‌برداری کرد؛ اما اگر میزان اندازه یوپی‌اس بیشتر از صد کیلو ولت آمپر باشد، باید محل مناسبی را به عنوان اتاق یوپی‌اس در خارج از اتاق کامپیوتر انتخاب کرد. دما و رطوبت لازم برای اتاق یوپی‌اس به ترتیب باید صفر تا 40 درجه و 10 تا 90 درصد باشد. اطلاعات اضافی درباره یوپی‌اس‌ها را می‌توان به کمک استاندارد IEEE 1100 جست‌وجو کرد.

Battery Room:
در طراحی این مبحث بهتر است اتاق باطری در پایین‌ترین طبقه و روی زمین اصلی ساخته شود، زیرا باطری‌هایی که در اتاق باطری نصب و بهره‌برداری می‌شوند، وزن زیادی دارند که در نهایت بار زیادی را به زیر ساخت کف اتاق وارد می‌کنند. دمای اتاق باطری باید بین 20 تا 25 درجه باشد تا با افزایش دما عمر مفید باطری‌ها کاهش نیابد. معمولاً در مرکز داده برای باطری‌ها از این تکنولوژی‌ها استفاده می‌شود:
1. باطری‌های VRLA که مخفف Valve-regulated Lead-Acid است.
2. باطری‌های FLA که مخفف Flooded Lead-Acid است.
3. باطری‌های Ni-Cd که مخفف Nickel - Cadmium است.

Lighting:
روشنایی در اتاق کامپیوتر یک مرکز داده، دارای اهمیت زیادی است. میزان شدت روشنایی باید ۵۰۰ لوکس (واحد استاندارد برای سنجش شدت روشنایی) در صفحه افقی و ۲۰۰ لوکس در صفحه عمودی باشد. همچنین این عامل برای راهروهای خارج از اتاق کامپیوتر و کریدورها 200 لوکس و برای مناطق دیگر 150 لوکس است. برای اندازه‌گیری این عامل، باید لوکس‌متر در میان راهروهای سرد یا گرم و در فاصله یک‌متری از کف کاذب تمام‌شده قرار داشته باشد.
تجهیزات روشنایی نباید از همان برقی که تجهیزات IT در اتاق کامپیوتر و از سیستم یوپی‌اس اصلی استفاده می‌کنند، تغذیه شوند، بلکه تغذیه آن باید از تابلو برق‌های توزیع فرعی و سیستم برق اضطراری (ژنراتور) باشد. در ضمن در طراحی روشنایی، باید روشنایی اضطراری با تغذیه باطری نیز در نظر گرفته شود تا در هنگام قطع برق مشکلی در روند کار مرکز داده و کارکنان پشتیبانی ایجاد نشود.

PDPM:
واحد توزیع ماژولار توان الکتریکی (Modular Power Disribution Unit) وظیفه دریافت توان الکتریکی از تابلو برق اصلی و توزیع یکپارچه آن به تمامی PDUهای موجود در یک ردیف یا راهرو از رک‌های مرکز داده را به عهده دارد. PDPMها را می‌توان در ابتدا یا در میان راهرو مستقر کرد. این وسیله قابلیت تغذیه تک‌فاز یا سه‌فاز مصرف‌کننده را دارد؛ همچنین به اپراتور امکان حفاظت الکتریکی هریک از PDUها را می‌دهد. می‌توان اطلاعات الکتریکال لازم را هم به صورت محلی و هم به صورت دسترسی از طریق شبکه از راه دور به کمک نرم‌افزارهای مانیتورینگ استخراج کرد.

PDU:
PDU، سرنام Power Distribution unit است که توان الکتريکي را توزيع مي‌کند و در طرفین رک، جلوی آن یا پشت رک نصب می‌شود. PDU که براي دیتاسنتر به کار گرفته می‌شود، یا به صورت معمولی است یا از نوع smart؛ به گونه‌ای که قابلیت وصل شدن به شبکه و برنامه‌ریزی را دارد و از ابزار اندازه‌گیری کمیت‌های الکتریکی برخوردار است.

همچنین دارای کلیدهای جداکننده و محدودکننده جریان در لحظه اضافه جریان برای جلوگیری از آسیب رسیدن به تجهیزات متصل‌شده و سیستم حفاظت در مقابل افزایش ولتاژهای گذرا (TVSS) است.

تعریف TIER در استاندارد TIA942
برای بهبود افزونگی و قابلیت اطمینان، هم در مرکز داده و زیرساخت‌های پشتیبانی و هم در سرویس‌های خارجی و تغذیه برق باید تمام نقاط ضعف را حذف کرد. افزونگی باعث افزایش تحمل خطا و قابلیت نگهداری می‌شود و باید در هر سطح سیستم به طور جداگانه اعمال شود. این استاندارد شامل چهار رده مختلف به نام‌های TIER4 و TIER3 ،TIER2 ،TIER1 از نظر قابلیت‌های دسترسی به زیر ساخت مرکز داده است. رده‌های بالاتر نه تنها به معنی قابلیت دستیابی بیشتر هستند، بلکه هزینه‌های ساخت بیشتری را نیز دربرخواهند داشت. در تمام موارد، رده بالاتر شامل تمام الزامات رده‌های سطوح پایین‌تر نیز می‌شود. دسته‌بندی این رده‌ها مطابق با دسته‌بندی مؤسسه UPTIME است. 

انواع افزونگی (Redundancy) در یک مرکز داده
N: سیستم با توجه به نیازهای پایه و مبنا بوده و دارای افزونگی نیست.
N+1: یک ماژول یا مسیر به سیستم مبنا اضافه می‌کند و می‌توان هرکدام از این ماژول‌ها یا مسیرها را به‌تنهایی و بدون مشکل تعمیر کرد.
N+2: دو ماژول یا مسیر اضافه به سیستم مبنا اضافه می‌کند و می‌توان هرکدام از این ماژول‌ها یا مسیرها را به‌تنهایی و بدون مشکل تعمیر کرد.
2N: برای یک سیستم با نیازهای پایه دو عدد یونیت، ماژول، مسیر و... تأمین می‌کند.
(N+1)ا2: برای حالت 2N یک ماژول یا مسیر به سیستم اضافه می‌کند.

الزامات مورد نیاز در Tier
Tier1: برق اصلی شرکت، برق منطقه‌ای و به صورت تک‌مسیره است و برای برق اصلی، در صورت قطعی برق، پشتیبان دیگری از نیروگاه دوم پیش‌بینی نشده است. 

در T1 دیتاسنتر، با توجه به مصرف بار پیش‌بینی یک دستگاه ژنراتور به صورت پشتیبان امکان‌پذیر است، اما الزامی نیست. می‌توان از یو‌پی‌اس در این رده استفاده کرد و باید توجه داشت مشخصات آن با ژنراتور همخوانی داشته باشد. یو‌پی‌اس می‌تواند موازی یا به صورت منفرد در مدار قرار گیرد. در این کلاس هیچ افزونگی یا Redundancy وجود ندارد. تنها مزیتی که منجر به انتخاب این کلاس از دیتاسنتر می‌شود، هزینه و میزان بازده اقتصادی دیتاسنتر است. در استانداردهای موجود این کلاس حداکثر می‌تواند تا 28.8 ساعت در سال، زمان غیرفعال (DownTime) داشته باشد.
Tier2: هرچه در رده یک باید به آن توجه شود، در این رده نیز باید وجود داشته باشد. برق اصلی شرکت برق محلی است و در صورت قطع برق اصلی شهر، پشتیبان دیگری پیش‌بینی نشده است. در این رده افزونگی یوپی‌اس دوم N+1 می‌تواند لحاظ شود، ولی نیازی به افزونگی در ژنراتور نیست. تفاوت T1 و T2 در استفاده از یوپی‌اس جایگزین و پشتیبان یوپی‌اس اول است. در این رده زمان غیرفعال مجاز 22 ساعت در سال است. 

Tier3: این سطح باید دارای افزونگی N+1 باشد. در این حالت هر یک از قسمت‌ها نظیر منبع برق اصلی شهری، ژنوراتور یوپی‌اس، مسیرهای تغذیه بار و سیستم سرمایشی، دارای افزونگی هستند. در این سطح مرکز داده قطع برق منطقه‌ای نیروگاه محلی، خرابی محسوب نمی‌شود و یک وضعیت مورد انتطار برای تعمیرات و نگهداری در نظر گرفته می‌شود.

تجهیزات ژنراتور و برق محلی باید قابلیت آزمایش‌های بای‌پس و نگهداری هم‌زمان را داشته باشند. برق اصلی دوم از منبع utility دوم تغذیه می‌شود، ژنراتور دوم و یوپی‌اس دوم در خط برق اصلی قرار گرفته است. همچنین در این رده منبع دوم انرژی الکتریسیته فاقد ژنراتور و یوپی‌اس است. در این نوع از مرکز داده حداکثر زمان غیرفعال مجاز 1.6 ساعت در سال است.
Tier4: رده چهار مرکز داده‌ای که Redundancy در آن (N+1)ا2 است و تقریباً اکثر تجهیزات در این حالت مانند رده سه، در هریک از قسمت‌ها نظیر منبع برق اصلی شهری، ژنوراتور یوپی‌اس، مسیرهای تغذیه بار و سیستم سرمایشی، دارای افزونگی هستند؛ با این تفاوت که منبع دوم انرژی الکتریسیته نیز دارای ژنراتور و یوپی‌اس است.

این سطح دیتاسنتر باید دارای دو منبع برق اصلی از دو پست برق مجزا و جداگانه باشد و همچنین سیستم ژنراتور و یوپی‌اس آن باید N+1 باشد. در این سطح مرکز داده قطع برق منطقه‌ای نیروگاه محلی، خرابی محسوب نمی‌شود و وضعیتی مورد انتطار در نظر گرفته می‌شود. تفاوت عمده تأمین برق این سطح با Tier3 در وجود دو ژنراتور پشتیبان در منبع پست برق دوم است که به این خط توزیع دو عدد یوپی‌اس نیز افزوده شده است. در این سطح از دیتاسنتر زمان غیرفعال مجاز کمتر از یک ساعت در سال است. 

بررسی بازدهی مصرف برق در یک دیتاسنتر
دو روش براي اندازه‌گيري بازدهی مصرف برق دیتاسنتر مطرح شده است:
1. DCIE
این روش یکی از معیارهای بازدهی زیرساخت یک مرکز داده است که با عنوان DataCentre Infrastructure Efficiency نیز شناخته می‌شود.DCIE برق مصرف‌شده توسط تجهيزات IT يک دیتاسنتر را به صورت درصدي از کل برق ورودي به آن نشان مي‌دهد. يک DCIE 60‌درصدي به معناي آن است که 60 درصد از کل برق مصرفي دیتاسنتر در اختيار تجهيزات IT قرار گرفته و بقیه آن توسط سیستم خنک‌کننده و تغذيه عمومی برق مصرف شده است. در واقع هر چه مقدار DCIE بزرگ‌تر باشد، بهتر است. باید توجه کرد که این عنوان بر مبنای درصد بیان می‌شود.

2. PUE
PUE، سرنام Power Usage Effectiveness ، نسبت مقدار کلي برق ورودي به يک دیتاسنتر به برق مورد استفاده تجهيزات IT در آن است. يک PUE معادل دو، به معناي آن است که نيمي از برق مورد استفاده يک دیتاسنتر به تجهيزات IT اختصاص يافته و زيرساخت سیستم‌های خنک‌کننده و توزيع فرعی برق نيز نيم ديگري از آن را مصرف کرده‌اند. طراحان مراکز داده يک PUE کمتر از دو را توصيه مي‌کنند. در حقیقت هرچه PUE به يک نزديک‌تر باشد، بهتر است.

نحوه نظارت و کنترل
برای نظارت سیستم‌های الکتریکال در یک دیتاسنتر، ابزار و پروتکل‌های مختلف وجود دارد. از رایج‌ترین پروتکل‌های استفاده‌شده، می‌توان به پروتکل‌های RS485 ، RS232 و SNMP اشاره کرد. پروتکل SNMP یکی از ساده‌ترین روش‌ها برای انتقال داده به‌منظور پایش اطلاعات است، زیرا می‌توان دستگاه مدنظر را تحت وب و از راه دور تنها با تنظیم یک IP برای تجهیز مربوطه کنترل کرد. در بعضی از مواقع با تنظیم یک IP برای تجهیز مدنظر و اضافه کردن آن در نرم‌افزار monitoring یا  BMS و تنظیم IP مربوطه در نرم‌افزار، می‌توان کنترل تجهیز و اطلاعات مربوط به آن را انجام داد. در بعضی مواقع تجهیزات یا دستگاه‌های الکتریکی، نرم‌افزار منحصربه‌فرد دارند که می‌توان با اتصال کابل شبکه، آن‌ها را به صورت منفرد یا با یکپارچه‌سازی، در نرم‌افزار مانیتورینگ اضافه کرده و بر روی عملکرد و اطلاعات آن‌ها نظارت و کنترل لازم را اعمال کرد.

نتیجه گیری
تجهيزات IT که مهم‌ترین بخش یک مرکز داده هستند، به طور متوسط نیمی از برق مورد نياز يک دیتاسنتر را مصرف مي‌کنند، بقيه انرژي ورودی به مرکز، به زيرساخت‌هاي تجهیزات خنک‌کننده، تغذيه و توزيع برق تجهیزات فرعی و روشنایی و مصارف عمومی مربوط مي‌شود. در این حالت و با توجه به مطالب بیان‌شده در این مقاله که برگرفته از استاندارد TIA942 است، می‌توان با در نظر گرفتن افزونگی‌ها و انتخاب یک Tier مناسب برای مرکز داده، شرایط برق منطقه محل احداث و برآورد هزینه‌های ورودی و خروجی، شرایطی را ایجاد کرد که بهترین عملکرد، با پایین‌ترین درجه از زمان غیرفعال را برای مرکز داده به همراه داشته باشد.