צפיפות הספק בחוות שרתים: כיצד שרתי AI משנים את כל תכנון מרכז הנתונים .

כמה הספק צורך Rack בחוות שרתים מבוססת AI?

ארון שרתים רגיל יכול לפעול בצפיפויות של כמה קילוואטים עד עשרות קילוואטים, אולם ארונות הכוללים מאיצי AI ו־GPU עשויים להגיע ל־100 קילוואט ואף יותר. העלייה בצפיפות משנה את תכנון מרכז הנתונים כולו: נדרשת אספקת חשמל גדולה יותר לכל Rack, תשתיות חלוקה מתאימות ויכולת לפנות כמויות חום משמעותיות משטח קטן. לכן בעת תכנון חוות AI כבר לא מספיק לחשב את ההספק הכולל של המתקן – יש לתכנן גם את ההספק והקירור ברמת הארון.

מ־10 קילוואט ליותר מ־100 קילוואט לארון – עידן NVIDIA Blackwell, ‏GB200 והמחשוב בקנה מידה של ארון שלם

במשך שנים תוכננו מרכזי נתונים סביב הנחה בסיסית ופשוטה יחסית: בכל ארון שרתים יותקנו שרתים עצמאיים, צריכת החשמל של הארון תישאר בטווח של כמה קילוואטים עד כ־10 קילוואט, והחום שייווצר יורחק באמצעות זרימת אוויר קר דרך הרצפה הצפה או דרך מערכת מיזוג היקפית.

שרתי הבינה המלאכותית משנים את ההנחה הזאת מן היסוד.

מערכות המבוססות על עשרות מעבדים גרפיים רבי־עוצמה אינן רק גרסה חזקה יותר של שרת רגיל. הן יוצרות קטגוריה חדשה של תשתית, שבה הארון כולו מתפקד כמחשב־על אחד. הארון כולל מערכי חישוב, מתגי תקשורת מהירים, ספקי כוח, פסי צבירה, אלפי חיבורי נחושת ומערכת קירור נוזלית – וכל אלה פועלים כיחידה הנדסית אחת.

התוצאה היא מעבר מצפיפות של 5–10 קילוואט בארון במרכזי נתונים מסורתיים, לצפיפות של 50, 100 ואף יותר מ־120 קילוואט בארון AI. לפי ASHRAE, תשתיות מסורתיות רבות תוכננו לצפיפות של 5–10 קילוואט לארון, בעוד שמערכות AI מודרניות כבר חורגות מ־100 קילוואט ומעבר ליכולת המעשית של קירור אוויר בלבד. (

המשמעות איננה רק שצריך לספק יותר חשמל ויותר קירור. כאשר צפיפות ההספק גדלה פי עשרה, משתנים גם מבנה הרצפה, חלוקת החשמל, תעלות הכבלים, ממדי הארון, נתיבי ההובלה, תכנון חדרי החשמל, מערכות הכיבוי, שיטות התחזוקה ואפילו הדרך שבה מחושב מספר הארונות שניתן להתקין באולם.

צפיפות ההספק הופכת אפוא מנתון טכני של ציוד ה־IT לעיקרון שמכתיב את תכנון מרכז הנתונים כולו.

מהי צפיפות הספק בארון שרתים?

צפיפות הספק, Rack Power Density, מבטאת את ההספק החשמלי שמרוכז בארון שרתים אחד, בדרך כלל בקילוואט לארון.

במרכז נתונים מסורתי ניתן היה למצוא, לדוגמה, 20 שרתים הצורכים בממוצע 400–500 ואט כל אחד. גם לאחר הוספת ציוד תקשורת והפסדי אספקת כוח, הארון היה נשאר בסביבה של 8–12 קילוואט.

בארון AI, לעומת זאת, כל יחידת חישוב עשויה לכלול מספר מעבדים גרפיים, מעבדים מרכזיים, זיכרון מהיר וממשקי תקשורת בהספק גבוה. כאשר מותקנות עשרות יחידות כאלה בארון, ההספק המצטבר מגיע לעשרות ואף למאות קילוואטים.

חשוב להבחין בין כמה נתונים שונים:

הספק נקוב הוא ההספק המרבי המוצהר של הציוד.

הספק תכנון הוא העומס שלפיו מתכננים את מערכות החשמל והקירור, לרבות מקדמי ביטחון ויתירות.

צריכה בפועל משתנה בהתאם לסוג היישום, לניצולת המעבדים ולהגדרות ניהול ההספק.

עומס שיא רגעי עשוי להיות גבוה מהצריכה הממוצעת, במיוחד כאשר מספר גדול של מעבדים גרפיים מתחיל שלב חישוב באותו זמן.

לכן ארון המוגדר כארון של 100 קילוואט לא בהכרח צורך 100 קילוואט בכל רגע. עם זאת, מערכות החשמל, ההגנות והקירור חייבות להיות מסוגלות להתמודד עם נקודת התכנון ועם שינויים מהירים בעומס, מבלי לגרום להפעלת מפסקים, לירידת מתח, להאטת המעבדים או להשבתת המערכת.

מדוע דווקא AI מעלה את צפיפות ההספק?

שרתים מסורתיים מריצים בדרך כלל יישומים מגוונים: בסיסי נתונים, אתרי אינטרנט, דואר אלקטרוני, מערכות ארגוניות ואחסון. דפוסי העומס שלהם אינם זהים, ולכן כאשר שרת אחד מגיע לשיא פעילות, שרת אחר עשוי לפעול בעומס חלקי. הגיוון הזה מאפשר לעיתים לתכנן את התשתיות על בסיס מקדם בו־זמניות מסוים.

באימון מודלים של בינה מלאכותית התמונה שונה.

אלפי מעבדים גרפיים יכולים להשתתף באותו תהליך חישוב ולפעול באופן מסונכרן. כאשר מתחיל שלב חישובי חדש, מספר גדול של מאיצים עשוי להעלות את צריכת החשמל כמעט בו־זמנית. במקום עומסים אקראיים שמתאזנים סטטיסטית, מתקבלים גלי עומס מתואמים.

Schneider Electric מציינת כי בעומסי אימון AI, המעבדים הגרפיים עשויים לפעול בסנכרון וליצור שיאים המתרחשים בו־זמנית ברחבי מרכז הנתונים. לכן לא ניתן עוד להסתמך רק על העומס הממוצע, ויש לתכנן גם עבור נקודות השיא. (Schneider Electric)

גם ASHRAE מתארת מעבר מתכנון של עומסים אסינכרוניים ויציבים יחסית לעומסי AI סינכרוניים, העלולים ליצור שינויי מדרגה חדים בצריכת החשמל. במסגרת התכנון יש לבחון את נקודת התכנון החשמלית, Electrical Design Point, ולא רק את ההספק התרמי הממוצע של הציוד. (ashrae.org)

זוהי אחת הסיבות לכך שהמעבר ל־AI מחייב בחינה מחודשת של מערכות ה־UPS, המפסקים, פסי הצבירה, השנאים והגנרטורים. לא מספיק שמערכת החשמל תוכל לספק את מספר הקילוואטים הכולל; עליה להגיב בצורה יציבה גם לשינויים מהירים מאוד בעומס.

Blackwell, ‏B200, ‏GB200 ו־NVL72: מה ההבדל?

השמות שבהם משתמשת NVIDIA עלולים ליצור בלבול, משום שהם מתייחסים לרמות שונות של המערכת.

Blackwell היא ארכיטקטורת המעבדים הגרפיים של NVIDIA, שפותחה עבור אימון והפעלת מודלים גדולים של בינה מלאכותית ומחשוב עתיר ביצועים.

B200 הוא מעבד גרפי המבוסס על ארכיטקטורת Blackwell.

GB200 Grace Blackwell Superchip משלב מעבד NVIDIA Grace מרכזי ושני מעבדים גרפיים מסוג B200, המחוברים ביניהם באמצעות NVLink-C2C.

GB200 NVL72 הוא כבר פתרון בקנה מידה של ארון שלם. הוא כולל 36 מעבדי Grace ו־72 מעבדי Blackwell, המחוברים במתחם NVLink אחד ומתפקדים כמערכת חישוב משולבת. (NVIDIA)

בארון מותקנים 18 מגשי חישוב בגובה 1RU. בכל מגש שני רכיבי GB200 Superchip, כלומר שני מעבדי Grace וארבעה מעבדי B200. לצדם מותקנים תשעה מגשי NVLink Switch, מתגי ניהול, מדפי ספקי כוח ומערכות חלוקת חשמל וקירור. (NVIDIA Docs)

זהו שינוי תפיסתי חשוב: יחידת החישוב כבר אינה השרת הבודד, ולעיתים גם לא המגש הבודד. יחידת החישוב היא הארון כולו.

במערכות מסורתיות ניתן היה להחליף שרת, לשנות את תצורתו או להעבירו לארון אחר. במערכת Rack Scale, לעומת זאת, המיקום הפיזי של המגשים, המתגים, הכבלים, פסי החשמל וצנרת הקירור הוא חלק מארכיטקטורת המחשב. הארון מגיע כפתרון משולב שיש לתכנן סביבו את הבניין.

מ־10 קילוואט ל־100 קילוואט: לא רק תוספת של עוד כבל

המעבר מארון של 10 קילוואט לארון של 100 קילוואט אינו שקול לחיבור עשרה ארונות רגילים במקום אחד. ריכוז ההספק בנקודה אחת יוצר תנאים הנדסיים שונים לחלוטין.

ריכוז של 100 קילוואט בארון אחד מחייב מוליכים עבים יותר, זרמים גבוהים יותר, הגנות בעלות כושר ניתוק מתאים ומערכת קירור המסוגלת לפנות כמעט את מלוא ההספק בצורת חום.

כל קילוואט חשמלי שמגיע לציוד ה־IT הופך בסופו של דבר כמעט כולו לחום. לכן ארון הצורך 100 קילוואט מייצר בקירוב עומס תרמי של 100 קילוואט. אין משמעות לכך שהארון תופס רק כשני מטרים רבועים; החום עדיין חייב לעבור מהשבב אל מחוץ לבניין.

GB200 NVL72 כדוגמה לשינוי ההנדסי

ה־GB200 NVL72 מדגים היטב את הפער בין ארון שרתים מסורתי לבין מערכת AI מודרנית.

NVIDIA מתארת דרישת קירור בהיקף של כ־120 קילוואט לארון, ומיישמת לשם כך קירור נוזלי ישיר עבור מגשי החישוב והמתגים. בתכנון הייחוס המשותף של NVIDIA ו־Vertiv, תשתיות החשמל והקירור תוכננו לתמיכה של עד 132 קילוואט לארון. (NVIDIA Developer)

בארון קיימים שמונה מדפי הספק. בכל מדף שישה ספקים בהספק של 5.5 קילוואט, עם ארכיטקטורת יתירות המאפשרת המשך פעולה במקרה של תקלה ברכיבי אספקת הכוח. (NVIDIA Docs)

בתוך הארון מותקן גם Bus Bar ייעודי בעל יכולת נשיאת זרם של עד 1,400 אמפר – פי שניים מהיכולת של תצורות קודמות שאליהן מתייחסת NVIDIA. השדרוג בוצע מבלי להגדיל את רוחב פס הצבירה, משום שהמרחב האחורי של הארון נדרש גם לכבלים, למכלולי NVLink ולמחברי הקירור. (NVIDIA Developer)

נתונים אלה ממחישים כי ארון AI איננו רק מארז מתכת שבתוכו מותקנים שרתים. הוא מערכת אלקטרו־מכנית מורכבת, בעלת תשתית חשמל וקירור פנימית הדומה במובנים מסוימים למתקן תעשייתי קטן.

המעבר לקירור נוזלי: לא כל החום עובר אל המים

בצפיפויות של עשרות קילוואטים לארון ניתן עדיין לשלב קירור אוויר מתקדם, בידוד מעברים ומחליפי חום מקומיים. אולם כאשר הארון מתקרב ל־100 קילוואט ומעלה, כמות האוויר הנדרשת לפינוי החום הופכת את הקירור האווירי לבדו לפתרון בלתי יעיל ולעיתים גם בלתי מעשי.

במערכות Direct-to-Chip, או DTC, נוזל הקירור מוזרם אל Cold Plates המותקנים ישירות על המעבדים ועל רכיבים עתירי חום. החום עובר מן השבב אל המשטח המתכתי ומשם אל הנוזל, מבלי שיהיה צורך להעביר תחילה את מלוא האנרגיה התרמית אל האוויר בחדר.

במערכות AI מודרניות עשויה מערכת הקירור הנוזלית לפנות כ־70% עד 90% מהחום הכולל של הארון, בהתאם לתכנון המערכת ולרכיבים המחוברים למעגל הנוזלי. ASHRAE מעריכה כי לאחר יישום DTC עשויים להישאר כ־10% עד 30% מעומס החום לטיפול באמצעות מערכת האוויר. חום שיורי זה נוצר בין היתר בספקי הכוח, בזיכרונות, בהתקני האחסון, ברכיבי הרשת ובכבלי תקשורת אקטיביים.

לכן המעבר לקירור נוזלי אינו מבטל בהכרח את מערכת הקירור האווירית של האולם. גם בארון מקורר נוזל יש לתכנן את הטמפרטורה והספיקה בחדר, למנוע יצירת כיסי חום ולוודא כי הרכיבים שאינם מחוברים למעגל הנוזלי נשארים בתחום הטמפרטורה המותר.

אחת האפשרויות לטיפול בחום השיורי היא להמשיך להשתמש ביחידות CRAH או CRAC של האולם. אפשרות נוספת היא התקנת מחליף חום בדלת האחורית של הארון, Rear Door Heat Exchanger או RDHx. האוויר החם היוצא מן הארון עובר דרך מחליף החום, והאנרגיה התרמית מועברת ממנו אל מעגל נוזלי לפני שהאוויר חוזר לחלל החדר.

RDHx אינו תחליף מלא ל־Direct-to-Chip בארונות הצפופים ביותר, משום שהוא מטפל בחום לאחר שזה כבר עבר אל האוויר. עם זאת, הוא יכול לשמש פתרון משלים, להפחית את העומס התרמי באולם ולסייע בהסבת מתקנים קיימים שאינם יכולים לעבור מיד לקירור נוזלי מלא.

ה־CDU: המערכת המחברת בין הארון לבין תשתית הקירור של הבניין

המעבר לקירור נוזלי מוסיף למרכז הנתונים שכבת תשתית חדשה: ה־Cooling Distribution Unit, או בקיצור CDU. יחידה זו משמשת ממשק בין מערכת הקירור של הבניין לבין מעגל הנוזל המגיע אל ציוד המחשוב.

בתצורה נפוצה, בצד הראשוני של ה־CDU זורמים מי המתקן או נוזל הקירור של הבניין. בצד המשני זורם נוזל בעל איכות מבוקרת, המוזן אל ה־Cold Plates, אל סעפות הארון ואל מחברי הקירור של מגשי החישוב. מחליף החום בתוך ה־CDU מעביר את האנרגיה התרמית בין המעגלים, בלי לערבב ביניהם.

ההפרדה מאפשרת להגן על ציוד המחשוב מפני זיהומים, קורוזיה, חלקיקים ושינויים בלחץ הקיימים במערכת המים הראשית של הבניין. היא גם מאפשרת לשלוט באופן מדויק בטמפרטורת הכניסה, בספיקת הנוזל, בלחץ ובאיכות הכימית של המעגל המשני.

ה־CDU אינו רק מחליף חום. הוא עשוי לכלול משאבות, מסננים, שסתומי בקרה, חיישני טמפרטורה ולחץ, מדי ספיקה, מערכות גילוי נזילות, מכל התפשטות, בקרי איכות נוזל וממשק למערכת ניהול המבנה. ASHRAE מגדירה את ה־CDU כממשק בין מעגלי ה־IT לבין מערכת המים של המתקן, האחראי בין היתר על החלפת החום, הסחרור ובקרת הטמפרטורה.

את ה־CDU ניתן להתקין במספר תצורות. יחידה קטנה יכולה להיות מותקנת בתוך הארון ולשרת ארון יחיד. יחידת In-Row יכולה להיות מותקנת כחלק משורת הארונות ולשרת מספר ארונות סמוכים. במתקנים גדולים ניתן להציב CDU מרכזי בקצה האולם או בחדר מכני נפרד, ולחבר אליו מספר שורות או אשכולות מחשוב.

בחירת המיקום משפיעה על תכנון האולם. CDU המותקן בתוך הארון תופס מקום שהיה יכול לשמש לציוד מחשוב, אך מקצר את המעגל המשני ומצמצם את נפח הנוזל שבקרבת השרתים. CDU שורתי או מרכזי חוסך מקום בארון, אך דורש צנרת ארוכה יותר, סעפות חלוקה, איזון הידראולי ותכנון קפדני של יתירות ובידוד תקלות.

יש להביא בחשבון גם את משקל ה־CDU, צריכת החשמל של המשאבות, פליטת החום האפשרית ממנו, דרישות התחזוקה והגישה למסננים ולשסתומים. כשל ב־CDU עלול להשפיע על מספר ארונות בו־זמנית, ולכן במערכות קריטיות נדרש לבחון תצורות N+1, הזנת חשמל מגובה, משאבות כפולות ומעקפים המאפשרים טיפול במערכת בלי להשבית את אשכול החישוב.

תכנון קירור נוזלי אינו מסתיים, לפיכך, בחיבור שני צינורות לארון. יש לתכנן מערכת הידראולית שלמה הכוללת ספיקה, הפרשי לחץ, טמפרטורות כניסה וחזרה, איכות נוזל, גילוי נזילות, ניקוז, מילוי, תחזוקה ותגובה לתקלה.

שתי שכבות של חלוקת חשמל: AC עד הארון ו־DC בתוכו

בארונות AI צפופי הספק מתקיימת הבחנה חשובה בין חלוקת החשמל במרכז הנתונים לבין החלוקה הפנימית בתוך הארון.

תשתיות הבניין מזינות את ארון ה־GB200 NVL72 בזרם חילופין. ההזנה מגיעה אל מדפי הספק, Power Shelves, באמצעות כבלי הזנה ממערכת החלוקה של האולם. בתוך מדפי ההספק מתבצעת המרה מ־AC לזרם ישר במתח נומינלי של 50–51VDC. המתח הישר מועבר לאחר מכן לאורך הארון באמצעות פס צבירה משותף ומזין את מגשי החישוב, מגשי המיתוג ורכיבים נוספים.

גישה זו שונה מהתצורה המסורתית, שבה בכל שרת מותקנים ספקי כוח עצמאיים המקבלים AC וממירים אותו למתחי DC פנימיים. ריכוז ההמרה במדפי הספק משותפים מאפשר לתכנן את אספקת הכוח ברמת הארון, ליישם יתירות משותפת ולהפחית את הצורך במערכי ספקים נפרדים בכל מגש.

מדפי ההספק מתחברים אל Busbar אנכי המותקן בגב הארון. פס הנחושת נדרש לשאת זרמים גבוהים מאוד, משום שההספק מועבר במתח DC נמוך יחסית. לדוגמה, העברת 100 קילוואט במתח של כ־50 וולט מחייבת תאורטית זרם המתקרב ל־2,000 אמפר, לפני התחשבות בחלוקת העומס, ביתירות ובהפסדים. משום כך ממדי הפס, איכות החיבורים, פיזור החום, התנגדות המגע וכושר העמידה בזרמי קצר הופכים לשיקולים מרכזיים בתכנון.

יש להבחין בין ה־Busway של האולם לבין ה־Busbar של הארון. ה־Busway הוא מערכת חלוקה ברמת המבנה או השורה, המעבירה בדרך כלל AC אל נקודות ההזנה של הארונות. ה־Busbar הפנימי הוא פס צבירה המותקן בתוך הארון ומפיץ DC ממדפי ההספק אל מגשי המחשוב.

המעבר לחלוקת DC בתוך הארון מפחית את מספר שלבי ההמרה המקומיים, מאפשר ריכוז של ספקי הכוח ומקל על יצירת יתירות. עם זאת, הוא יוצר גם אתגרים חדשים: זרמים גבוהים, כוחות אלקטרומגנטיים בזמן קצר, חימום בחיבורים, צורך במגעים בעלי התנגדות נמוכה ודרישה לניטור רציף של הזרם והטמפרטורה לאורך הפס.

בדורות עתידיים NVIDIA מקדמת ארכיטקטורת 800VDC, שמטרתה להפחית את הזרם, את כמות הנחושת ואת נפח הכבלים כאשר צפיפות הארונות תעלה למאות קילוואטים ואף מעבר לכך. ארכיטקטורה זו אינה תצורת ההזנה של GB200 NVL72, המבוסס על חלוקת DC של כ־50 וולט בתוך הארון, אלא כיוון הנדסי לדורות הבאים של מפעלי AI.

המעבר לקירור נוזלי: לא כל החום עובר אל המים

בצפיפויות של עשרות קילוואטים לארון ניתן עדיין לשלב קירור אוויר מתקדם, בידוד מעברים ומחליפי חום מקומיים. אולם כאשר הארון מתקרב ל־100 קילוואט ומעלה, כמות האוויר הנדרשת לפינוי החום הופכת את הקירור האווירי לבדו לפתרון בלתי יעיל ולעיתים גם בלתי מעשי.

במערכות Direct-to-Chip, או DTC, נוזל הקירור מוזרם אל Cold Plates המותקנים ישירות על המעבדים ועל רכיבים עתירי חום. החום עובר מן השבב אל המשטח המתכתי ומשם אל הנוזל, מבלי שיהיה צורך להעביר תחילה את מלוא האנרגיה התרמית אל האוויר בחדר.

במערכות AI מודרניות עשויה מערכת הקירור הנוזלית לפנות כ־70% עד 90% מהחום הכולל של הארון, בהתאם לתכנון המערכת ולרכיבים המחוברים למעגל הנוזלי. ASHRAE מעריכה כי לאחר יישום DTC עשויים להישאר כ־10% עד 30% מעומס החום לטיפול באמצעות מערכת האוויר. חום שיורי זה נוצר בין היתר בספקי הכוח, בזיכרונות, בהתקני האחסון, ברכיבי הרשת ובכבלי תקשורת אקטיביים.

לכן המעבר לקירור נוזלי אינו מבטל בהכרח את מערכת הקירור האווירית של האולם. גם בארון מקורר נוזל יש לתכנן את הטמפרטורה והספיקה בחדר, למנוע יצירת כיסי חום ולוודא כי הרכיבים שאינם מחוברים למעגל הנוזלי נשארים בתחום הטמפרטורה המותר.

אחת האפשרויות לטיפול בחום השיורי היא להמשיך להשתמש ביחידות CRAH או CRAC של האולם. אפשרות נוספת היא התקנת מחליף חום בדלת האחורית של הארון, Rear Door Heat Exchanger או RDHx. האוויר החם היוצא מן הארון עובר דרך מחליף החום, והאנרגיה התרמית מועברת ממנו אל מעגל נוזלי לפני שהאוויר חוזר לחלל החדר.

RDHx אינו תחליף מלא ל־Direct-to-Chip בארונות הצפופים ביותר, משום שהוא מטפל בחום לאחר שזה כבר עבר אל האוויר. עם זאת, הוא יכול לשמש פתרון משלים, להפחית את העומס התרמי באולם ולסייע בהסבת מתקנים קיימים שאינם יכולים לעבור מיד לקירור נוזלי מלא.

ה־CDU: המערכת המחברת בין הארון לבין תשתית הקירור של הבניין

המעבר לקירור נוזלי מוסיף למרכז הנתונים שכבת תשתית חדשה: ה־Cooling Distribution Unit, או בקיצור CDU. יחידה זו משמשת ממשק בין מערכת הקירור של הבניין לבין מעגל הנוזל המגיע אל ציוד המחשוב.

בתצורה נפוצה, בצד הראשוני של ה־CDU זורמים מי המתקן או נוזל הקירור של הבניין. בצד המשני זורם נוזל בעל איכות מבוקרת, המוזן אל ה־Cold Plates, אל סעפות הארון ואל מחברי הקירור של מגשי החישוב. מחליף החום בתוך ה־CDU מעביר את האנרגיה התרמית בין המעגלים, בלי לערבב ביניהם.

ההפרדה מאפשרת להגן על ציוד המחשוב מפני זיהומים, קורוזיה, חלקיקים ושינויים בלחץ הקיימים במערכת המים הראשית של הבניין. היא גם מאפשרת לשלוט באופן מדויק בטמפרטורת הכניסה, בספיקת הנוזל, בלחץ ובאיכות הכימית של המעגל המשני.

ה־CDU אינו רק מחליף חום. הוא עשוי לכלול משאבות, מסננים, שסתומי בקרה, חיישני טמפרטורה ולחץ, מדי ספיקה, מערכות גילוי נזילות, מכל התפשטות, בקרי איכות נוזל וממשק למערכת ניהול המבנה. ASHRAE מגדירה את ה־CDU כממשק בין מעגלי ה־IT לבין מערכת המים של המתקן, האחראי בין היתר על החלפת החום, הסחרור ובקרת הטמפרטורה.

את ה־CDU ניתן להתקין במספר תצורות. יחידה קטנה יכולה להיות מותקנת בתוך הארון ולשרת ארון יחיד. יחידת In-Row יכולה להיות מותקנת כחלק משורת הארונות ולשרת מספר ארונות סמוכים. במתקנים גדולים ניתן להציב CDU מרכזי בקצה האולם או בחדר מכני נפרד, ולחבר אליו מספר שורות או אשכולות מחשוב.

בחירת המיקום משפיעה על תכנון האולם. CDU המותקן בתוך הארון תופס מקום שהיה יכול לשמש לציוד מחשוב, אך מקצר את המעגל המשני ומצמצם את נפח הנוזל שבקרבת השרתים. CDU שורתי או מרכזי חוסך מקום בארון, אך דורש צנרת ארוכה יותר, סעפות חלוקה, איזון הידראולי ותכנון קפדני של יתירות ובידוד תקלות.

יש להביא בחשבון גם את משקל ה־CDU, צריכת החשמל של המשאבות, פליטת החום האפשרית ממנו, דרישות התחזוקה והגישה למסננים ולשסתומים. כשל ב־CDU עלול להשפיע על מספר ארונות בו־זמנית, ולכן במערכות קריטיות נדרש לבחון תצורות N+1, הזנת חשמל מגובה, משאבות כפולות ומעקפים המאפשרים טיפול במערכת בלי להשבית את אשכול החישוב.

תכנון קירור נוזלי אינו מסתיים, לפיכך, בחיבור שני צינורות לארון. יש לתכנן מערכת הידראולית שלמה הכוללת ספיקה, הפרשי לחץ, טמפרטורות כניסה וחזרה, איכות נוזל, גילוי נזילות, ניקוז, מילוי, תחזוקה ותגובה לתקלה.

שתי שכבות של חלוקת חשמל: AC עד הארון ו־DC בתוכו

בארונות AI צפופי הספק מתקיימת הבחנה חשובה בין חלוקת החשמל במרכז הנתונים לבין החלוקה הפנימית בתוך הארון.

תשתיות הבניין מזינות את ארון ה־GB200 NVL72 בזרם חילופין. ההזנה מגיעה אל מדפי הספק, Power Shelves, באמצעות כבלי הזנה ממערכת החלוקה של האולם. בתוך מדפי ההספק מתבצעת המרה מ־AC לזרם ישר במתח נומינלי של 50–51VDC. המתח הישר מועבר לאחר מכן לאורך הארון באמצעות פס צבירה משותף ומזין את מגשי החישוב, מגשי המיתוג ורכיבים נוספים.

גישה זו שונה מהתצורה המסורתית, שבה בכל שרת מותקנים ספקי כוח עצמאיים המקבלים AC וממירים אותו למתחי DC פנימיים. ריכוז ההמרה במדפי הספק משותפים מאפשר לתכנן את אספקת הכוח ברמת הארון, ליישם יתירות משותפת ולהפחית את הצורך במערכי ספקים נפרדים בכל מגש.

מדפי ההספק מתחברים אל Busbar אנכי המותקן בגב הארון. פס הנחושת נדרש לשאת זרמים גבוהים מאוד, משום שההספק מועבר במתח DC נמוך יחסית. לדוגמה, העברת 100 קילוואט במתח של כ־50 וולט מחייבת תאורטית זרם המתקרב ל־2,000 אמפר, לפני התחשבות בחלוקת העומס, ביתירות ובהפסדים. משום כך ממדי הפס, איכות החיבורים, פיזור החום, התנגדות המגע וכושר העמידה בזרמי קצר הופכים לשיקולים מרכזיים בתכנון.

יש להבחין בין ה־Busway של האולם לבין ה־Busbar של הארון. ה־Busway הוא מערכת חלוקה ברמת המבנה או השורה, המעבירה בדרך כלל AC אל נקודות ההזנה של הארונות. ה־Busbar הפנימי הוא פס צבירה המותקן בתוך הארון ומפיץ DC ממדפי ההספק אל מגשי המחשוב.

המעבר לחלוקת DC בתוך הארון מפחית את מספר שלבי ההמרה המקומיים, מאפשר ריכוז של ספקי הכוח ומקל על יצירת יתירות. עם זאת, הוא יוצר גם אתגרים חדשים: זרמים גבוהים, כוחות אלקטרומגנטיים בזמן קצר, חימום בחיבורים, צורך במגעים בעלי התנגדות נמוכה ודרישה לניטור רציף של הזרם והטמפרטורה לאורך הפס.

בדורות עתידיים NVIDIA מקדמת ארכיטקטורת 800VDC, שמטרתה להפחית את הזרם, את כמות הנחושת ואת נפח הכבלים כאשר צפיפות הארונות תעלה למאות קילוואטים ואף מעבר לכך. ארכיטקטורה זו אינה תצורת ההזנה של GB200 NVL72, המבוסס על חלוקת DC של כ־50 וולט בתוך הארון, אלא כיוון הנדסי לדורות הבאים של מפעלי AI.

רצפה צפה: מיתרון תפעולי למגבלה מבנית

הרצפה הצפה הייתה במשך עשרות שנים אחד מסימני ההיכר של מרכזי הנתונים. החלל שמתחת לאריחים שימש להעברת אוויר קר, כבלי חשמל, כבלי תקשורת ולעיתים גם צנרת.

בצפיפות הספק גבוהה, יתרונותיה של הרצפה הצפה עלולים להפוך למגבלות.

הבעיה הראשונה היא משקל. ארון AI מלא עשוי לשקול יותר מ־1,800 קילוגרם, במיוחד לאחר הוספת מגשי החישוב, ספקי הכוח, פסי הנחושת, מחליפי החום, הצנרת והנוזל. ASHRAE ממליצה לבצע בדיקה הנדסית של הרצפה עבור ארונות כבדים, ובמקרים מסוימים להשתמש בקושרות מחוזקות, בסיסים ייעודיים או פלטות פלדה לפיזור העומס. (ashrae.org)

גם פתרונות Open Rack המיועדים ל־GB200 מדורגים לעומסים גבוהים במיוחד. דוגמה המופיעה באתר Open Compute Project היא ארון בגובה 48RU, בעומק כולל של עד 1,200 מ"מ ובדירוג עומס של 1,600 קילוגרם. (Open Compute Project)

ואולם העומס הסטטי אינו הנתון היחיד שיש לבדוק. יש לבחון גם:

• עומס נקודתי על כל רגל או גלגל של הארון.
• עומס למ"ר על הרצפה ועל התקרה שמתחתיה.
• כושר הנשיאה בזמן גלגול והצבת הארון.
• מעבר מעל תפרים, רמפות ופתחי רצפה.
• יכולת הנשיאה של מעליות משא.
• רוחב הדלתות והמסדרונות.
• רדיוס הפנייה במסלול שבין אזור הפריקה למיקום הסופי.
• יכולת עיגון הארון והתמודדות עם כוחות סייסמיים.

ארון עשוי לעמוד בבטחה במקום הקבוע, אך לגרום נזק לרצפה בזמן ההובלה, כאשר משקלו מרוכז על מספר גלגלים קטנים.

לכן בחוות שרתים חדשות רבות נשקלת התקנה ישירות על רצפת בטון, לצד מערכות חלוקה עיליות לחשמל, לתקשורת ולעיתים גם לקירור. רצפה צפה אינה נעלמת לחלוטין, אך היא כבר אינה ברירת מחדל אוטומטית. יש להוכיח את התאמתה לעומסים החדשים.

גם תפקידה של הרצפה הצפה משתנה

במתקנים מסורתיים שימש החלל שמתחת לרצפה גם כמליאת אוויר. אוויר קר הוזרם מתחת לרצפה ועלה דרך אריחים מחוררים בחזית הארונות.

בארון של 100 קילוואט, כמות האוויר הנדרשת לפינוי החום גדולה מאוד. הזרמתה דרך מספר מצומצם של אריחים יוצרת מהירויות גבוהות, הפרשי לחץ, רעש ואי־אחידות בחלוקת האוויר. גם אם ניתן להכניס כמות מספקת של אוויר לאולם, קשה להבטיח שהוא יגיע באופן אחיד לכל הרכיבים החמים.

קירור נוזלי ישיר לשבב מפחית את העומס המוטל על האוויר, אך אינו מבטל אותו לחלוטין. ספקי כוח, רכיבי זיכרון, מערכות אחסון, ציוד תקשורת ורכיבים נוספים עדיין עשויים לפלוט חלק מהחום אל חלל החדר. ASHRAE מעריכה שבפתרונות היברידיים מערכות האוויר עשויות להידרש לפנות כ־10% עד 30% מהחום הנותר. (ashrae.org)

מכאן שהרצפה הצפה עשויה להמשיך לשמש להפצת אוויר עבור העומס השיורי, אך כבר לא בהכרח כמערכת הקירור המרכזית.

כבלים: כאשר אחורי הארון הופך למערכת הנדסית

אחד האתגרים הפחות בולטים לעין הוא מספר הכבלים והמחברים.

בארון רגיל מותקנים כבלי חשמל, מספר חיבורי Ethernet או Fibre Channel וכבלי ניהול. בארון AI בקנה מידה של NVL72 נדרשת תקשורת מהירה מאוד בין עשרות מעבדים גרפיים, משום שביצועי המערכת תלויים לא רק במהירות כל GPU, אלא גם ביכולת להעביר נתונים בין המעבדים ללא צווארי בקבוק.

NVIDIA פיתחה עבור GB200 NVL72 ארבע מחסניות NVLink אנכיות המותקנות בחלקו האחורי של הארון. המחסניות כוללות יותר מ־5,000 כבלי נחושת פעילים, המחברים את 72 המעבדים הגרפיים למערך המתגים ומאפשרים תקשורת רחבת פס ביניהם. (NVIDIA Developer)

המספר הזה ממחיש מדוע אי אפשר להתייחס לכבילה כאל שלב שמבוצע לאחר הצבת השרתים.

יש לתכנן מראש:

• שטחים ייעודיים לכבלי תקשורת בחזית ובחלק האחורי.
• רדיוסי כיפוף מותרים.
• תמיכה מכנית במשקל הכבלים.
• הפרדה בין חשמל, תקשורת וצנרת.
• גישה להחלפת מגש מבלי לפרק חיבורים סמוכים.
• סימון ותיעוד של אלפי נקודות חיבור.
• הגנה על הכבלים מפני לחץ, רעידות ופגיעה בזמן תחזוקה.
• נתיבים נפרדים עבור רשת החישוב, האחסון והניהול.
• יכולת בדיקה וניטור של איכות הקישור.

NVIDIA אף הרחיבה את עומק החלק האחורי של הארון והוסיפה חיזוקי פלדה והגנות למכלולי הכבלים ולמחברי צנרת הקירור. יותר מ־100 פאונד של חיזוקי פלדה נוספו לתכנון כדי להתמודד עם הכוחות המכניים הנוצרים בין הרכיבים למסגרת. (NVIDIA Developer)

כלומר, הצורך בתקשורת מהירה משפיע ישירות על עומק הארון, על משקלו, על נתיבי השירות ועל המרווח הנדרש בינו לבין הקיר או השורה הסמוכה.

מדוע Busway הופך לרכיב מרכזי?

במרכזי נתונים מסורתיים מקובל להעביר כבלי הזנה מלוחות חלוקה או מ־Remote Power Panels אל כל ארון. הכבלים, המכונים לעיתים Whips, עוברים מתחת לרצפה או בסולמות כבלים עיליים ומסתיימים ב־PDU של הארון.

כאשר כל ארון צורך 5–10 קילוואט, השיטה נוחה יחסית. כאשר מספר ארונות צורכים 100 קילוואט ומעלה, נפח הכבלים, משקלם והזרמים העוברים בהם גדלים באופן משמעותי.

Busway הוא מסלול חלוקת חשמל קשיח או מודולרי הכולל פסי מוליכים בתוך מעטפת מוגנת. לאורך המסלול ניתן להתקין יחידות הסתעפות, Tap-Off Boxes, שמזינות את הארונות השונים.

ל־Busway עילי מספר יתרונות בסביבת High Density:

גמישות: ניתן להוסיף או להזיז נקודות הזנה מבלי לפרוס מחדש כבל ארוך מהלוח הראשי.

חיסכון במקום: במקום מספר רב של כבלים מקבילים, נעשה שימוש במסלול חלוקה מרכזי.

ניטור: ניתן למדוד את העומס במסלול, ביחידת ההסתעפות וברמת הארון.

הפחתת עומס מתחת לרצפה: החשמל אינו תופס את החלל המיועד לזרימת אוויר או לצנרת.

מודולריות: אפשר להתאים את מספר ההזנות ואת מיקומן לשינויים בצפיפות הארונות.

מערכות Busway מודרניות למרכזי נתונים מוצעות בזרמים של מאות אמפר ועד 1,000 אמפר, עם יחידות הסתעפות הניתנות להתקנה במיקומים שונים לאורך המסילה ומערכות ניטור המתקשרות עם BMS או DCIM. (Eaton)

עם זאת, Busway אינו פותר את כל הבעיות. ככל שההספק והזרם גדלים, גדלים גם זרמי הקצר האפשריים. יש לבצע חישובי קצר, סלקטיביות והגנה מפני קשת חשמלית, ולהבטיח שכושר הניתוק של כל מפסק מתאים לנקודה שבה הוא מותקן.

מדוע עוברים למתח גבוה יותר?

עבור הספק נתון, הגדלת המתח מפחיתה את הזרם. הפחתת הזרם מאפשרת להשתמש במספר קטן יותר של מוליכים או במוליכים בעלי שטח חתך נמוך יותר, מפחיתה הפסדים ומקלה על חלוקת הספק גבוה לארון.

זו אחת הסיבות למעבר ממערכות 120/208 וולט למערכות של 230/400 או 240/415 וולט במרכזי נתונים בצפיפות גבוהה. ASHRAE ממליצה לבחון מעבר לחלוקה ברמות מתח אלה במסגרת הסבת מתקנים קיימים ל־AI, בין היתר כדי להפחית את נפח הכבילה ולשפר את היעילות. (ashrae.org)

כאשר נדרש להזין ארון בהספק של 100–130 קילוואט, כל שלב מיותר של המרת מתח גורם להפסדים, מייצר חום ותופס שטח. לכן יצרני התשתיות מפתחים ארכיטקטורות שבהן המתח נשאר גבוה יותר לאורך שרשרת החלוקה ומומר סמוך ככל האפשר לציוד החישוב.

בתכנונים עתידיים כבר נבחנות גם ארכיטקטורות של מאות וולט בזרם ישר, לרבות 800VDC, עבור ארונות בעלי צפיפות גבוהה בהרבה. פתרונות כאלה עדיין אינם ברירת המחדל בכל מרכז נתונים, אך הם מצביעים על כך שתכנון המסתפק ב־100 קילוואט כגבול עליון עלול להתיישן בתוך מחזור החיים של הבניין.

צפיפות גבוהה אינה מבטלת את מגבלת ההספק הכוללת

קל להתרשם שארון של 100 קילוואט מאפשר להכניס פי עשרה יותר חישוב לאותו אולם לעומת ארון של 10 קילוואט. מבחינת שטח הארונות בלבד, הדבר עשוי להיות נכון. מבחינת מרכז הנתונים כולו, התמונה מורכבת יותר.

נניח שאולם יכול לקבל 2 מגה־ואט של הספק IT:

• בצפיפות של 10 קילוואט ניתן תיאורטית להזין 200 ארונות.
• בצפיפות של 100 קילוואט ניתן להזין רק 20 ארונות.

הארונות תופסים פחות שטח, אך עדיין נדרשים אותם שני מגה־ואט של חשמל, מערכת UPS מתאימה, גנרטורים, שנאים, לוחות חלוקה ומערכות לפינוי החום.

יתרה מכך, ארונות AI עשויים לדרוש מרווחי שירות גדולים יותר, צנרת, CDU, מסלולי Busway, אזורי תחזוקה ומערכות רשת נוספות. לכן אין למדוד את היעילות רק במספר יחידות החישוב למ"ר של White Space.

צפיפות גבוהה מצמצמת את השטח הישיר שתופס ציוד ה־IT, אך מעבירה חלק מהשטח ומהמורכבות למערכות התמיכה.

ההשפעה על תכנון אולם השרתים

בעידן ה־AI, תכנון אולם לפי מספר ארונות בלבד הופך ללא מספק. שני אולמות שבהם 50 ארונות כל אחד עשויים להיות שונים לחלוטין אם באחד מותקנים ארונות של 10 קילוואט ובשני ארונות של 100 קילוואט.

התכנון צריך להתבסס על מספר שכבות:

הספק לארון

מהי צפיפות התכנון המרבית בכל אזור? לא כל ארון חייב לקבל אותה קיבולת, אך יש להגדיר מראש אזורים לצפיפות רגילה, גבוהה ואולטרה־גבוהה.

הספק לשורה

יש לבדוק האם Busway, לוחות ההזנה ומערכות הקירור יכולים לתמוך בצירוף המרבי של הארונות באותה שורה. ארבעה ארונות של 120 קילוואט יוצרים כבר עומס של כמעט חצי מגה־ואט במקטע קצר של האולם.

הספק לאולם

יש לחשב את קיבולת החשמל והקירור של האולם כולו, לרבות תרחישי תקלה ותחזוקה שבהם חלק מהמערכות אינו זמין.

פרסום

הספק למבנה ולאתר

אשכולות AI בקנה מידה גדול מתוכננים ביחידות של מגה־ואטים. מגבלות חיבור לרשת החשמל, לוחות הזמנים של חברת החשמל וזמינות מקורות גיבוי עשויות לקבוע את היקף הפרויקט עוד לפני בחירת השרתים. ASHRAE מדגישה כי זמינות החשמל וקיבולת הרשת הפכו לשיקולים מרכזיים כבר בשלב בחירת האתר. (ashrae.org)

מרחקים בין המערכות

ככל שהזרם והספק הקירור גדולים יותר, למרחק בין הארון לבין לוחות החשמל, ה־CDU ומחליפי החום יש משמעות רבה יותר. מרחקים גדולים מגדילים את כמות הנחושת, את אורך הצנרת, את נפילת הלחץ ואת עלויות ההתקנה.

תכנון עתידי: לא לבנות את מרכז הנתונים לפי השרת של היום

אורך החיים של שרת AI עשוי להיות שנים אחדות, בעוד שמבנה, שנאי, לוחות חשמל וצנרת ראשית אמורים לשרת את האתר במשך 15–25 שנה ואף יותר.

זהו פער מהותי.

מרכז נתונים המתוכנן במדויק לפי דרישות GB200 עלול להתקשות לקלוט את הדור הבא, כפי שמרכזים שתוכננו לפני עשור לצפיפות של 5–10 קילוואט מתקשים כיום לקלוט ארונות של 100 קילוואט.

לכן תכנון עתידי צריך להתמקד לא רק בקיבולת הנוכחית, אלא ביכולת להשתנות.

תכנון במקטעי קיבולת

במקום לבנות את כל האתר בבת אחת לצפיפות המרבית, ניתן לתכנן בלוקים מודולריים של חשמל וקירור. כל בלוק מספק מספר מוגדר של מגה־ואטים ויכול להתווסף בהתאם לקצב התקנת ציוד ה־IT.

הכנה לקירור נוזלי

גם אם בשלב הראשון מותקנים שרתים בקירור אוויר, ניתן להכין מקום לצנרת ראשית, ל־CDU, למחליפי חום ולמסלולי ניקוז. הכנה כזאת זולה ופשוטה יותר במהלך הבנייה מאשר לאחר שהאולם כבר פעיל.

Busway בעל מרווח התרחבות

יש לבחור מערכת חלוקה המסוגלת לקבל נקודות הסתעפות נוספות ולהתאים למעבר לצפיפות גבוהה יותר. עם זאת, מרווח תכנון אינו מצדיק התקנת ציוד מופרז שאינו צפוי להיות מנוצל.

אזורי צפיפות שונים

לא כל יישום זקוק לארון של 100 קילוואט. שרתי אחסון, ניהול, תקשורת ויישומים עסקיים עשויים להישאר בצפיפות נמוכה בהרבה. חלוקה לאזורים מונעת בזבוז של תשתית יקרה על עומסים שאינם זקוקים לה.

תכנון מסלול ההובלה

גובה הארון, עומקו ומשקלו חייבים להיבדק כבר בתכנון הבניין. יש לכלול את רציף הפריקה, המעלית, המסדרונות, הדלתות, הרמפות ורדיוסי הפנייה כחלק ממודל התשתית – ולא כבדיקה המתבצעת ביום שבו הציוד מגיע.

ניטור ודגם דיגיטלי

ככל שצפיפות ההספק עולה, מרווח הטעות מצטמצם. ניטור ברמת פס הצבירה, יחידת ההסתעפות, הארון והמגש מאפשר לזהות חוסר איזון, שיאים ושינויים חריגים.

ASHRAE ממליצה לשלב מודלים דיגיטליים המדמים תרחישי עומס, תקלות חשמל, שינויי זרימה ותפקוד מערכות הקירור עוד לפני ההתקנה הפיזית. (ashrae.org)

האם צריך לתכנן מעתה כל ארון ל־100 קילוואט?

לא בהכרח.

תכנון כל אולם וכל ארון לצפיפות המרבית עלול ליצור השקעה גבוהה, שטחים לא מנוצלים וציוד חשמל וקירור שיפעל במשך שנים בעומס חלקי.

הגישה הנכונה היא להבחין בין שלוש רמות:

קיבולת מותקנת: ההספק שניתן לספק כיום באמצעות הציוד המותקן.

קיבולת מוכנה: ההספק שניתן להוסיף באמצעות התקנת מודולים, יחידות הסתעפות או CDU נוספים, ללא שינוי מהותי בבניין.

קיבולת עתידית: ההספק שהמבנה, המסלולים, הרצפה והצנרת הראשית מסוגלים לתמוך בו לאחר הרחבה.

כך ניתן להימנע הן מתכנון חסר, שיחסום את קליטת שרתי ה־AI, והן מתכנון יתר, שיקצה הון רב לתשתיות שלא יהיה בהן שימוש.

Blackwell הוא נקודת מפנה – לא נקודת הסיום

ה־GB200 NVL72 הפך את הארון ליחידת חישוב מרכזית והביא צפיפות של יותר מ־100 קילוואט אל מרכז הדיון ההנדסי. אולם הוא אינו הגבול הסופי.

תכנוני ייחוס ל־GB300 NVL72 כבר מדברים על כ־142 קילוואט לארון, ובתעשייה נבחנות ארכיטקטורות חשמל המיועדות בעתיד לארונות בהספקים של מאות קילוואטים ואף לסדר גודל של מגה־ואט. (vertiv.com)

אין פירוש הדבר שכל מרכז נתונים יפעיל בקרוב ארונות של מגה־ואט. מדובר עדיין ביעד מתפתח עבור מערכות ייעודיות וקנה מידה גדול. אולם הכיוון ברור: קצב העלייה בצפיפות מהיר יותר ממחזורי התכנון והבנייה של תשתיות פיזיות.

מרכז נתונים חדש אינו חייב להתקין היום תשתית מלאה למגה־ואט לארון, אך עליו להימנע מהחלטות שימנעו ממנו להגיע בעתיד לצפיפות גבוהה יותר: תקרות נמוכות, מסלולים צרים, רצפה חלשה, Busway שאינו ניתן להרחבה, חוסר מקום לצנרת או מערכות חשמל שלא ניתן להמיר למתחי חלוקה גבוהים יותר.

סיכום: הארון כבר אינו רהיט – הוא מערכת תשתית

צפיפות ההספק היא אחד השינויים המשמעותיים ביותר שמביאה הבינה המלאכותית לעולם מרכזי הנתונים.

המעבר מ־10 קילוואט ל־100 קילוואט ויותר לארון משנה את כל שרשרת התכנון:

• אספקת החשמל נדרשת להתמודד עם הספק גבוה ועם עומסים מסונכרנים.
• קירור אוויר לבדו אינו מספיק עבור הארונות הצפופים ביותר.
• הרצפה נדרשת לשאת משקל של יותר מטונה וחצי בנקודה מצומצמת.
• רצפה צפה מסורתית עלולה להגביל את פיזור האוויר ואת כושר הנשיאה.
• הכבילה הופכת למערכת צפופה ומורכבת שיש לתכנן כחלק מהארון.
• Busway ופסי צבירה מחליפים בהדרגה מערכי כבלים מסורתיים.
• מתחי חלוקה גבוהים יותר נדרשים כדי להגביל את הזרם ואת נפח הנחושת.
• תכנון האתר חייב להתבצע לפי מגה־ואטים, עומסים תרמיים ומקטעי קיבולת – ולא רק לפי מספר הארונות.

פלטפורמות כמו NVIDIA Blackwell ו־GB200 NVL72 אינן רק דור חדש של חומרה. הן מייצגות מעבר מארכיטקטורה שבה הבניין מארח אוסף של שרתים, לארכיטקטורה שבה הבניין עצמו הופך לחלק ממחשב־על רחב היקף.

בעידן הזה, לא ניתן עוד לבחור את השרתים לאחר השלמת התכנון ולצפות שהתשתיות יתאימו את עצמן. מערכות החישוב, החשמל, הקירור, המבנה והתקשורת חייבות להיות מתוכננות יחד – כמערכת אחת.

טעויות שעולות מיליוני שקלים

תכנון לפי ממוצע האולם

מספר קטן של ארונות AI עשוי ליצור עומס חשמלי ותרמי חריג בנקודה אחת, גם כאשר הצריכה הממוצעת של האולם נראית תקינה.

התעלמות מצפיפות ההספק המקומית

קיבולת מספקת ברמת המבנה אינה מבטיחה שה־Busway, ה־PDU, הצנרת או מערכת הקירור בשורה מסוימת מסוגלים לתמוך בארון של 100 קילוואט ומעלה.

תכנון לפי דור החומרה הנוכחי

שרתים מוחלפים בתוך שנים ספורות, בעוד תשתיות החשמל, הקירור והמבנה נשארות לעשרות שנים. מרכז נתונים עלול להפוך למיושן עוד לפני השלמת החזר ההשקעה.

הכנת מקום לארון בלי בדיקת משקל

ארון AI מלא עשוי לשקול יותר מטונה וחצי. רצפה צפה, מעלית משא או נתיב הובלה שאינם מתאימים עלולים למנוע את הכנסת הציוד לאולם.

בדיקת העומס למ"ר בלבד

גם כאשר הרצפה עומדת בעומס הכולל, עומס נקודתי על רגלי הארון או על גלגלי ההובלה עלול לחרוג מכושר הנשיאה של האריחים והתשתית התומכת.

הגדלת החשמל בלי התאמת הקירור

הזנת ארון ב־100 קילוואט אינה מועילה אם אין יכולת לפנות עומס תרמי דומה. קיבולת חשמל שאינה מגובה בקירור נשארת קיבולת שאי אפשר לנצל.

הסבת קירור בלי התאמת החשמל

קירור נוזלי לבדו אינו הופך אולם רגיל לאולם AI. הארון דורש גם הזנה, מפסקים, PDU, ‏Busway ו־UPS המתאימים לצפיפות ההספק החדשה.

CDU או משאבה ללא יתירות

יחידת CDU אחת עשויה לשרת מספר ארונות צפופים. תקלה במשאבה, בבקר או במחליף החום עלולה להפוך רכיב יחיד לנקודת כשל המשביתה אשכול AI שלם.

התעלמות מהחום השיורי

קירור Direct-to-Chip אינו מפנה בהכרח את כל החום. ספקי כוח, זיכרונות, ציוד תקשורת וכבלים אקטיביים ממשיכים לפלוט חום אל האולם ודורשים קירור אוויר משלים או RDHx.

שימוש במים קרים מדי

טמפרטורת מים נמוכה מן הנדרש מגדילה את צריכת האנרגיה של מערכת הקירור ועלולה ליצור סיכון לעיבוי על צנרת, מחברים ורכיבים סמוכים.

התעלמות מאיכות נוזל הקירור

קורוזיה, חלקיקים, משקעים או צמיחה ביולוגית עלולים לפגוע במחליפי החום, להקטין את הספיקה וליצור ירידה הדרגתית בביצועי הקירור.

ערבוב בין Busway ל־Busbar

ה־Busway מזין את הארון ברמת האולם, ואילו ה־Busbar הפנימי מחלק את מתח ה־DC בתוך הארון. תכנון אחד מהם אינו מחליף תכנון מלא של שרשרת ההזנה.

Busway ללא עתודת הספק

מסלול חלוקה שמתאים לארונות הקיימים עלול להפוך לצוואר בקבוק כאשר מתווספים ארונות AI. החלפת Busway באולם פעיל היא עבודה יקרה, מורכבת ובעלת סיכון תפעולי גבוה.

התעלמות מזרמי שיא מסונכרנים

אשכולות AI עשויים להעלות ולהוריד עומס במהירות ובו־זמנית. תכנון לפי צריכה ממוצעת בלבד עלול לגרום להפעלת הגנות, לירידות מתח ולחוסר יציבות במערכת החשמל.

צפיפות יתר של כבלים בחלק האחורי

כבלים, מחברי קירור ופסי צבירה מתחרים על אותו מרחב. תכנון לא נכון עלול לחסום זרימת אוויר, להקשות על תחזוקה ולהגדיל את הסיכון לפגיעה בחיבור סמוך.

חוסר גישה לתחזוקה

מסנן, שסתום, מחבר או מגש שאינם נגישים עלולים להפוך תקלה קטנה להשבתה ממושכת ולחייב פירוק של מערכות פעילות.

התעלמות מנתיב ההובלה

ארון שעומד בדרישות האולם עדיין צריך לעבור דרך רציף הפריקה, המסדרונות, הדלתות והמעליות. מגבלה אחת בדרך עלולה לחייב פירוק ציוד או שינוי מבני יקר.

בניית כל האולם לצפיפות המרבית

גם תכנון יתר עולה כסף. התקנת תשתיות של 100–150 קילוואט בכל נקודה, כאשר רק חלק קטן מהאולם ישמש ל־AI, יוצרת הון לא מנוצל ומערכות הפועלות בנצילות נמוכה.

מדידת PUE בלבד

שיפור ביעילות החשמל אינו מבטיח שיפור כולל אם צריכת המים, אנרגיית השאיבה או הצורך בקירור משלים גדלים. יש לבחון את המערכת כמכלול.

אי־ביצוע Commissioning משולב

לא מספיק לבדוק כל מערכת בנפרד. יש לבחון כיצד החשמל, ה־UPS, ה־CDU, המשאבות והקירור מגיבים יחד לכשל חשמל, עצירת משאבה ושינוי פתאומי בעומס.

העתקת פתרון ממתקן אחר

תשתית שמתאימה לאקלים קר ולזמינות מים גבוהה אינה בהכרח מתאימה לישראל. תנאי האקלים, איכות המים, מגבלות החשמל ואופי הפעילות מחייבים תכנון מקומי.

תכנון ללא אפשרות הרחבה

חוסר מקום ל־CDU נוסף, לצנרת, ל־Busway או ללוחות עתידיים עלול לחייב פירוק ובנייה מחדש. ההכנה הזולה ביותר להרחבה נעשית תמיד בשלב התכנון.

מאמר זה הוא חלק מהמדריך המקצועי להקמת מרכזי נתונים וחוות שרתים.

הבהרה משפטית: המידע במדריך נועד למידע מקצועי וכללי בלבד ואינו מהווה ייעוץ הנדסי, תכנוני, בטיחותי, משפטי או רגולטורי. האחריות לתכנון ולביצוע חלה על הגורמים המקצועיים ובהתאם לדין ולתקנים המחייבים. קבוצת פורטל נט אינה אחראית לנזק שייגרם מהסתמכות על התוכן.

© כל הזכויות שמורות לקבוצת פורטל נט.