איך מקררים חוות שרתים בעידן ה־AI?

חוות שרתים בעידן ה־AI נדרשות להתמודד עם עומסי חום גבוהים בהרבה ממרכזי נתונים מסורתיים. בעומסים מתונים עדיין ניתן להשתמש במערכות קירור אוויר וקירור מדויק, אך ככל שצפיפות ההספק בארונות עולה גובר הצורך בפתרונות כמו In-Row, Rear Door Heat Exchangers וקירור נוזלי. מערכות Direct-to-Chip מעבירות נוזל קירור ישירות לרכיבים עתירי החום, וביישומים מסוימים נעשה שימוש גם ב־Immersion Cooling. הבחירה תלויה בצפיפות, בציוד ובתכנון הכולל של המתקן.

העלייה החדה בצפיפות ההספק של שרתי בינה מלאכותית משנה מן היסוד את תכנון מרכזי הנתונים. לצד מערכות מיזוג האוויר המסורתיות נכנסות כיום מערכות קירור ישיר לשבב, יחידות CDU, מחליפי חום בדלת האחורית וקירור בטבילה. האתגר הגדול אינו רק בניית חוות שרתים חדשות, אלא גם הסבת אלפי מתקנים קיימים לעומסי המחשוב של הדור הבא.

כל ואט חשמל המגיע אל ציוד המחשוב הופך בסופו של דבר כמעט כולו לחום. לכן, ככל שכוח העיבוד גדל וככל שיותר מעבדים ומאיצים מותקנים בתוך אותו ארון שרתים, כך גדלה במקביל כמות החום שיש לפנות ממנו.

במשך שנים תוכננו מרכזי נתונים סביב ארונות שצרכו קילוואטים בודדים. כיום אשכולות בינה מלאכותית המבוססים על מעבדים גרפיים מציבים דרישות אחרות לחלוטין. מערכת NVIDIA GB200 NVL72, לדוגמה, מחברת 72 מעבדי Blackwell ו־36 מעבדי Grace בתוך מערכת מקוררת נוזל ברמת הארון. NVIDIA מציינת צורך ביכולת קירור של כ־120 קילוואט עבור תכנון הארון הזה — סדר גודל שממחיש את השינוי שעובר הענף.

המשמעות אינה שאפשר להסתפק ב"מזגן חזק יותר". מדובר בשינוי ארכיטקטוני שמשפיע על המבנה, החשמל, הצנרת, חלוקת האולמות, מערכות הבקרה, איכות המים, ניטור הדליפות, רציפות הקירור ושיטות התחזוקה.

מערכת הקירור אינה עוד תשתית עזר המותקנת לאחר בחירת השרתים. בעידן ה־AI היא הופכת לחלק בלתי נפרד מארכיטקטורת המחשוב עצמה.

כשהחום מגביל את כוח המחשוב

ציוד מחשוב מודרני מתוכנן להגן על עצמו כאשר הטמפרטורה עולה. אם המעבד או המאיץ אינם מקבלים קירור מספיק, המערכת עשויה להפחית את תדר העבודה ואת צריכת ההספק כדי להימנע מנזק. תהליך זה מוכר בשם Thermal Throttling.

מבחינת מפעיל מרכז הנתונים, המשמעות ברורה: מתקן שאינו מצליח לפנות את החום אינו מסוגל לנצל במלואה את ההשקעה שבוצעה בחומרה.

קירור לקוי עלול לגרום ליותר מירידה זמנית בביצועים. נקודות חמות, שינויים חדים בטמפרטורה, לחות בלתי מבוקרת וזרימת אוויר לא מאוזנת עלולים לקצר את חיי הרכיבים, להגביר את קצב התקלות ולהעמיס עוד יותר על מערכות הקירור.

לכן תכנון תרמי מקצועי אינו מסתפק במדידת הטמפרטורה הממוצעת באולם. הוא בוחן:

• את טמפרטורת האוויר או הנוזל בכניסה לציוד;
• את צפיפות ההספק בכל ארון;
• את פריסת העומסים בתוך האולם;
• את כיוון זרימת האוויר;
• את קצב הזרימה במעגלי הנוזל;
• את נקודת הטל והסיכון לעיבוי;
• ואת יכולת המערכת להמשיך לפעול כאשר יחידת קירור, משאבה או CDU מושבתים.

קירור אוויר: עדיין הבסיס ברוב מרכזי הנתונים

רוב מרכזי הנתונים הקיימים עדיין נשענים על קירור אוויר. העיקרון פשוט: אוויר קר מוזרם אל חזית השרתים, עובר דרך הרכיבים, קולט את החום ונפלט מאחור כאוויר חם.

האוויר החם חוזר אל יחידות הקירור, מתקרר ומוזרם שוב אל האולם. ההפצה יכולה להתבצע דרך רצפה צפה, תעלות עיליות או מערכות המספקות אוויר ישירות למסדרון הקר.

השיטה מוכרת, גמישה ומתאימה למגוון גדול של ציוד. אולם ככל שעולה צפיפות ההספק, נדרש נפח אוויר גדול יותר, לחץ גבוה יותר ועבודה מאומצת יותר של מאווררי השרתים ושל יחידות הקירור.

כאן מתחילה המגבלה הפיזיקלית של האוויר: הוא מסוגל לשאת כמות חום קטנה יחסית בכל יחידת נפח.

CRAC לעומת CRAH: שמות דומים, עקרונות שונים

שני מונחים נפוצים בתחום הם CRAC ו־CRAH. שתי המערכות מקררות את האוויר באולם, אך מקור הקור שלהן שונה.

CRAC – Computer Room Air Conditioner

יחידת CRAC כוללת בדרך כלל מעגל קירור ישיר עם מדחס וגז קירור. היא פועלת בדומה למערכת מיזוג עצמאית: האוויר החם עובר דרך סוללת אידוי, מתקרר וחוזר לחלל.

היתרונות:

• יחידה עצמאית יחסית;
• התקנה נוחה במתקנים קטנים ובינוניים;
• שליטה מקומית בטמפרטורה;
• אין חובה במפעל מים קרים מרכזי.

המגבלות:

• יעילות נמוכה יחסית בפרויקטים גדולים מאוד;
• מספר רב של מדחסים ורכיבים לתחזוקה;
• יכולת מוגבלת להתמודד עם צפיפויות חריגות;
• תלות בגזי קירור ובציוד מכני מקומי.

CRAH – Computer Room Air Handler

יחידת CRAH אינה מייצרת בעצמה את הקור. האוויר עובר דרך סוללת מים קרים, כאשר המים מגיעים ממפעל קירור מרכזי הכולל צ'ילרים, משאבות, שסתומים ומחליפי חום.

היתרונות:

• התאמה לקמפוסים ולמרכזי נתונים גדולים;
• ריכוז ייצור הקור במערכת מרכזית;
• שילוב נוח יותר עם Free Cooling;
• יכולת ניהול והרחבה מערכתית;
• אפשרות ליתירות ברמת מפעל הקירור.

המגבלות:

• תלות בצ'ילרים ובמערכת הצנרת;
• מורכבות גבוהה יותר בתכנון ובתפעול;
• צורך ביתירות גם במשאבות, בשסתומים ובמסלולי המים.

אין פתרון אחד המתאים לכל פרויקט. הבחירה תלויה בגודל המתקן, באקלים, בצפיפות ההספק, ברמת השרידות ובמודל התפעול.

מסדרונות חמים וקרים: למנוע ערבוב אוויר

אחד העקרונות החשובים בקירור אוויר הוא הפרדה בין האוויר הקר המגיע לשרתים לבין האוויר החם היוצא מהם.

במערך Hot Aisle/Cold Aisle הארונות מסודרים כך שחזיתותיהם פונות זו אל זו ויוצרות מסדרון קר. גב הארונות פונה אל המסדרון החם.

כאשר מוסיפים דלתות, מחיצות וגג, מתקבלת מערכת Containment המונעת מהאוויר החם והקר להתערבב.

קיימות שתי תצורות מרכזיות:

Cold Aisle Containment

המסדרון הקר נאטם. האוויר החם נפלט אל יתר חלל האולם וחוזר משם ליחידות הקירור.

Hot Aisle Containment

המסדרון החם נאטם, והאוויר החם מנותב ישירות אל מערכת החזרה.

הפרדה נכונה מאפשרת לשמור על תנאי כניסה אחידים יותר לשרתים, להפחית נקודות חמות ולשפר את יעילות המאווררים ומערכות הקירור.

המונח המקצועי: Containment

הפרדה פיזית בין זרם האוויר הקר לזרם האוויר החם, שנועדה למנוע ערבוב ולהבטיח שכל יחידת אוויר מקורר תעבור דרך ציוד המחשוב ולא תחזור למערכת הקירור מבלי שביצעה עבודה.

מפעל הקירור: כיצד פועלים הצ'ילרים?

Chiller הוא מתקן שמקרר מים או תערובת מים וגליקול ומזרים אותם במעגל סגור אל יחידות CRAH, מחליפי חום או מערכות קירור נוזלי.

הצ'ילר משתמש במחזור קירור הכולל מדחס, מעבה, שסתום התפשטות ומאייד. החום שנאסף ממי המתקן מועבר לסביבה באחת משתי שיטות עיקריות.

צ'ילר מקורר אוויר

המעבה פולט את החום לאוויר החיצוני באמצעות מאווררים.

יתרונות:

• מערכת פשוטה יחסית;
• צריכת מים נמוכה;
• אין צורך במגדלי קירור;
• תחזוקה הידראולית מצומצמת יותר.

חסרונות:

• ירידה ביעילות כאשר הטמפרטורה החיצונית גבוהה;
• דרישת שטח חיצוני;
• רעש;
• עומס תרמי בסביבת הציוד.

צ'ילר מקורר מים

החום מועבר למעגל מים נוסף ומשם למגדלי קירור.

יתרונות:

• יעילות גבוהה במתקנים גדולים;
• התאמה לעומסים רציפים;
• יתרון אפשרי באקלים ובתנאים מסוימים.

חסרונות:

• צריכת מים;
• טיפול כימי וסינון;
• סיכוני אבנית וקורוזיה;
• תחזוקה מורכבת יותר;
• צורך בניהול סיכונים ביולוגיים.

מפעל קירור מקצועי אינו כולל רק צ'ילר אחד. הוא עשוי לכלול מספר צ'ילרים, משאבות ראשיות ומשניות, שסתומים, מכלי איזון, מערכות טיפול במים, מחליפי חום ומערכת בקרה מרכזית. כמו בתשתיות החשמל, נדרשת יתירות המאפשרת להוציא יחידה לתחזוקה מבלי לאבד את יכולת הקירור.

מגדלי קירור: הוצאת החום אל הסביבה

Cooling Tower אינו מקרר ישירות את השרתים. הוא דוחה לסביבה את החום שהצטבר במים.

מים חמים מוזרמים במגדל מול זרם אוויר. חלק קטן מהמים מתאדה, ותהליך האידוי מקרר את יתר המים. לאחר מכן הם חוזרים אל מעבה הצ'ילר.

השיטה יכולה להיות יעילה מבחינה אנרגטית, אך היא כרוכה בצריכת מים. נוסף על המים המתאדים, יש לפנות חלק מהמים כדי למנוע הצטברות מלחים — תהליך המכונה Blowdown.

לכן אין לבחון יעילות קירור לפי חשמל בלבד. מתקן יכול להציג PUE נמוך בזכות קירור אידויי, אך לצרוך יותר מים ולהציג WUE גבוה. ASHRAE מציינת כי חלופות למגדלי קירור עשויות להפחית צריכת מים, רעש וסיכונים ביולוגיים, אך בחירת המערכת דורשת שקלול של האקלים, האנרגיה, הקרקע והמים.

Free Cooling: להשתמש בתנאי החוץ במקום במדחס

Free Cooling, או Economizer Cooling, מנצל את תנאי הסביבה כדי לצמצם את עבודת המדחסים.

הקירור אינו באמת "חינם": עדיין נדרשת אנרגיה למאווררים, למשאבות ולבקרה. החיסכון נובע מהפחתת העבודה של המדחסים, שהם מהצרכנים הגדולים במערכת.

Air-Side Economizer

אוויר חיצוני מסונן מוכנס ישירות אל מרכז הנתונים כאשר הטמפרטורה והלחות מתאימות. האוויר החם נפלט החוצה.

הפתרון דורש התייחסות ל:

• אבק וחלקיקים;
• עשן וזיהום אוויר;
• לחות;
• מליחות;
• חרקים;
• איכות הסינון;
• תנאי חירום חיצוניים.

Water-Side Economizer

האוויר החיצוני אינו נכנס לאולם. במקום זאת הוא מקרר את מעגל המים באמצעות מחליף חום, Dry Cooler או מגדל קירור. כך ניתן לעקוף את הצ'ילר באופן חלקי או מלא.

בקירור אוויר מסורתי, הפוטנציאל ל־Free Cooling מלא בישראל מוגבל יחסית בגלל הקיץ החם. אולם קירור נוזלי משנה את המשוואה, משום שציוד המתאים למחלקות מים חמות מסוגל לפעול עם טמפרטורת אספקה גבוהה יותר.

ASHRAE עדכנה את מחלקות המים שלה ל־W17, ‏W27, ‏W32, ‏W40, ‏W45 ו־W+, כאשר המספר מציין את הגבול העליון של טמפרטורת המים הנכנסים לציוד. עבודה בטמפרטורות גבוהות יותר יכולה לצמצם את הצורך בצ'ילרים ולהגדיל את מספר השעות שבהן ניתן להשתמש בדחיית חום ישירה לסביבה.

האקלים הישראלי: קירור נוזלי משנה את המשוואה

מערכות קירור אוויר נדרשות בדרך כלל למים קרים יחסית כדי לייצר אוויר המסוגל לקרר את האולם. בימי הקיץ בישראל קשה להגיע לטמפרטורות כאלה ללא מדחסי צ'ילר.

במערכות Direct-to-Chip הנוזל מגיע ישירות אל המעבד. אין צורך לקרר את כל נפח האוויר באולם לאותה רמה, ולכן ניתן במערכות מתאימות להזרים מים בטמפרטורה של 30–40 מעלות ואף יותר.

המשמעות היא שגם כאשר טמפרטורת החוץ גבוהה, עדיין עשוי להתקיים הפרש טמפרטורות המאפשר שימוש ב־Dry Coolers או ב־Free Cooling חלקי. הפוטנציאל גדל בלילה, בחורף, בעונות מעבר ובאזורים יבשים או גבוהים.

עם זאת, אין פירוש הדבר שניתן לוותר תמיד על צ'ילר. התוצאה תלויה ב:

• מחלקת המים המותרת לציוד;
• טמפרטורת האוויר והלחות;
• טמפרטורת המים החוזרים;
• עומס ה־IT;
• שטח מחליפי החום;
• גודל ה־Dry Cooler;
• מרווח הביטחון התרמי;
• אפשרות לשלב קירור אדיאבטי;
• ורמת היתירות הנדרשת.

המשמעות עבור ישראל חשובה: קירור נוזלי אינו רק פתרון לצפיפות הספק. הוא עשוי להקטין את השימוש במדחסים ולשפר את היעילות האנרגטית גם באקלים חם, בתנאי שכל שרשרת פינוי החום מתוכננת כמערכת אחת.

מדוע קירור אוויר מגיע לגבול המעשי?

כדי לפנות יותר חום באמצעות אוויר נדרש להגדיל את נפח הזרימה או את הפרש הטמפרטורות. בצפיפויות גבוהות הדבר יוצר מספר קשיים:

• מהירות אוויר גבוהה ורעש;
• צריכת חשמל מוגברת של מאווררים;
• נפילות לחץ במסננים ובתעלות;
• קושי לספק את אותה כמות אוויר לכל ארון;
• חזרת אוויר חם לפתחי היניקה;
• נקודות חמות בתוך השרת;
• מגבלות מקום לרצפה צפה ולתעלות;
• קושי להסב אולם קיים לעומסי AI.

קירור האוויר אינו נעלם, אך תפקידו משתנה. במערכות היברידיות הוא ממשיך לקרר ספקי כוח, זיכרונות, אחסון ורכיבים אחרים, בעוד המעבדים והמאיצים החמים ביותר מקוררים בנוזל.

Direct-to-Chip: הקירור מגיע אל מקור החום

במערכת Direct-to-Chip מותקנים לוחות קירור — Cold Plates — ישירות על המעבדים, המאיצים ולעיתים גם רכיבים נוספים.

הנוזל זורם בתוך הלוח, קולט את החום ומעביר אותו אל מערכת חיצונית.

במקום מסלול ארוך שבו המעבד מחמם גוף קירור, גוף הקירור מחמם אוויר והאוויר מועבר אל יחידת המיזוג, הנוזל אוסף את החום כמעט ישירות מהרכיב.

היתרונות המרכזיים:

• יכולת להתמודד עם צפיפות הספק גבוהה;
• הפחתת עבודת מאווררי השרתים;
• פינוי חום בטמפרטורה גבוהה יותר;
• אפשרות להגדלת מספר השרתים ביחידת שטח;
• התאמה טובה לאשכולות GPU.

NVIDIA תכננה את GB200 NVL72 מראש כמערכת מקוררת נוזל ברמת הארון, והעבירה את תכנוני הקירור והארון ל־Open Compute Project כדי לקדם סטנדרטיזציה של התשתית.

עם זאת, Direct-to-Chip אינו מסלק בהכרח את כל החום. רכיבים שאינם מחוברים ל־Cold Plate עדיין פולטים חום לאוויר, ולכן רוב המתקנים נדרשים לפתרון היברידי.

CDU: החוליה בין השרת לבניין

CDU – Coolant Distribution Unit היא יחידת חלוקת הנוזל של מערכת הקירור.

ה־CDU מפריד בדרך כלל בין שני מעגלים:

1. מעגל המתקן, המחובר למפעל הקירור או ל־Dry Cooler;
2. מעגל נקי ומבוקר שמגיע אל ציוד המחשוב.

מחליף חום מעביר את האנרגיה בין המעגלים מבלי לערבב את הנוזלים.

תפקידי ה־CDU

• ויסות טמפרטורת הנוזל;
• שמירת לחץ וספיקה;
• הפרדה הידראולית;
• ניטור איכות הנוזל;
• גילוי דליפות;
• בקרה על משאבות ושסתומים;
• מניעת עיבוי;
• העברת החום אל מערכת הבניין.

CDU יכול לשרת ארון, שורת ארונות, אזור או אולם שלם. הבחירה משפיעה על היתירות, אורך הצנרת, נוחות התחזוקה והיקף הנזק האפשרי במקרה תקלה.

מסלול הקירור הנוזלי – מימין לשמאל

המעבד ← Cold Plate ← מעגל הנוזל המשני ← CDU ← מערכת המים של המתקן ← צ'ילר או Dry Cooler ← הסביבה

יש לתכנן יתירות גם במשאבות, ביחידות CDU ובמחליפי החום. אין ערך למערכת חשמל בתצורת 2N אם משאבה אחת יכולה להשבית את כל אשכול המחשוב.

Rear-Door Heat Exchanger: פתרון ביניים יעיל

מחליף חום בדלת האחורית מותקן במקום הדלת הרגילה של ארון השרתים. האוויר החם היוצא מהשרתים עובר דרך סוללה מקוררת בנוזל, והחום מועבר אל מערכת המים.

הפתרון מתאים במיוחד לשדרוג מתקנים קיימים משום שהוא מאפשר להגדיל את צפיפות הארון בלי להחליף מיד את כל מערך הקירור.

ישנם פתרונות פסיביים המשתמשים במאווררי השרתים ופתרונות אקטיביים הכוללים מאווררים נוספים.

לפני התקנה נדרש לבדוק:

• את משקל הדלת והארון;
• את חיבורי המים;
• את תנועת הדלת;
• את הגישה לתחזוקה;
• את ניטור הדליפות;
• ואת השפעת פתיחת הדלת על תנאי האולם.

אתגר ה־Retrofit: כיצד מכניסים AI למתקן קיים?

קל יחסית לתכנן מתקן Greenfield חדש כאשר כבר בשלב האדריכלי מוקצים מקום לצינורות, ליחידות CDU, למחליפי חום, למערכות ניקוז ולאזורי מחשוב בצפיפות גבוהה.

האתגר הגדול של השנים הקרובות הוא הסבת מתקני Brownfield קיימים.

רבים מהמתקנים הפעילים תוכננו לארונות בהספק של 5–10 קילוואט. הכנסת ארון AI של 60 או 100 קילוואט אינה רק החלפת ציוד. היא עשויה לדרוש:

• הגדלת הזנת החשמל;
• החלפת PDU או Busway;
• חיזוק הרצפה;
• תוספת צנרת;
• התקנת CDU;
• התאמת גילוי הדליפות;
• שינוי תכנון האוויר;
• הגדלת יכולת פינוי החום מחוץ למבנה;
• והתאמת מערכות הבקרה.

במקרים רבים לא ניתן להסב אולם שלם בבת אחת. לכן מוקמים איי AI או אזורים תרמיים ייעודיים, המשלבים קירור נוזלי לציוד החדש וקירור אוויר לציוד הקיים.

Google פיתחה את Brazos, מערכת סגורה Rack-Mounted מסוג Liquid-to-Air, שנועדה לאפשר התקנת ציוד מקורר נוזל בתוך מרכזי נתונים קיימים המבוססים על קירור אוויר. המערכת תומכת בעומס תרמי נומינלי של עד 60 קילוואט לארון וממחישה כיצד ניתן לבצע Retrofit מדורג ללא הקמת תשתית מים מלאה בכל האולם.

Greenfield לעומת Retrofit

המבחן אינו רק לגרום לארון החדש לפעול. המטרה היא לשלבו בלי לפגוע בשרידות, בתחזוקה וביעילות של יתר המתקן.

Immersion Cooling: השרת כולו בתוך נוזל

בקירור בטבילה הציוד מוכנס לנוזל דיאלקטרי שאינו מוליך חשמל.

קירור חד־פאזי

הנוזל נשאר במצב נוזלי ומוזרם דרך מחליף חום.

פרסום

יתרונות:

• פינוי חום מכל שטח השרת;
• צמצום מאווררים;
• הפחתת רעש ואבק;
• צפיפות מחשוב גבוהה.

אתגרים:

• הרמת ציוד מתוך המכל;
• ניקוז וניקוי רכיבים;
• צורך במנופים או אמצעי הרמה;
• התאמת כבלים, אטמים וחומרים;
• שגרת תחזוקה שונה;
• טיפול ואחסון של הנוזל.

המערכת אינה בהכרח "ללא תחזוקה". היא מבטלת רכיבים מסוימים אך יוצרת תהליכי תפעול חדשים.

קירור דו־פאזי

הנוזל רותח במגע עם הרכיבים החמים, הופך לאדים, מתעבה וחוזר למכל. שינוי המצב מאפשר העברת חום יעילה.

Microsoft הפעילה מערכת ניסיונית דו־פאזית במרכז הנתונים שלה בקווינסי, שבה השרתים שקועים בנוזל דיאלקטרי.

עם זאת, חלק מהנוזלים הפלואורוכימיים שנעשה בהם שימוש במערכות כאלה מעוררים שאלות סביבתיות ורגולטוריות הקשורות למשפחת PFAS. מחקר שמיקרוסופט פרסמה מצא יתרונות סביבתיים פוטנציאליים לקירור נוזלי לאורך מחזור החיים, אך גם הצביע על PFAS כאחד החסמים של קירור טבילה דו־פאזי.

לכן, נכון להציג Immersion כפתרון מבטיח ליישומים מסוימים, אך לא כתחליף אוטומטי ל־Direct-to-Chip.

מדוע מים יעילים יותר מאוויר?

היתרון של הנוזלים נובע מתכונותיהם התרמיות.

כאשר מביאים בחשבון גם את צפיפות החומר, נפח נתון של מים מסוגל לשאת בערך פי 4,000 יותר חום מנפח זהה של אוויר עבור אותה עליית טמפרטורה. המוליכות התרמית של מים גבוהה בערך פי 30 מזו של אוויר.

אין פירוש הדבר שמערכת מים שלמה תהיה תמיד "יעילה פי 4,000". הביצועים בפועל תלויים בספיקה, בהפרש הטמפרטורות, במבנה ה־Cold Plate, בצריכת המשאבות וביעילות מחליפי החום.

המשוואה הבסיסית היא:

קצב פינוי החום = ספיקת המסה × קיבול החום × הפרש הטמפרטורות

יתרון המים הוא ביכולתם להעביר כמות גדולה של חום בצינור קטן יחסית, במקום להזיז כמויות עצומות של אוויר.

האם מים בתוך אולם שרתים אינם מסוכנים?

החשש מובן, אך מערכת מתוכננת היטב היא מערכת סגורה ומבוקרת.

תכנון נכון כולל:

• חיבורי Dry-Break או Dripless;
• חיישני דליפה;
• שסתומי ניתוק אוטומטיים;
• מגשי איסוף וניקוז;
• חלוקה לאזורי קירור קטנים;
• ניטור לחץ וספיקה;
• הפרדה ככל האפשר מציוד חשמלי;
• נהלים ברורים לאירוע דליפה.

הבעיה אינה רק עצם הדליפה, אלא משך הזמן שעובר עד לזיהויה והיכולת לבודד במהירות את האזור.

איכות המים: לא כל נוזל מתאים למערכת

איכות הנוזל משפיעה על אמינות המערכת. מוליכות גבוהה, חמצן מומס, חלקיקים או חומציות בלתי מתאימה עלולים לגרום לקורוזיה, לסתימות ולפגיעה במחליפי החום.

נדרש לנטר:

• מוליכות;
• pH;
• חלקיקים;
• מעכבי קורוזיה;
• פעילות ביולוגית;
• התאמה בין הנוזל למתכות ולאטמים;
• טמפרטורת כניסה וחזרה.

טמפרטורה נמוכה מדי עלולה לגרום לעיבוי. לכן ה־CDU ומערכת הבקרה צריכים לשמור את הנוזל מעל נקודת הטל, בתוספת מרווח ביטחון.

PUE ו־WUE: אנרגיה מול מים

PUE – Power Usage Effectiveness

מדד היחס בין כלל האנרגיה הנכנסת למרכז הנתונים לבין האנרגיה שמגיעה לציוד ה־IT.

ככל שהמדד קרוב ל־1.0, חלק גדול יותר מהחשמל מופנה למחשוב ופחות לקירור ולמערכות עזר.

WUE – Water Usage Effectiveness

מדד המתייחס לצריכת המים ביחס לפעילות המחשוב.

מתקן עשוי לשפר את ה־PUE באמצעות קירור אידויי אך להגדיל את צריכת המים. מנגד, מערכת יבשה עשויה לחסוך מים אך לצרוך יותר חשמל בימים חמים.

לכן החלטה מקצועית דורשת בחינה משולבת של אנרגיה, מים, אקלים, זמינות משאבים ועלות לאורך חיי המתקן.

דוגמאות מהשטח

NVIDIA: קירור כחלק מארכיטקטורת ה־AI

מערכת GB200 NVL72 תוכננה מלכתחילה כמערכת Rack-Scale מקוררת נוזל. היא ממחישה כיצד הקירור הופך לחלק מהמוצר המחשובי עצמו ולא לתוספת שמותקנת לאחר בחירת החומרה.

Google: הסבת מתקנים קיימים והיערכות לארונות של מגה־ואט

Google פיתחה את Brazos למתקנים קיימים, ובמקביל הציגה תפיסות תשתית עתידיות שנועדו לאפשר ארונות בהספק של עד מגה־ואט.

Microsoft: קירור ישיר וצמצום אידוי מים

Microsoft הודיעה כי תכנוני מרכזי הנתונים החדשים שלה לעומסי AI עוברים לקירור ברמת השבב במעגל סגור, כדי להימנע משימוש באידוי מים בתהליך הקירור.

הדוגמאות אינן פתרונות שאפשר להעתיק לכל אתר. הן ממחישות שהטכנולוגיה צריכה להתאים לחומרה, לאקלים, לתשתיות הקיימות ולמודל התחזוקה.

החום כמשאב

קירור נוזלי מסוגל להחזיר מים בטמפרטורה גבוהה יותר מקירור אוויר. ככל שהחום מתקבל בטמפרטורה גבוהה ושימושית יותר, קל יותר למחזר אותו.

שימושים אפשריים:

• חימום מבנים;
• חימום מים;
• רשתות חימום אזוריות;
• תהליכים תעשייתיים;
• חממות;
• שילוב משאבות חום.

הכדאיות תלויה במרחק לצרכן החום, בטמפרטורה הנדרשת, בעונתיות ובעלות התשתית.

טעויות שעולות מיליוני שקלים

1. תכנון לפי ממוצע האולם
   מספר ארונות AI עשוי ליצור עומס מקומי חריג גם כאשר הממוצע נראה תקין.
2. התעלמות מדור החומרה הבא
   מרכז נתונים עלול להפוך למיושן עוד לפני השלמתו.
3. CDU או משאבה ללא יתירות
   רכיב יחיד עלול להפוך לנקודת כשל קריטית.
4. הסבת קירור בלי התאמת החשמל
   ארון AI דורש גם הזנה, PDU ו־Busway המתאימים להספקו.
5. שימוש במים קרים מדי
   הדבר מגדיל צריכת אנרגיה ועלול לגרום לעיבוי.
6. התעלמות מאיכות הנוזל
   קורוזיה או משקעים עלולים לפגוע בספיקה ובביצועים.
7. חוסר גישה לתחזוקה
   חיבור בלתי נגיש עלול להפוך תקלה קטנה להשבתה ארוכה.
8. מדידת PUE בלבד
   שיפור ביעילות החשמל אינו בהכרח שיפור כולל אם צריכת המים גדלה.
9. אי־ביצוע Commissioning משולב
   יש לבדוק כיצד הקירור מגיב לכשל חשמל, עצירת משאבה ושינוי פתאומי בעומס.
10. העתקת פתרון ממתקן אחר
    מערכת שמתאימה לצפון אירופה אינה בהכרח מתאימה לאקלים הישראלי.

מבט לעתיד: מ־Air-First ל־Liquid-First

ההתפתחות אינה נעצרת ב־100 קילוואט לארון. יצרני חומרה ותשתית כבר נערכים להספקים גבוהים בהרבה, ו־Google הציגה תכנון עתידי לארונות בהספק של עד מגה־ואט.

המגמות המרכזיות הן:

• מעבר הדרגתי מתכנון Air-First לתכנון Liquid-First;
• אזורים היברידיים המשלבים אוויר ונוזל;
• CDU מודולריים;
• שימוש במים חמים יותר;
• צמצום הפעלת צ'ילרים;
• ניטור וחיזוי תקלות באמצעות AI;
• פתרונות Retrofit למתקנים קיימים;
• שימוש חוזר בחום;
• תכנון משותף של חשמל וקירור ברמת הארון.

מהפכת הקירור לא תתרחש רק במרכזי הנתונים החדשים. המבחן המרכזי של הענף יהיה היכולת להסב אלפי מתקנים קיימים לעומסי AI, מבלי להשבית אותם ומבלי למחוק את ההשקעה שכבר בוצעה במבנה ובתשתיות.

העתיד של מרכזי הנתונים לא ייקבע רק לפי מספר המעבדים שניתן להתקין בהם. הוא ייקבע לפי היכולת לספק להם חשמל, לפנות מהם חום ולשמור על פעילות רציפה, יעילה וניתנת להרחבה.

בפרק הבא

תקשורת וסיבים אופטיים: מערכת העצבים של מרכז הנתונים

כיצד מתכננים קישוריות מהירה ויתירה, מה ההבדל בין רשת הלקוחות לבין רשת ה־AI הפנימית, מדוע Latency הפך לגורם עסקי קריטי, וכיצד מחברים אלפי מאיצים למערכת מחשוב אחת בלי ליצור צוואר בקבוק.

מקורות מקצועיים
• ASHRAE
• Uptime Institute
• Open Compute Project (OCP)
• IEEE
• TIA-942
• NVIDIA Technical Documentation
• Schneider Electric White Papers
• Vertiv Technical Library
• Microsoft Data Center Engineering
• Google Data Center Publications

מאמר זה הוא חלק מהמדריך המקצועי להקמת מרכזי נתונים וחוות שרתים.

הבהרה משפטית: המידע במדריך נועד למידע מקצועי וכללי בלבד ואינו מהווה ייעוץ הנדסי, תכנוני, בטיחותי, משפטי או רגולטורי. האחריות לתכנון ולביצוע חלה על הגורמים המקצועיים ובהתאם לדין ולתקנים המחייבים. קבוצת פורטל נט אינה אחראית לנזק שייגרם מהסתמכות על התוכן.

© כל הזכויות שמורות לקבוצת פורטל נט.