מים וקיימות במרכזי נתונים צריכת מים ואנרגיה

כמה מים צורך מרכז נתונים?

צריכת המים של מרכז נתונים משתנה מאוד בהתאם לסוג מערכת הקירור, האקלים, גודל המתקן ועומסי המחשוב. מתקנים המשתמשים בקירור אידוי עשויים לצרוך כמויות משמעותיות של מים, בעוד פתרונות אחרים יכולים לצמצם מאוד את הצריכה הישירה. מדד WUE מאפשר לבחון את יעילות השימוש במים ביחס לפעילות המחשוב. כיום התכנון מתמקד יותר ויותר בהפחתת מים שפירים, שימוש במים מושבים ובבחירת מערכות קירור שמאזנות בין צריכת מים, חשמל ועלויות.

 מה־WUE ועד מים מושבים ותקן ירוק

כיצד מתכננים מערך מים יעיל, בטוח ועמיד לאקלים הישראלי – בלי להתפשר על שרידות, קירור ורציפות תפעולית

מרכזי נתונים מזוהים בראש ובראשונה עם צריכת חשמל גבוהה, מערכות UPS, גנרטורים, שנאים ותשתיות קירור מורכבות. אולם מאחורי חלק משמעותי ממערכות הקירור נמצא משאב קריטי נוסף: מים.

במתקנים המבוססים על מגדלי קירור, קירור אידויי או מערכות אדיאבטיות, צריכת המים עשויה להפוך לאחד המשתנים המרכזיים בתכנון ובהפעלת האתר. גם במרכזי נתונים המשתמשים בקירור נוזלי יש להבחין בין הנוזל המסתחרר במעגל סגור לבין המים הנצרכים בפועל בעת סילוק החום מהמתקן.

בעידן ה־AI, שבו הספקי המעבדים וצפיפות החום בארונות עולים במהירות, תכנון המים אינו עוד סעיף סביבתי משני. הוא משפיע על בחירת האתר, על מערכת הקירור, על עלויות התפעול, על יכולת ההתרחבות, על רמת השרידות, על קבלת היתרים ועל היחסים עם הרשויות והקהילה המקומית.

מרכז נתונים עשוי להציג מדד PUE נמוך ולהיחשב יעיל מבחינה אנרגטית, אך במקביל לצרוך כמויות משמעותיות של מים. מנגד, פתרון המצמצם כמעט לחלוטין את צריכת המים באתר עלול להגדיל את צריכת החשמל כאשר הוא מתבסס על קירור מכני אינטנסיבי בימי הקיץ.

לכן קיימות אמיתית אינה נמדדת באמצעות נתון יחיד. היא מחייבת איזון בין אנרגיה, מים, פליטות, אמינות, איכות המים, תנאי האקלים ומאפייני ציוד ה־IT.

היכן מרכז נתונים צורך מים?

צריכת המים במרכז נתונים אינה נובעת בדרך כלל מהשרתים עצמם, אלא מהמערכות התומכות בפעילותם. השימוש המרכזי הוא במערכות סילוק החום, אך קיימים גם שימושים תפעוליים נוספים.

מגדלי קירור

מגדל קירור מסלק חום באמצעות אידוי מבוקר של חלק מהמים המסתחררים בו. המים החמים מגיעים למגדל, נחשפים לזרם אוויר, וחלק קטן מהם מתאדה. תהליך האידוי מוריד את טמפרטורת המים שנותרו במערכת, והם חוזרים אל מחליפי החום או אל מערכת המים של המתקן.

אולם כאשר המים מתאדים, המלחים והמינרלים המומסים בהם אינם מתאדים יחד עמם. הם נשארים במערכת וריכוזם עולה בהדרגה. כדי למנוע הצטברות בלתי מבוקרת של מלחים, אבנית וקורוזיה, יש לנקז חלק מהמים ולהחליפם במים חדשים.

מכאן שצריכת המים במגדל קירור אינה מורכבת רק מהמים שהתאדו. היא כוללת גם מי ניקוז, סחף טיפות, נזילות וגלישות.

קירור אידויי ואדיאבטי

במערכת קירור אידויי מוזרמים או מותזים מים אל זרם האוויר. אידוי המים מפחית את טמפרטורת האוויר לפני שהוא נכנס למרכז הנתונים או לפני שהוא עובר דרך מחליף החום.

במערכת אדיאבטית ניתן לעיתים לפעול במצב יבש במשך חלק מהשנה ולהפעיל את שלב הרטבת האוויר רק כאשר טמפרטורת הסביבה עולה. גישה זו עשויה לצמצם את צריכת המים ביחס למערכת אידויית הפועלת ברציפות.

הביצועים בפועל תלויים באקלים, בלחות היחסית, בטמפרטורות התכנון, בשעות הפעולה ובעומס התרמי של המתקן.

מערכות מים מקוררים

במערכות Chilled Water מסתחררים מים בין הצ'ילרים, יחידות הטיפול באוויר, מחליפי החום וציוד הקירור באולמות.

כאשר מדובר במעגל סגור ותקין, המים עצמם אינם אמורים להיצרך בכמויות גדולות. עם זאת, עדיין נדרשים מי מילוי עקב נזילות, ניקוזים, שטיפת מערכות, החלפת רכיבים ופעולות תחזוקה.

כאשר הצ'ילרים פולטים את החום באמצעות מגדלי קירור, צריכת המים העיקרית מתרחשת בצד מגדלי הקירור ולא במעגל המים המקוררים עצמו.

קירור ישיר לנוזל

במערכות Direct-to-Chip מוזרם נוזל קירור אל לוחות קרים, Cold Plates, הצמודים למעבדים, למאיצים גרפיים ולרכיבים נוספים המייצרים עומסי חום גבוהים.

הנוזל קולט את החום מן הרכיבים וחוזר אל יחידת חלוקת קירור, CDU – Cooling Distribution Unit. בתוך ה־CDU מועבר החום ממעגל הקירור של ציוד ה־IT אל מעגל המים של המתקן.

חשוב להדגיש: הכנסת מים או נוזל אל ארון השרתים אינה מעידה בהכרח על צריכת מים גבוהה. כאשר המעגל סגור, אותו נוזל יכול להסתחרר במשך תקופה ארוכה. צריכת המים בפועל נקבעת בעיקר לפי האופן שבו החום נפלט בסופו של דבר אל הסביבה.

החום יכול להיפלט באמצעות:

• מגדל קירור;
• צ'ילר;
• מצנן יבש;
• מערכת אדיאבטית;
• מערכת היברידית;
• מערכת להשבת חום.

לכן יש להבחין בין עצם השימוש בנוזל בתוך מרכז הנתונים לבין צריכת מים לצורך סילוק החום מן האתר.

שימושים נוספים במים

מים נדרשים גם עבור:

• מערכות סניטריות ומטבחונים;
• ניקיון ותחזוקת האתר;
• השקיית שטחים חיצוניים;
• מילוי מאגרי כיבוי אש;
• מערכות הרטבה ובקרת לחות;
• שטיפת מסננים;
• מערכות טיפול במים;
• בדיקות קבלה ו־Commissioning;
• שטיפת צנרת לפני הפעלה;
• מילוי חוזר לאחר עבודות תחזוקה.

חלק מהשימושים הללו אינם רציפים, אך יש להביאם בחשבון בעת תכנון התשתיות, מאגרי המים, מדי הצריכה ומערכי היתירות.

מחזור המים במגדל קירור – מהכניסה ועד לניקוז

כדי להבין כיצד מגדל קירור צורך מים, יש לעקוב אחר ארבעה שלבים החוזרים על עצמם ברציפות.

1. מי השלמה – Make-up Water

מים חדשים נכנסים למערכת כדי לפצות על כל המים שאבדו במהלך הפעילות.

מקורם יכול להיות:

• מים שפירים;
• מים מושבים;
• קולחים מטופלים;
• מי עיבוי;
• מי גשם;
• שילוב בין כמה מקורות.

כמות מי ההשלמה צריכה לפצות על כלל אובדני המים:

Make-up Water = Evaporation + Blowdown + Drift + Leaks

כלומר:

מי השלמה = אידוי + ניקוז יזום + סחף טיפות + נזילות

איכות מי ההשלמה משפיעה ישירות על צריכת המים, על מספר מחזורי הריכוז האפשרי, על צריכת הכימיקלים ועל הסיכון לאבנית ולקורוזיה.

2. אידוי וסחף – Evaporation and Drift

המים החמים מוזרמים במגדל ונחשפים לזרם אוויר. חלק קטן מהם מתאדה, ותהליך האידוי מסלק חום מן המים שנותרו.

זהו מנגנון הקירור המרכזי של המגדל: החום עובר מן המים אל אדי המים ונפלט לאטמוספרה.

במקביל עלולות טיפות מים זעירות להיסחף פיזית אל מחוץ למגדל יחד עם זרם האוויר. תופעה זו נקראת Drift.

מפרידי טיפות, Drift Eliminators, מצמצמים את אובדן הטיפות ואת הסיכון לפיזור אירוסולים, אך אינם מבטלים אותו לחלוטין.

3. התרכזות מלחים – Cycles of Concentration

בזמן שהמים מתאדים, המלחים והמינרלים נשארים מאחור. ככל שהתהליך נמשך, ריכוזם במים המסתחררים עולה.

כתוצאה מכך:

• המוליכות החשמלית עולה;
• ריכוז הכלורידים והסולפטים גדל;
• עולה הסיכון להיווצרות אבנית;
• מתגבר הסיכון לקורוזיה;
• עלולה להתפתח פעילות מיקרוביולוגית;
• יעילות מעבר החום עלולה להיפגע;
• עלולים להיווצר משקעים בצנרת ובמחליפי החום.

מספר מחזורי הריכוז מבטא את היחס בין ריכוז המלחים במים המסתחררים לבין ריכוזם במי ההשלמה:

Cycles of Concentration = Concentration in Circulating Water ÷ Concentration in Make-up Water

ככל שמספר מחזורי הריכוז גבוה יותר, אותם מים משמשים את המערכת זמן רב יותר ונדרשים פחות מי השלמה ופחות מי ניקוז.

עם זאת, אין להעלות את מספר מחזורי הריכוז ללא גבול. משרד האנרגיה האמריקאי מדגיש כי הגדלת מספר המחזורים מפחיתה את צריכת מי ההשלמה ואת ה־Blowdown, אך היא חייבת להתבצע בתוך מגבלות איכות המים והכימיה של המערכת, משום שריכוז מוצקים גבוה עלול לגרום לאבנית ולקורוזיה.

4. ניקוז יזום – Blowdown

כדי למנוע הצטברות בלתי מבוקרת של מלחים, חלק מן המים המרוכזים מנוקז החוצה באופן מבוקר.

שסתום ה־Blowdown מופעל בדרך כלל לפי מדידת מוליכות, לפי לוח זמנים או לפי ערך בקרה שנקבע במערכת.

לאחר הניקוז נכנסים למערכת מי השלמה בעלי ריכוז מלחים נמוך יותר.

את מי ה־Blowdown ניתן:

• להזרים למערכת הביוב בהתאם לדרישות ולהיתרים;
• להעביר למערכת טיפול;
• לסנן ולהשיב לשימושים מתאימים;
• לטפל באמצעות אוסמוזה הפוכה;
• לנצל לשימושים שאינם דורשים מים באיכות גבוהה;
• לשלב במערך מים תעשייתי אחר באתר.

מחזור המים במגדל נראה כך:

Make-up Water → Evaporation and Drift → Salt Concentration → Blowdown → New Make-up Water

היעד התפעולי הוא לצמצם את מי ההשלמה ואת ה־Blowdown מבלי ליצור אבנית, קורוזיה, זיהום מיקרוביולוגי או ירידה ביכולת סילוק החום.

WUE – מדד יעילות השימוש במים

המדד המרכזי לבחינת יעילות השימוש במים במרכזי נתונים הוא Water Usage Effectiveness, או WUE.

הנוסחה היא:

WUE = Annual Site Water Consumption ÷ Annual IT Equipment Energy Consumption

יחידת המדידה המקובלת:

L/kWh

כלומר, ליטר מים לכל קוט"ש שנצרך על ידי ציוד ה־IT.

לדוגמה:

WUE = 0.8 L/kWh

המשמעות היא שבמהלך תקופת המדידה צרך האתר בממוצע 0.8 ליטר מים עבור כל קוט"ש שנצרך על ידי מערכות המחשוב.

תקן ISO/IEC 30134-9:2022 מגדיר את WUE כמדד ביצוע מרכזי לכימות עוצמת צריכת המים של מרכז נתונים בשלב התפעולי של מחזור חייו. התקן מגדיר גם קטגוריות מדידה וגבולות דיווח, שנועדו ליצור בסיס עקבי יותר להשוואה ולדיווח.

ככל שה־WUE נמוך יותר, צריכת המים הישירה ביחס לפעילות המחשוב נמוכה יותר. עם זאת, אין להשוות בין שני מתקנים על בסיס המספר בלבד.

לפני השוואה יש לבדוק:

• האם המדד כולל את כלל המים הנכנסים לאתר;
• האם הוא כולל מים שפירים בלבד;
• האם מים מושבים נמדדו בנפרד;
• האם הנתון שנתי או מבוסס על תקופה קצרה;
• מהו האקלים המקומי;
• מהי תפוסת מרכז הנתונים;
• מהו עומס ה־IT;
• האם מדובר במתקן חדש הנמצא בתקופת הרצה;
• האם צריכת המשרדים והשטחים הציבוריים נכללה;
• האם נעשה שימוש במגדלי קירור או בקירור יבש;
• האם נכללו נזילות, שטיפות וניקוזים;
• היכן הוגדר גבול המדידה.

מרכז נתונים חדש הנמצא בתפוסה חלקית עלול להציג WUE גבוה יחסית, משום שמערכות המים והקירור פועלות גם כאשר עומס המחשוב עדיין נמוך.

לכן לצד נתון ה־WUE יש להציג את עומס המתקן, תקופת המדידה, תנאי מזג האוויר, מקור המים ומתודולוגיית החישוב.

צריכת מים ישירה ועקיפה

טביעת המים של מרכז נתונים אינה מסתיימת בגדרות האתר.

צריכת מים ישירה

זוהי כמות המים הנכנסת אל מרכז הנתונים ומשמשת לקירור, הרטבה, ניקיון, השקיה ושימושים תפעוליים אחרים.

צריכת מים עקיפה

ייצור החשמל המסופק למרכז הנתונים עשוי אף הוא להיות כרוך בצריכת מים בתחנות כוח ובמערכות ייצור האנרגיה.

לכן מרכז נתונים המשתמש בקירור יבש וחוסך מים באתר אינו בהכרח בעל טביעת המים הכוללת הנמוכה ביותר, אם מערכת הקירור שלו מגדילה במידה משמעותית את צריכת החשמל.

המרכז ליעילות מרכזי נתונים של מעבדת ברקלי מבחין בין צריכת מים ישירה, הקשורה בעיקר למערכות הקירור באתר, לבין צריכת מים עקיפה הנובעת מייצור החשמל הנצרך במרכז הנתונים.

השוואה מקצועית צריכה אפוא להביא בחשבון גם את צריכת המים באתר וגם את ההשפעה העקיפה של צריכת האנרגיה.

איכות מקור המים חשובה לא פחות מהכמות

ליטר מים שפירים אינו שקול בהשפעתו לליטר קולחים מטופלים, מי עיבוי או מי גשם.

לכן ניהול מתקדם של מים צריך להפריד בין:

• מים שפירים;
• מים מושבים;
• קולחים מטופלים;
• מים אפורים;
• מי עיבוי;
• מי גשם;
• מים ממוחזרים מתוך תהליכי האתר;
• מים שהתאדו;
• מים שנוקזו לביוב;
• מים שהועברו להשבה או לטיפול.

ההבחנה חשובה הן מבחינה סביבתית והן מבחינה תפעולית. מקור מים חלופי עשוי להפחית את השימוש במים שפירים, אך במקביל לדרוש טיפול נוסף, בקרה כימית, סינון וחיטוי.

מים אפורים, קולחים ומים מושבים – לא אותו דבר

בפרויקטים רבים משתמשים במונח "מים אפורים" כשם כולל לכל מים שאינם מי שתייה. מבחינה מקצועית יש להבחין בין סוגי המים.

מים אפורים

מים שמקורם בדרך כלל במקלחות, בכיורי רחצה ובמתקנים דומים, ללא שפכי אסלות.

במרכז נתונים שבו מספר העובדים קטן יחסית, היקף המים האפורים הנוצר באתר עשוי להיות נמוך ביחס לצורכי מערכת הקירור.

קולחים

שפכים שעברו טיפול במכון טיהור והגיעו לאיכות המאפשרת שימוש חוזר בהתאם לרמת הטיפול, לייעוד המים ולדרישות החלות על הפרויקט.

קולחים עשויים לשמש, בין היתר, כמי השלמה למגדלי קירור, אך נדרשת בדיקה של איכותם והתאמתם למערכת.

מים מושבים

זהו מונח רחב יותר המתייחס למים שעברו טיפול או נאספו מחדש ומיועדים לשימוש נוסף במקום שימוש במים שפירים.

מים מושבים יכולים לכלול:

• קולחים מטופלים;
• מים אפורים מטופלים;
• מי עיבוי;
• מי גשם;
• מי נגר;
• מים ממוחזרים מתהליכי האתר;
• מי Blowdown שעברו טיפול.

מי עיבוי

מי עיבוי נוצרים כאשר אוויר לח פוגש משטח קר, למשל בסוללות קירור של יחידות טיפול באוויר.

מי העיבוי מתחילים בדרך כלל בריכוז נמוך יחסית של מינרלים מומסים, ולכן הם עשויים להתאים לשימוש כמי השלמה למגדלי קירור. עם זאת, הם יכולים לצבור מזהמים מן האוויר, מן הצנרת וממכלי האגירה.

אגירה ללא טיפול מתאים עלולה גם לאפשר התפתחות חיידקים. לכן מי עיבוי אינם נחשבים אוטומטית למים נקיים או מתאימים לכל שימוש. משרד האנרגיה האמריקאי מציין כי מי עיבוי יכולים להתאים למגדלי קירור בשל רמת המינרלים הנמוכה שלהם, אך עשויים לדרוש חיטוי במהלך האגירה.

מי גשם ונגר

ניתן לאסוף מי גשם מגגות ומשטחים מתאימים, לסנן אותם ולאגור אותם לשימושים שאינם דורשים מי שתייה.

בישראל זהו מקור עונתי, ולכן הוא בדרך כלל אינו יכול לשמש מקור יחיד למערכת קירור קריטית. הוא עשוי לשמש מקור משלים המפחית חלק מצריכת המים השפירים.

מים ממוחזרים מתוך האתר

ניתן לטפל בזרמי מים פנימיים ולהשיב חלק מהם לשימוש נוסף.

מקורות אפשריים כוללים:

• מי Blowdown;
• מי שטיפת מסננים;
• מי ניקוז ממערכות קירור;
• מי עיבוי;
• מי ניקוי;
• מים מתהליכי טיפול אחרים.

הטיפול עשוי לכלול:

• סינון;
• ריכוך;
• אוסמוזה הפוכה;
• חיטוי;
• הפרדת מוצקים;
• תיקון pH;
• טיפול כימי;
• ערבוב עם מים ממקור אחר.

משרד האנרגיה האמריקאי מונה מי עיבוי, מי גשם ושפכים מושבים כמקורות חלופיים היכולים לשמש, בין היתר, כמי השלמה למגדלי קירור ולהפחית את הביקוש למים שפירים.

שימוש במים חלופיים מחייב בדיקת איכות מלאה

שימוש במים מושבים אינו מסתכם בחיבור צינור נוסף אל מערכת הקירור.

יש לבדוק לפחות את הפרמטרים הבאים:

• מוליכות חשמלית;
• מליחות;
• קשיות;
• כלורידים;
• סולפטים;
• סיליקה;
• ערך pH;
• חומר אורגני;
• מוצקים מרחפים;
• עכירות;
• עומס מיקרוביולוגי;
• מתכות;
• התאמה לחומרי הצנרת;
• התאמה לאטמים ולמחליפי החום;
• סיכון לאבנית;
• סיכון לקורוזיה;
• סיכון לסתימות;
• יציבות המקור לאורך השנה.

יש לבחון גם אם איכות המים משתנה בין עונות, אם קיימת התחייבות של ספק המים לטווחי איכות מוגדרים, ומה קורה במקרה של חריגה.

מקור מים חלופי שאינו יציב או שאיכותו אינה מבוקרת עלול להוביל לעלויות תחזוקה גבוהות, פגיעה במחליפי החום ואף להשבתת מערכות קירור.

איכות המים – הסיכון שאינו נראה לעין

מערכת קירור יכולה להיות מתוכננת היטב מבחינה תרמית והידראולית ועדיין להיכשל בגלל איכות מים לקויה.

אבנית ומשקעים

כאשר מים מתאדים, המינרלים נשארים במערכת. אם ריכוזם חורג מן הטווח המותר, הם עלולים לשקוע על:

• מחליפי חום;
• צנרת;
• שסתומים;
• פיות התזה;
• מסננים;
• חיישנים;
• Cold Plates.

שכבת אבנית דקה עלולה להקטין את מעבר החום, להגדיל את הפרש הטמפרטורות ולגרום למערכת הקירור לעבוד קשה יותר.

קורוזיה

מים שאינם מאוזנים מבחינה כימית עלולים לפגוע בנחושת, בפלדה, באלומיניום, בהלחמות, באטמים ובחיבורים.

כאשר כמה סוגי מתכת משולבים באותו מעגל, עלולה להתפתח גם קורוזיה גלוונית.

פעילות מיקרוביולוגית

מגדלי קירור, מכלי מים וצנרת שבהם קיימת זרימה נמוכה עלולים ליצור תנאים להתפתחות ביופילם ומיקרואורגניזמים.

ביופילם יכול:

• לפגוע במעבר החום;
• להאיץ קורוזיה;
• ליצור סתימות;
• לפגוע בחיישנים;
• להגדיל את הסיכון הבריאותי;
• להקשות על פעולות חיטוי וניקוי.

חלקיקים ולכלוך

שאריות ריתוך, חול, אבק, שמנים, שבבי מתכת וחומרי איטום עלולים להישאר במערכת לאחר ההקמה.

במעברי הזרימה הצרים של Cold Plates ורכיבי קירור נוזלי, גם חלקיקים קטנים עלולים ליצור סתימה מקומית או לפגוע בספיקה.

לכן תכנון איכות המים צריך לכלול:

• מפרט כימי לכל מעגל;
• הגדרת חומרי הצנרת והאטמים;
• מסננים ראשיים;
• מסנני Side Stream;
• הפרדה בין מעגלים באמצעות מחליפי חום;
• נקודות דיגום;
• מדידת מוליכות;
• מדידת pH;
• מדידת עכירות;
• טיפול בקורוזיה;
• טיפול מיקרוביולוגי;
• נהלי מילוי;
• שטיפה;
• פסיבציה;
• תיעוד תוצאות מעבדה;
• ספי התראה;
• נהלי תגובה לחריגה.

מערכות סינון צדדי יכולות להפחית מוצקים, לסייע בשליטה בקורוזיה, באבנית, בלכלוך ובפעילות מיקרוביולוגית, ולאפשר הגדלה בטוחה יותר של מחזורי הריכוז.

קירור נוזלי בעידן ה־AI – מים חמים שמשנים את המשוואה

אחד היתרונות המשמעותיים של קירור Direct-to-Chip הוא האפשרות להפעיל מערכות מסוימות בטמפרטורות מים גבוהות משמעותית מאלו המקובלות במערכות מים מקוררים מסורתיות.

בהתאם לסוג ציוד ה־IT ולהגדרות יצרן החומרה, מערכות קירור נוזלי עשויות להשתייך למחלקות מים כגון:

• W17;
• W27;
• W32;
• W40;
• W45;
• W+.

המספר בשם המחלקה מייצג את הגבול העליון של טמפרטורת המים המסופקים לציוד ה־IT. לדוגמה, מחלקת W32 מתייחסת לציוד המיועד לפעול עם טמפרטורת מים מרבית של 32°C, ומחלקת W45 עם טמפרטורה מרבית של 45°C.

ASHRAE עדכנה את שמות מחלקות הקירור הנוזלי כך שיציינו במפורש את הגבול העליון של טמפרטורת המים. המחלקות כוללות כיום W17,‏ W27,‏ W32,‏ W40,‏ W45 ו־W+.

חשוב להדגיש: אלו אינן טמפרטורות המעבד עצמו, אלא טמפרטורות המים המסופקים למערכת הקירור של ציוד המחשוב.

גם אין להסיק שכל שרת או מאיץ AI מסוגל לפעול בכל הטווחים. התאמת הטמפרטורה תלויה ב:

• סוג המעבד או המאיץ;
• תכנון ה־Cold Plate;
• דרישות יצרן השרת;
• הספיקה;
• הפרש הטמפרטורות;
• טמפרטורת הצומת ברכיב;
• תכנון ה־CDU;
• מחליפי החום;
• רמת היתירות;
• תנאי האחריות של היצרן.

ככל שצפיפות החום במעבדים עולה, ייתכן שחלק מדורות החומרה החדשים ידרשו טמפרטורות מים נמוכות יותר או ספיקות גבוהות יותר. לכן אין לתכנן מרכז נתונים שלם על בסיס W45 ללא אישור מפורש של יצרני הציוד וללא בדיקת מפת הדרכים של החומרה העתידית.

כיצד מים חמים מאפשרים קירור יבש?

כאשר ציוד ה־AI מסוגל לעבוד עם מים בטמפרטורות של 32°C,‏ 40°C או 45°C, נוצר הפרש טמפרטורות גדול יותר בין המים לבין האוויר החיצוני.

הפרש זה מאפשר להעביר את החום אל מצננים יבשים – Dry Coolers – ללא צורך באידוי מים ובמקרים מסוימים גם ללא הפעלת צ'ילרים.

במערכת כזו:

1. הנוזל קולט חום מן המעבדים.
2. הנוזל חוזר אל ה־CDU.
3. החום מועבר ממעגל ציוד ה־IT למעגל המתקן.
4. המים החמים מוזרמים למצנן יבש.
5. מאווררים מעבירים אוויר חיצוני דרך מחליף החום.
6. החום נפלט לאוויר.
7. המים המקוררים חוזרים אל המערכת.

המים עצמם נשארים במעגל סגור, ולכן כמעט שאין צריכת מים שוטפת לצורך סילוק החום, למעט מילוי ראשוני, נזילות, תחזוקה ופעולות שירות.

ASHRAE מציינת כי שילוב של קירור נוזלי, עבודה במים חמים ומצננים יבשים יכול לתמוך בסילוק חום ללא שימוש במים באקלימים רבים. היא מציגה גם תרחיש של מרכז AI שתוכנן סביב קירור Direct-to-Chip, ללא צ'ילרים, עם מצננים יבשים וסיוע אדיאבטי מוגבל, שבו צריכת המים לקירור הופחתה לרמה הקרובה לאפס.

המשמעות באקלים הישראלי

באקלים הישראלי, הפעלה בטמפרטורות מים גבוהות יכולה להרחיב מאוד את מספר השעות שבהן ניתן לפנות חום באמצעות מצננים יבשים.

במתקן שתוכנן נכון, ניתן לצמצם במקביל:

• צריכת מים;
• צריכת אנרגיה של צ'ילרים;
• שימוש במגדלי קירור;
• טיפול כימי;
• סיכון לאבנית;
• סיכון מיקרוביולוגי;
• תחזוקת מערכות אידוי;
• היקף ה־Blowdown.

בכך ניתן במקרים מסוימים למתן את הדילמה המסורתית שלפיה הפחתת צריכת החשמל מחייבת צריכת מים, ואילו הפחתת צריכת המים מחייבת הגדלת צריכת החשמל.

עם זאת, אין לקבוע באופן גורף כי מצננים יבשים יספיקו בכל אתר ובכל שעות השנה.

היכולת לפעול ללא קירור משלים תלויה ב:

• מיקום האתר;
• טמפרטורת התכנון החיצונית;
• משך גלי החום;
• טמפרטורת המים שמאשר יצרן ציוד ה־IT;
• טמפרטורת המים החוזרים;
• גודל המצננים;
• שטח האתר;
• מהירות המאווררים;
• מגבלות רעש;
• עומס ה־IT;
• צפיפות ההספק;
• אחוז החום הנקלט במעגל הנוזלי;
• ההפסדים במחליפי החום;
• רמת היתירות;
• דרישות תרחיש הקיצון;
• תנאי החומרה העתידית.

כאשר האוויר החיצוני חם מכדי לקרר את המים לטמפרטורה הנדרשת, המערכת עלולה להזדקק לסיוע באמצעות צ'ילר, שלב אדיאבטי או הפחתת ביצועי המעבדים. ASHRAE מציינת כי חריגה ממגבלת המצנן היבש עלולה לחייב Thermal Throttling כדי להגן על ה־CPU וה־GPU.

לכן יש לבצע סימולציה שעתית שנתית ולהשוות לפחות בין שלושה תרחישים:

1. קירור יבש בלבד;
2. קירור יבש עם השלמה מכנית;
3. מערכת היברידית עם סיוע אדיאבטי או אידויי בשעות הקיצון.

הסימולציה צריכה לכלול גם תרחישים של:

• עומס IT מלא;
• טמפרטורת שיא;
• כשל של יחידת קירור;
• ירידה בספיקת המים;
• סתימת מסנן;
• אובדן מאוורר;
• הרחבת האתר;
• התקנת דור חומרה עתידי;
• מעבר למחלקת מים נמוכה יותר.

המסקנה ההנדסית היא שטמפרטורות מים גבוהות יכולות לשנות מהותית את משוואת המים והאנרגיה, אך אינן פוטרות את המתכנן מבדיקת היום החם ביותר ומבדיקת התאמה לדורות החומרה הבאים.

הדילמה בין מים לחשמל

בחירת מערכת סילוק החום מחייבת בחינה משולבת של מים וחשמל.

מגדלי קירור

יתרונות:

• יעילות תרמית גבוהה;
• אפשרות להפחתת עבודת המדחסים;
• ביצועים טובים בתנאים חמים;
• יכולת לתמוך בעומסים גבוהים.

חסרונות:

• צריכת מים;
• טיפול כימי;
• Blowdown;
• סיכון לאבנית ולקורוזיה;
• סיכון מיקרוביולוגי;
• תחזוקה מורכבת;
• תלות באספקת מים.

מצננים יבשים

יתרונות:

• כמעט ללא צריכת מים שוטפת;
• אין אידוי;
• אין Blowdown;
• פחות טיפול כימי;
• סיכון מיקרוביולוגי נמוך יותר;
• מערכת פשוטה יחסית.

חסרונות:

• ירידה ביכולת סילוק החום ככל שטמפרטורת החוץ עולה;
• צורך בשטח מחליפים גדול;
• צריכת אנרגיה של מאווררים;
• רעש;
• אפשרות לצורך בקירור משלים;
• מגבלות ביום תכנון קיצוני.

מערכות היברידיות

מערכות היברידיות משלבות מצנן יבש עם שלב אדיאבטי, מגדל קירור או צ'ילר.

במשך רוב שעות השנה המערכת יכולה לפעול במצב יבש. בשעות החמות ביותר היא מפעילה את שלב הסיוע.

גישה זו עשויה ליצור איזון טוב בין:

• WUE;
• PUE;
• עלות ההקמה;
• שטח המערכת;
• רעש;
• שרידות;
• צריכת מים;
• צריכת חשמל.

הבחירה הנכונה מתקבלת רק לאחר ניתוח שנתי המביא בחשבון את האקלים, עומס ה־IT, טמפרטורות המים, מחיר החשמל, זמינות המים ורמת השרידות.

תכנון מערכת מים בעלת שרידות

חיסכון במים אינו יכול לבוא על חשבון רציפות הקירור.

פרסום

מרכז נתונים תלוי ביכולת לפנות חום בכל רגע, גם בזמן:

• תקלה בתשתית העירונית;
• פיצוץ צינור;
• זיהום מקור מים;
• גל חום;
• עבודות תחזוקה;
• תקלה במערכת הטיפול;
• הפסקת אספקת מים מושבים;
• כשל במשאבה;
• כשל בחיישן;
• התרוקנות מאגר.

יתירות במקורות המים

כאשר מערכת הקירור תלויה במים, יש לבחון:

• שתי הזנות מים בלתי תלויות;
• מקור שפיר כגיבוי למים מושבים;
• מאגר מים תפעולי;
• חיבור חירום למכליות;
• מעבר מבוקר בין מקורות;
• מניעת זרימה חוזרת;
• מדידת איכות לפני מעבר;
• שסתומי בידוד;
• תרחישי הפעלה ידנית.

תכנון מאגר המים

אין לקבוע את קיבולת המאגר לפי צריכה ממוצעת בלבד.

יש להביא בחשבון:

• יום התכנון החם ביותר;
• עומס IT מלא;
• תקלה באחד מרכיבי הקירור;
• זמן התגובה של ספק המים;
• משך הפסקת אספקה אפשרית;
• צריכת מערכת כיבוי האש;
• נפח מים שאינו שמיש;
• הצטברות משקעים;
• תחזוקת המאגר;
• הרחבה עתידית;
• אובדן מים בלתי צפוי.

הפרדה בין מערכות

אין לחבר מקור מים חלופי ישירות למערכת מי השתייה.

נדרשים:

• קווי צנרת נפרדים;
• סימון ברור;
• הגנה מפני זרימה חוזרת;
• מרווח אוויר במקומות הנדרשים;
• נקודות דיגום;
• שסתומים מזוהים;
• נהלי תחזוקה;
• מניעת חיבור שגוי.

יתירות בטיפול במים

מערכת טיפול יחידה עלולה להפוך לנקודת כשל קריטית.

יש לבחון יתירות עבור:

• משאבות;
• מסננים;
• מערכות מינון;
• חיישני מוליכות;
• חיישני pH;
• מערכות חיטוי;
• בקרי Blowdown;
• מערכות ריכוך;
• מערכות אוסמוזה הפוכה;
• לוחות בקרה.

ניטור, מדידה וקישור ל־BMS ול־DCIM

חשבון המים החודשי אינו מספק מידע הנדסי מספק לניהול מרכז נתונים.

נדרשת מדידה מפורטת ברמת המערכות.

מומלץ להתקין מדי מים עבור:

• הכניסה הראשית לאתר;
• כל מקור מים בנפרד;
• מי השלמה למגדלי קירור;
• מי Blowdown;
• מערכות אדיאבטיות;
• מי עיבוי שנאספו;
• מים מושבים;
• שימושים סניטריים;
• השקיה;
• מערכת הטיפול במים;
• כל מבנה;
• כל שלב בפרויקט;
• כל חדר מכונות מרכזי.

מדי המים אינם צריכים לפעול כמערכות עצמאיות. יש לחבר את נתוני הספיקה, המוליכות, מפלסי המאגרים, הלחצים והטמפרטורות אל מערכות ה־BMS וה־DCIM.

מערכת הבקרה יכולה להשוות בזמן אמת בין:

• ספיקת האספקה לספיקת החזרה;
• צריכת המים לעומס ה־IT;
• מוליכות המים לקצב ה־Blowdown;
• טמפרטורת הסביבה להיקף האידוי;
• מפלס המאגר לצריכה הצפויה;
• מצב השסתומים לספיקות בפועל;
• צריכת המים לקו הבסיס;
• WUE בפועל ליעד התכנון.

ניתוח מגמות יכול לזהות:

• נזילה מתפתחת;
• שסתום Blowdown שאינו נסגר;
• ירידה בביצועי מסנן;
• שינוי באיכות מי ההשלמה;
• סטייה במספר מחזורי הריכוז;
• תקלה במד מים;
• צריכה חריגה באזור מסוים;
• ירידה בתפוקת איסוף מי העיבוי;
• אובדן מים בלתי מוסבר.

השלב הבא הוא מעבר מהתראה תגובתית לזיהוי חזוי. כאשר המערכת לומדת את הקשר בין עומס ה־IT, מזג האוויר, צריכת המים והמוליכות, היא יכולה לזהות סטייה עוד לפני שנוצרה תקלה משמעותית.

להרחבה על שילוב חיישנים, מדי מים ומדי אנרגיה במערכות השליטה של המתקן, ראו גם: ניטור ובקרה במרכזי נתונים – המוח שמנהל את התשתית הקריטית.

מומלץ ליצור קישור פנימי דו־כיווני: מפרק המים אל מאמר הניטור והבקרה, וממאמר הניטור והבקרה בחזרה אל פרק המים והקיימות.

באיחוד האירופי נקבעה חובת דיווח על ביצועי אנרגיה וקיימות עבור מרכזי נתונים בעלי דרישת הספק מותקן של יותר מ־500 קילוואט. מערך הדיווח כולל גם מידע הקשור לצריכת המים ולטביעת המים של המתקן.

גם כאשר דרישות אלו אינן חלות ישירות על מתקן בישראל, הן משקפות מגמה ברורה: מעבר למדידה מפורטת, שקיפות, הפרדת מים שפירים מכלל המים ודיווח עקבי על ביצועים סביבתיים.

ניהול נזילות במערכות קירור נוזלי

ככל שהנוזל מתקרב אל ציוד ה־IT, ההשלכות האפשריות של נזילה נעשות חמורות יותר.

מערך הגנה מקצועי צריך לכלול:

• חיישני נזילה רציפים;
• כבלי גילוי מתחת לצנרת;
• חיישנים מתחת לארונות;
• מגשי איסוף;
• שסתומי ניתוק אזוריים;
• איתור ירידת לחץ;
• השוואה בין ספיקת אספקה לחזרה;
• מחברי Dripless;
• מחברים עיוורים;
• צנרת המתאימה ללחץ ולטמפרטורה;
• הפרדה באמצעות CDU;
• נגישות לתחזוקה;
• תיעוד נקודות החיבור;
• תרחישי תגובה ב־BMS;
• תרגול צוות התפעול.

אין להסתפק בחיישן הצפה בחדר.

יש לאתר את הנזילה בזמן היווצרותה, לזהות את האזור, לבודד אותו ולשמור ככל האפשר על פעילות יתר הארונות.

תקן ירוק והסמכה סביבתית

תו ירוק למבנה אינו מוענק רק משום שמרכז הנתונים משתמש במים מושבים או משיג WUE נמוך.

הסמכה סביבתית בוחנת את המתקן כמערכת שלמה, ובה:

• אנרגיה;
• מים;
• קרקע;
• חומרים;
• פסולת;
• בריאות;
• ניהול;
• תחבורה;
• חדשנות;
• השפעות סביבתיות.

ת"י 5281

התקן הישראלי ת"י 5281 עוסק בבנייה בת־קיימה וכולל דרישות כלליות וכן מסלולים וסיווגים למבנים שונים, לרבות מבנים שאינם מיועדים למגורים.

במרכז נתונים יש לברר כבר בשלב התכנון:

• לאיזה חלק של התקן מסווג המבנה;
• אילו שטחים נכללים בהסמכה;
• כיצד מטופלים שטחי התהליך;
• כיצד נמדדות מערכות הקירור;
• כיצד נמדדים המים;
• אילו מסמכים נדרשים;
• כיצד מתבצע ה־Commissioning;
• מי אחראי לאיסוף הראיות;
• אילו בדיקות נדרשות בסיום ההקמה.

הסמכה ירוקה אינה תחליף לתכנון הנדסי, אך היא יכולה ליצור מסגרת מסודרת למדידה, תיעוד, בדיקות ושיפור ביצועים.

קיימות סביבתית מעבר למים

הביצועים הסביבתיים של מרכז נתונים כוללים יותר מצריכת המים.

יש לבחון גם:

• פליטות גזי חממה;
• מקור החשמל;
• שיעור האנרגיה המתחדשת;
• אפשרות להשבת חום;
• רעש ממאווררים ומגנרטורים;
• פליטות מזהמים מגנרטורים;
• חומרי קירור;
• פוטנציאל התחממות גלובלית;
• ניהול פסולת אלקטרונית;
• טיפול בסוללות;
• חומרים מסוכנים;
• זיהום אור;
• ניהול מי נגר;
• השפעה על הקרקע;
• השפעה על מערכות אקולוגיות;
• חומרי בנייה;
• פחמן גלום.

WUE נמוך אינו מפצה על PUE גבוה, ו־PUE נמוך אינו מצדיק שימוש בלתי מבוקר במים שפירים באזור הסובל מעקת מים.

התכנון הנכון מחפש נקודת איזון מערכתית ולא אופטימיזציה של מדד יחיד.

טעויות שעולות מיליוני שקלים

בחירת מערכת לפי PUE בלבד

מערכת אידויית עשויה להציג יעילות אנרגטית טובה, אך ליצור תלות גדולה במים, טיפול כימי ומערכות ניקוז.

בחירת מערכת לפי WUE בלבד

מערכת נטולת מים עשויה לדרוש צריכת חשמל גבוהה יותר בימי קיץ ולהגדיל את עלויות התפעול ואת טביעת המים העקיפה.

הנחה שקירור נוזלי צורך בהכרח הרבה מים

הנוזל בתוך השרת עשוי להסתחרר במעגל סגור. צריכת המים נקבעת בעיקר במערכת סילוק החום החיצונית.

הנחה שכל ציוד AI יכול לעבוד ב־45°C

מחלקת W45 אינה מתאימה אוטומטית לכל שרת, מאיץ או דור חומרה. נדרש אישור יצרן ותכנון לפי עומס החום בפועל.

תכנון מצננים יבשים ללא בדיקת יום קיצון

מערכת המתפקדת היטב ברוב השנה עלולה לאבד קיבולת דווקא בגל חום ובעומס IT מלא.

שימוש במים מושבים ללא בדיקת איכות

כלורידים, מלחים, מוצקים וחומר אורגני עלולים לגרום לקורוזיה, אבנית וסתימות.

הסתמכות על מקור מים יחיד

תקלה בקו העירוני או במערכת הקולחים עלולה להשבית את הקירור דווקא ביום החם ביותר.

היעדר מדי מים נפרדים

ללא Sub-metering לא ניתן לדעת היכן המים נצרכים, לזהות נזילות או למדוד את יעילות פעולות החיסכון.

תכנון לפי צריכה ממוצעת

מאגר המים ומערכות ההזנה חייבים להיבדק לפי עומס מלא ויום תכנון קיצוני, ולא לפי ממוצע שנתי.

העלאת מחזורי הריכוז ללא בקרה

חיסכון קצר טווח ב־Blowdown עלול לגרום לאבנית, קורוזיה והשבתת מחליפי חום.

חיבור מערכות ללא הפרדה

חיבור שגוי בין מים מושבים למי שתייה יוצר סיכון תפעולי, בריאותי ורגולטורי.

ויתור על שטיפה ופסיבציה

לכלוך שנשאר לאחר הבנייה עלול לסתום Cold Plates ומחליפי חום כבר בתחילת ההפעלה.

תכנון ללא התייחסות לדור החומרה הבא

מערכת המתוכננת רק לפי השרתים הנוכחיים עלולה להפוך למגבלה כאשר יותקנו מעבדים בעלי שטף חום גבוה יותר.

התמקדות בתו הירוק במקום בביצועים

הסמכה היא כלי חשוב, אך אינה מחליפה מדידה רציפה, תחזוקה, בקרה ושיפור תפעולי.

מה חייב להופיע בתכנון?

תוכנית מים מקצועית למרכז נתונים צריכה לכלול לפחות:

1. מאזן מים שנתי וחודשי;
2. חישוב WUE צפוי;
3. הפרדה בין מים שפירים למים חלופיים;
4. סימולציה משולבת של PUE ו־WUE;
5. ניתוח תנאי האקלים;
6. בדיקת שעות Dry Cooling;
7. בדיקת יום תכנון קיצוני;
8. הגדרת מחלקת המים של ציוד ה־IT;
9. בדיקת התאמה לדור חומרה עתידי;
10. הגדרת מקורות המים הראשיים והחלופיים;
11. מפרט איכות מים לכל מעגל;
12. חישוב מאגרים;
13. תרחישי חירום;
14. תוכנית טיפול במים;
15. הגנה מפני זרימה חוזרת;
16. Sub-metering לכל מערכת מרכזית;
17. חיבור הנתונים ל־BMS ול־DCIM;
18. תוכנית איתור נזילות;
19. נהלי שטיפה ומילוי;
20. תוכנית Commissioning;
21. תוכנית דיגום מעבדתי;
22. יעדי צריכה שנתיים;
23. תוכנית תחזוקה;
24. בקרת קורוזיה;
25. בקרת פעילות מיקרוביולוגית;
26. בדיקת התאמה לת"י 5281;
27. תוכנית דיווח;
28. עתודה להרחבת האתר;
29. בדיקת כדאיות מים מושבים;
30. בדיקת השבת חום.

סיכום

מים הופכים לאחד המשתנים האסטרטגיים בתכנון מרכזי נתונים. לא משום שכל מתקן צורך בהכרח כמויות מים גדולות, אלא משום שהבחירה בין קירור יבש, אידויי, אדיאבטי, נוזלי או היברידי משפיעה ישירות על צריכת האנרגיה, על אמינות המתקן ועל יכולתו לפעול בתנאי אקלים קיצוניים.

בעידן ה־AI, קירור Direct-to-Chip וטמפרטורות מים גבוהות יחסית פותחים אפשרות חדשה: לפנות את החום באמצעות מצננים יבשים במשך חלק גדול משעות השנה, לצמצם את השימוש בצ'ילרים ולהפחית את צריכת המים לרמה נמוכה מאוד.

אפשרות זו עשויה להיות משמעותית במיוחד בישראל, אך היא אינה פתרון אוטומטי. היא מחייבת התאמה לציוד ה־IT, סימולציה שנתית, בדיקת יום קיצון, תכנון יתירות והיערכות לדורות החומרה הבאים.

מרכז נתונים מקיים אינו מתמקד רק בהפחתת מספר הליטרים. הוא בוחן איזה מים נצרכים, מאיזה מקור, באיזו תקופה, באיזה אזור ובאיזה מחיר אנרגטי ותפעולי.

היעד אינו WUE נמוך בכל מחיר, אלא מערכת מים מדודה, מבוקרת ובעלת שרידות: מערכת היודעת להשתמש במים באיכות המתאימה, לצמצם מים שפירים, לזהות נזילות, לשרוד הפסקת אספקה ולשמור על איכות הקירור לאורך כל חיי המתקן.

כאשר ניהול המים משולב כבר בשלב בחירת האתר, בתכנון מערכת הקירור, במערכות ה־BMS וה־DCIM ובאסטרטגיית הקיימות של הפרויקט, הוא מפסיק להיות מגבלה סביבתית והופך לכלי הנדסי וכלכלי.

כך ניתן להקים מרכז נתונים יעיל יותר, עמיד יותר ומותאם יותר לעידן ה־AI – מבלי להתפשר על המשימה החשובה ביותר: רציפות הפעילות של התשתית הדיגיטלית.

מאמר זה הוא חלק מהמדריך המקצועי להקמת מרכזי נתונים וחוות שרתים.

הבהרה משפטית: המידע במדריך נועד למידע מקצועי וכללי בלבד ואינו מהווה ייעוץ הנדסי, תכנוני, בטיחותי, משפטי או רגולטורי. האחריות לתכנון ולביצוע חלה על הגורמים המקצועיים ובהתאם לדין ולתקנים המחייבים. קבוצת פורטל נט אינה אחראית לנזק שייגרם מהסתמכות על התוכן.

© כל הזכויות שמורות לקבוצת פורטל נט.