בריטל ישראל מסבירים מדוע מרכז הנתונים החדש חייב להיבנות כמערכת אחת – מה־Rack והכבילה, דרך החשמל והקירור ועד לניטור, תחזוקה והתרחבות עתידית.
צפיפות ההספק עולה, ארונות השרתים הופכים עמוסים יותר, מערכות התקשורת מורכבות יותר והניטור נדרש להגיע עד לרמת הרכיב. בעידן ה־AI כבר אי אפשר לתכנן בנפרד את הארון, הכבילה, החשמל, הקירור והבקרה. בריטל ישראל מסבירים מדוע מרכז הנתונים החדש חייב להיבנות כמערכת אחת – כזו שמתוכננת מראש גם לתחזוקה, להתרחבות ולעומסים של הדור הבא.
תוכן מקצועי בשיתוף RITTAL ישראל
מרכז נתונים מודרני נראה מבחוץ כמו אוסף של מערכות נפרדות: ארונות שרתים, תשתיות תקשורת, מערכות חשמל, קירור, ניטור, בקרה ואבטחה. בפועל, ככל שעולה צפיפות המחשוב, ההפרדה הזו הולכת ונעלמת.
יעקב אברהם, מנכ"ל ריטל ישראל, מלווה במשך שנים את תחומי תשתיות החשמל, ה־IT ומרכזי הנתונים בישראל. לצד תפקידו הניהולי הוא פעיל גם בתחום התקינה המקצועית ומשתתף בוועדות תקינה בינלאומיות ובוועדות מומחים בתחום לוחות החשמל. לדבריו, המעבר לעידן ה־AI מחייב שינוי תפיסתי: כבר לא נכון לתכנן בנפרד את הארון, החשמל, התקשורת, הקירור והניטור.
"מרכז הנתונים של היום הוא מערכת אחת", אומר אברהם. "האתגר הוא לא רק לבחור ציוד טוב, אלא לוודא שכל שכבות התשתית מתוכננות לעבוד יחד – גם עם הדור הבא של ציוד המחשוב."
הגישה הזו עומדת במרכז השינוי שעובר כיום עולם חוות השרתים. עומס גבוה בארון משפיע על הקירור; תכנון הכבילה משפיע על זרימת האוויר; חלוקת החשמל משפיעה על מיקום הציוד; הניטור משפיע על התחזוקה; והיכולת של צוות התפעול להגיע במהירות לרכיב מסוים יכולה להיות קריטית לא פחות מהטכנולוגיה עצמה.
צפיפות הספק משנה את כל נקודת המוצא
אחד השינויים הבולטים ביותר בחוות השרתים הוא העלייה בצפיפות ההספק.
מערכות מחשוב מסורתיות פעלו במשך שנים בצפיפויות שאפשרו לפזר את העומס בין מספר גדול של ארונות ולקרר אותם באמצעות מערכות אוויר.
הכניסה של שרתי AI, מאיצים גרפיים ומערכות HPC משנה את התמונה.
יותר כוח מחשוב נכנס לאותו שטח פיזי, ולכן עולה גם צריכת החשמל בכל Rack וגם כמות החום שנדרשת לפינוי.
בשלב הזה הארון כבר אינו רק מארז לציוד. הוא הופך לחלק ממערכת הנדסית הכוללת חלוקת חשמל, קירור, ניהול כבילה, חיישנים, בקרת גישה וניטור.
תכנון נכון צריך להתחיל בשאלה מה תהיה צפיפות ההספק העתידית ולא רק מה מותקן ביום ההפעלה.
הפער הזה חשוב במיוחד מכיוון שמרכז נתונים מתוכנן לפעול שנים רבות, בעוד שהשרתים והמעבדים שבתוכו מתחלפים בקצב מהיר בהרבה.
High Density דורש ארון שמתוכנן אחרת
ככל שצפיפות ההספק עולה, כך גם התכנון הפיזי של הארון הופך קריטי יותר.
ניהול לא נכון של פתחים, דלתות או אזורים פנויים יכול לפגוע בזרימת האוויר וליצור Hot Spots גם כאשר למתקן יש לכאורה קיבולת קירור מספקת.
גם אופן ניהול הכבילה משפיע ישירות על הביצועים.
כבלים שמונחים בצורה לא מסודרת עלולים להפריע לזרימת האוויר, להקשות על החלפת ציוד ולהגדיל את משך זמן הטיפול בתקלה.
לכן בסביבות High Density נדרש תכנון שמביא בחשבון לא רק את גודל הארון אלא גם את עומק הציוד, משקל השרתים, זרימת האוויר, הכבילה, חלוקת החשמל ונגישות התחזוקה.
התקשורת הופכת לצפופה לא פחות מהחשמל
מרכזי הנתונים של הדור החדש נדרשים להתמודד לא רק עם יותר הספק אלא גם עם יותר תעבורת מידע.
מערכות AI ויישומי HPC יוצרים דרישה לקישוריות מהירה מאוד בין השרתים ולתשתיות תקשורת צפופות המבוססות על סיבים אופטיים וחיבורים בקצבים גבוהים.
המשמעות היא שארון תקשורת כבר אינו יכול להיות מתוכנן בנפרד מהארון שבו מותקן ציוד המחשוב.
ככל שמספר הכבלים והסיבים גדל, כך עולה החשיבות של מסלולי כבילה ברורים, הפרדה בין תשתיות, סימון מסודר ונגישות.
תכנון נכון צריך לאפשר גם הרחבה.
מרכז נתונים שמתוכנן בדיוק לצרכים של יום ההפעלה עלול להפוך בתוך זמן קצר למערכת צפופה שקשה לנהל, לתחזק ולהרחיב.
לכן תכנון תשתיות התקשורת חייב להתחשב מראש בשדרוגים, הוספת פורטים, החלפת ציוד והגדלת קיבולת.
הקירור מתקרב אל מקור החום
במערכות בצפיפות גבוהה, גם הקירור משתנה.
קירור אוויר ממשיך להיות פתרון מרכזי בחוות שרתים, אך ככל שעומסי החום עולים ניתן לראות מעבר לפתרונות שמקרבים את פינוי החום למקור עצמו.
אחת המגמות המרכזיות היא Direct Liquid Cooling.
במערכת כזו מועבר נוזל קירור אל סביבת רכיבי המחשוב עתירי החום, במקום להסתמך רק על קירור האוויר בחדר.
אחד הרכיבים המרכזיים במערכות כאלה הוא CDU – Cooling Distribution Unit, שמנהלת את זרימת הנוזל ואת החיבור בין מערכת הקירור של המבנה לבין ציוד המחשוב.
ריטל מציעה פתרונות בתחום זה בטווחי הספק שונים, לרבות פתרונות In-Row המיועדים לעומסי מחשוב גבוהים.
עם זאת, המעבר לקירור נוזלי אינו בהכרח מעבר מלא.
בחוות שרתים רבות ניתן ליצור תשתית היברידית: חלק מהארונות ממשיכים לפעול עם קירור אוויר, בעוד אזורי AI צפופים יותר מקבלים קירור נוזלי.
כך ניתן להתאים את ההשקעה לקצב שבו משתנה סביבת המחשוב בפועל.
מניטור כללי לניטור עד רמת הארון
ככל שהמערכת מורכבת יותר, כך עולה החשיבות של ניטור.
במרכז נתונים מודרני לא מספיק לדעת שטמפרטורת החדר תקינה.
צריך לדעת מה קורה בכל אזור, בכל ארון ולעיתים בכל נקודת הזנה.
מערכות ניטור יכולות לעקוב אחר שורה ארוכה של נתונים: צריכת חשמל, עומסים, טמפרטורה, לחות, פתיחת דלתות, עשן, נזילות, מצב ה־PDU ונתוני ציוד נוספים.
כאשר הנתונים האלה מחוברים למערכת ניהול מרכזית או ל־DCIM, צוות התפעול מקבל תמונה רציפה של מצב המתקן.
היתרון אינו רק בהתראה על תקלה.
המערכת יכולה להראות מגמות.
אם טמפרטורה באזור מסוים עולה לאורך זמן, אם עומס החשמל מתקרב לקיבולת או אם מתגלות חריגות חוזרות באותו ארון – ניתן לטפל בבעיה לפני שהיא גורמת להשבתה.
מדידה מאפשרת לנהל קיבולת
ניטור מדויק חשוב גם בהיבט אחר: ניצול הקיבולת.
מרכז נתונים יכול להיראות מבחוץ כאילו הוא מלא, אבל בפועל הקיבולת החשמלית או התרמית שלו אינה מחולקת בצורה אחידה.
מצד שני, אולם יכול להיראות פנוי אך להיות קרוב למגבלת ההספק באחד האזורים.
ללא מידע ברמת הארון קשה לדעת היכן אפשר להוסיף ציוד והיכן לא.
מערכות PDU חכמות וחיישנים מאפשרים להבין כמה חשמל צורך כל אזור, מהי יתרת הקיבולת ואיפה קיימת מגמה של עלייה בעומס.
בכך הופך הניטור גם לכלי תכנוני.
הוא מאפשר למנהל המתקן לקבל החלטות על הרחבה, שינוי פריסה או העברת עומסים על בסיס נתונים ולא על בסיס הערכה.
מתגובה לתקלה לתחזוקה מונעת
אחד השינויים המשמעותיים בעולם התפעול הוא המעבר מתחזוקה תגובתית לתחזוקה מונעת.
בעבר מודל העבודה היה פשוט: ציוד פועל עד שמתגלה תקלה, ואז צוות התחזוקה נכנס לפעולה.
בחוות שרתים קריטיות התפיסה הזו אינה מספיקה.
היעד הוא לזהות תנאים שמובילים לתקלה עוד לפני שהתקלה מתרחשת.
עלייה בטמפרטורה, עומס חריג, שינוי בצריכת החשמל או סימנים לנזילה יכולים להיות אינדיקציה מוקדמת לבעיה.
מערכת ניטור טובה יכולה להפוך את המידע הזה לפעולה.
במקום לקבל התראה לאחר כשל, צוות התחזוקה יכול לקבל סימן מוקדם ולבצע טיפול יזום.
כך משתנה גם תפקידו של איש התחזוקה.
הוא אינו רק מי שמגיע כאשר משהו התקלקל, אלא מי שמנהל את אמינות התשתית לאורך זמן.
תכנון לתחזוקה מתחיל כבר בהקמה
תחזוקה טובה אינה מתחילה ביום שבו מסתיים הפרויקט.
היא מתחילה בשלב התכנון.
גישה נוחה לארונות, סימון ברור של כבלים, חלוקה מסודרת של אזורי החשמל, יכולת להחליף רכיבים ללא השבתה וארגון נכון של הציוד – כל אלה משפיעים על משך הטיפול בתקלות ועל רמת הסיכון בזמן עבודה.
גם מודולריות משחקת כאן תפקיד מרכזי.
כאשר מערכות בנויות באופן מודולרי, ניתן לעיתים להחליף או לשדרג רכיב נקודתי מבלי להשפיע על המערכת כולה.
במרכז נתונים קריטי זו אינה רק נוחות.
זו חלק מאסטרטגיית הזמינות.
מודולריות מאפשרת לחווה לגדול בלי לבנות הכול מראש
אחד האתגרים הגדולים בהקמת חוות שרתים הוא חוסר הוודאות.
המפעיל יודע פחות או יותר מה הוא צריך ביום הפתיחה, אך קשה לדעת בדיוק אילו עומסי AI יהיו במתקן בעוד כמה שנים.
לכן אחד העקרונות החשובים הוא Scalability.
במקום לבנות את כל הקיבולת מראש, ניתן ליצור תשתית שמאפשרת להוסיף ארונות, חשמל, קירור וניטור בהתאם לקצב הגידול.
גישה זו באה לידי ביטוי גם בתפיסת POD – Performance Optimized Datacenter של ריטל, שמחברת מספר שכבות תשתית למערכת מודולרית אחת.
היתרון הוא לא רק בהקמה.
פרסום
הוא גם בתפעול.
כאשר סביבת השרתים בנויה במודולים ברורים, קל יותר להבין מה שייך לכל אזור, לתחזק את המערכת ולהרחיב אותה בהמשך.
היכולת המקומית הופכת לחלק מהשרידות
טכנולוגיה גלובלית היא רק חלק מהמשוואה.
בחוות שרתים שפועלות בישראל קיימת חשיבות גם לזמינות מקומית של ציוד, חלפים, אנשי שירות ויכולות הנדסיות.
ריטל ישראל הרחיבה בשנים האחרונות את מערך הלוגיסטיקה, ההרכבות והעיבוד המקומי שלה, ומשלבת תהליכי תכנון דיגיטלי ואוטומציה בתהליכי הייצור.
מבחינת מרכז נתונים, הערך אינו רק בזמן האספקה הראשוני.
היכולת לקבל תמיכה מקומית, חלפים ושירות לאורך חיי המתקן יכולה להיות חלק מהיכולת לעמוד ב־SLA ולצמצם זמני השבתה.
ריטל הרחיבה גם את פעילותה בתחום הדאטה סנטרים באמצעות שיתוף פעולה עם קבוצת אפקון, שמחבר בין פתרונות התשתית של החברה לבין יכולות אינטגרציה, הקמה, שירות ותחזוקה בישראל.
מרכז נתונים שלא מתוכנן לתחזוקה – משלם על כך בהמשך
קל להתרכז בשלב ההקמה.
זו הנקודה שבה מתקבלות רוב ההחלטות, נרכש הציוד ומבוצעת ההשקעה הגדולה.
אבל לאורך חיי המתקן, העלויות והסיכונים מושפעים במידה רבה דווקא מהתפעול.
מערכת שקשה לנטר, קשה לתחזק או קשה להרחיב יוצרת עומס מתמשך על צוותי התפעול.
לעומתה, מערכת שבה הארונות, התקשורת, החשמל והניטור תוכננו יחד מאפשרת תפעול פשוט יותר, זיהוי מהיר יותר של תקלות ותגובה יעילה יותר לאירועים.
מכאן מגיעה החשיבות של תפיסה מערכתית.
ארבע שכבות, מערכת אחת
אפשר לחלק את האתגר של חוות השרתים לארבע שכבות מרכזיות:
צפיפות הספק – כמה כוח מחשוב וחשמל ניתן לרכז בכל ארון.
תקשורת – כיצד מעבירים כמויות גדולות של מידע במהירות ובשרידות.
ניטור ובקרה – כיצד יודעים בזמן אמת מה קורה במערכת.
תפעול ותחזוקה – כיצד שומרים על זמינות לאורך שנים.
אלא שבפועל אין באמת גבול ברור בין השכבות האלה.
צפיפות גבוהה מגדילה את דרישות הקירור והחשמל. תשתית תקשורת צפופה משפיעה על הארגון הפיזי של הארון. הניטור מספק את הנתונים לתחזוקה. והתחזוקה תלויה בדרך שבה כל המערכת תוכננה מראש.
זו הסיבה שבעידן ה־AI, מרכז הנתונים החדש צריך להיבנות כמערכת אחת.
לא אוסף של רכיבים.
לא אוסף של ספקים.
אלא תשתית אחת מתואמת, שבה כל שכבה מתוכננת מתוך הבנה של השכבות האחרות.
לדברי אברהם, זהו בדיוק ההבדל בין מרכז נתונים שמתאים ליום ההפעלה לבין מרכז נתונים שמוכן גם לעשור הבא.
"השאלה החשובה היא לא רק אם המערכת תעבוד ביום הראשון, אלא האם היא תדע לקבל את הדור הבא של השרתים, הקירור והתקשורת מבלי להפוך את התשתית עצמה לצוואר הבקבוק."
בשיתוף RITTAL ישראל
