איך מתכננים רשת תקשורת למרכז נתונים?

רשת תקשורת במרכז נתונים מתוכננת כדי לספק רוחב פס גבוה, זמני השהיה נמוכים ושרידות במקרה של תקלה. התכנון כולל תשתיות סיבים אופטיים וכבילה, מתגים, מסלולים פיזיים נפרדים, קישוריות למפעילי תקשורת וארכיטקטורה המתאימה לעומסי המחשוב. במרכזים מודרניים נפוצה ארכיטקטורת Spine-Leaf המאפשרת תקשורת מהירה בין שרתים בהיקפים גדולים. בנוסף יש לתכנן יתירות וקישוריות חיצונית כך שכשל בקו או בציוד לא ישבית את פעילות המרכז.

כיצד מתכננים תשתית Spine-Leaf, סיבים אופטיים, מחברי MPO ו־Meet-Me Room שתתמודד עם עומסי AI, כשלי ציוד והדור הבא של Ethernet

מרכז נתונים מודרני אינו רק מבנה שבו מוצבים שרתים. זוהי מערכת מחשוב מבוזרת, שבה אלפי ולעיתים עשרות אלפי מעבדים, מאיצים, מערכי אחסון ומתגי תקשורת נדרשים לפעול כמערכת אחת. במערכת כזו, רשת התקשורת אינה רכיב תומך בלבד: היא קובעת כמה מההספק התיאורטי של השרתים אכן יהיה זמין ליישומים.

שרת בעל מעבדים חזקים ומאיצי GPU מתקדמים עלול להישאר בלתי מנוצל אם הנתונים אינם מגיעים אליו בזמן. בדומה לכך, מערך אחסון מהיר אינו יכול לספק את ביצועיו המתוכננים אם קישורי התקשורת סובלים מעומס, מאובדן מנות, מחוסר איזון בין נתיבים או מזמני השהיה בלתי צפויים.

האתגר מחריף במערכות AI ו־HPC, מחשוב עתיר ביצועים, שבהן כמות גדולה של שרתים מעבדת במקביל את אותו מודל או את אותו מערך נתונים. חלק ניכר מהתעבורה אינו יוצא כלל לאינטרנט, אלא נע בין שרתים, מדפים ומערכי אחסון בתוך מרכז הנתונים – תעבורה המכונה East-West Traffic. לכן, איכות הרשת הפנימית משפיעה ישירות על משך האימון, ניצולת המאיצים, ביצועי האחסון ועלות כל יחידת חישוב.

תקן ANSI/TIA-942-C מתייחס לתקשורת, לכבילה ולשרידות כחלק בלתי נפרד מתכנון מרכז הנתונים, לצד מערכות החשמל, הקירור, האבטחה והבטיחות. העדכון האחרון של התקן כולל התאמות לצפיפות כבילה גבוהה יותר, כמו הגדרת רוחב ארונות מינימלי של 800 מ"מ באזורי הציוד המרכזיים, דרישות קירור מתקדמות לעומסי AI וקישורי שרת־מתג ומתג־מתג מהירים במיוחד.

מהירות לבדה אינה מספיקה

כאשר בוחנים רשת תקשורת למרכז נתונים, הנטייה הראשונה היא להשוות מהירויות: 25GbE, ‏100GbE, ‏400GbE, ‏800GbE או אפילו 1.6TbE. אלא שקצב הקישור הוא רק אחד ממדדי הביצועים.

רשת טובה נדרשת לספק ארבעה מאפיינים במקביל:

רוחב פס: כמות המידע שניתן להעביר ביחידת זמן.

Latency: הזמן העובר מרגע שליחת המידע ועד הגעתו ליעד.

יציבות: היכולת לשמור על זמני תגובה צפויים גם בשעות עומס.

שרידות: היכולת להמשיך לפעול לאחר כשל בקישור, במתג, בנתב, במודול אופטי או בתוואי הכבילה.

קישור של 400Gbps או 800Gbps אינו מבטיח בהכרח ביצועים טובים יותר מקישור איטי ממנו. אם הוא מחובר לארכיטקטורה בעלת יחס Oversubscription גבוה, עובר דרך מספר רב של מתגים או צובר תורים בנקודות עומס, הביצועים בפועל יהיו נמוכים משמעותית מהקיבולת הנקובה.

הבעיה המרכזית אינה תמיד ה־Latency הממוצע, אלא ה־Tail Latency – זמני ההשלמה של האחוזון ה־99 או ה־99.9, המסומנים P₉₉ ו־P₉₉.₉.

יישום AI מבוזר, המבוסס על סנכרון מתמיד בין אלפי מעבדים במנגנונים דוגמת All-Reduce, ייאלץ להמתין לתשובה האיטית ביותר מתוך מאות פעולות מקבילות. במקרה כזה, מספר קטן של זרימות שהתעכבו בתור, המכונות Stragglers, יקבע את זמן ההשלמה של המשימה כולה.

הצטברות תורים, תעבורת רקע ותופעות Incast עלולות להאריך משמעותית את זמני ההשלמה של זרימות קצרות, גם כאשר רוחב הפס הכולל נראה מספק.

Spine-Leaf: הארכיטקטורה של מרכז הנתונים המודרני

ארכיטקטורת Spine-Leaf מבוססת על עקרונות רשת Clos רב־שלבית. במקום היררכיה מסורתית של Access, ‏Aggregation ו־Core, הרשת מחולקת לשתי שכבות מרכזיות.

שכבת Leaf

מתגי ה־Leaf ממוקמים בקרבת השרתים ומערכי האחסון, לרוב בתצורת Top-of-Rack בארונות. אליהם מתחברים השרתים, בקרי האחסון ומערכות האבטחה.

שכבת Spine

מתגי ה־Spine משמשים כשדרת הרשת, ה־Backbone. כל מתג Leaf מתחבר פיזית לכל אחד ממתגי ה־Spine, כך שבין שני מתגי Leaf קיימים מספר נתיבים מקבילים.

תעבורה בין שרתים המחוברים לאותו Leaf נשארת מקומית. תעבורה בין שני מתגי Leaf שונים תעבור תמיד במסלול קבוע של Leaf–Spine–Leaf. מספר השלבים הקבוע מונע הפתעות ב־Latency ומצמצם את ההבדלים בין נתיבים שונים, וכך מייצר תשתית אידיאלית להרחבה אופקית, Scale-out.

ECMP וריבוי נתיבים

אחד העקרונות המרכזיים ברשת Spine-Leaf הוא ECMP, ‏Equal-Cost Multi-Path. כאשר קיימים מספר מסלולים בעלי עלות ניתוב זהה, המתגים יכולים לחלק ביניהם את הזרימות.

עם זאת, בחירת הנתיב ב־ECMP סטנדרטי נעשית לרוב על בסיס Hash של פרוטוקול התחבורה, הכולל כתובות ופורטים. זרימה אחת גדולה ורציפה, המכונה Elephant Flow ונפוצה מאוד בהעברות קבצי משקל של מודלי AI או גיבויים, אינה מתפצלת בין נתיבים. היא תישאר על נתיב יחיד ותעמיס אותו, בעוד שקישורים אחרים יישארו פנויים.

כדי להתמודד עם אתגר זה בעומסי AI, ארכיטקטורות מודרניות משלבות טכנולוגיות ניתוב דינמיות כמו Adaptive Routing, המעבירה מנות מידע במסלולים פנויים בזמן אמת, או שימוש בפרוטוקול RoCEv2, ‏RDMA over Converged Ethernet.

הפרוטוקול מאפשר גישה ישירה לזיכרון השרת המרוחק ללא תלות במעבד, בשילוב מנגנוני בקרת זרימה קפדניים כמו PFC, ‏Priority Flow Control, למניעת אובדן מנות.

יחס Oversubscription: המספר שמאחורי רוחב הפס

יחס Oversubscription מתאר את היחס בין קיבולת החיבורים הפונים לשרתים לבין הקיבולת העולה אל שכבת ה־Spine.

לדוגמה, אם מתג Leaf מספק לשרתים קיבולת מצטברת של 3.2Tbps, אך מחובר ל־Spine בקישורים שקיבולתם הכוללת 1.6Tbps, יחס ה־Oversubscription הוא 2:1. המשמעות היא שלא כל השרתים יכולים לנצל בו־זמנית את מלוא מהירות הממשק שלהם לתעבורה חיצונית.

יחס של 1:1 מספק רשת שהיא לחלוטין Non-Blocking, אך היא יקרה משמעותית ודורשת כמות כפולה של פורטים, אופטיקה וסיבים. באשכולות AI, שבהם מעבדי ה־GPU מתקשרים ביניהם כמעט ללא הפסקה וברוחב פס מרבי, יחס של 1:1 הוא הכרחי.

ברשתות ארגוניות סטנדרטיות, יחסים של 3:1 או אפילו 4:1 עשויים להספיק ולהיות משתלמים יותר מבחינה כלכלית.

סיבים אופטיים: התשתית הפיזית של רשת מהירה

ככל שקצב התקשורת עולה, התלות בתשתית הסיבים האופטיים גדלה. נחושת, באמצעות כבלי DAC או ACC, ממשיכה לשמש בעיקר לחיבורים קצרים בתוך הארון, עד מטרים בודדים. לעומת זאת, קישורי Spine-Leaf, חיבורי Backbone וקישורים אל ה־Meet-Me Room מבוססים ברובם על סיבים אופטיים.

Multimode Fiber

סיבים רב־אופניים, כגון OM3, ‏OM4 ו־OM5, משמשים בעיקר לחיבורים קצרים בתוך המבנה, בדרך כלל עד 50–100 מטר. יתרונם ההיסטורי היה בעלות הנמוכה יותר של המודולים האופטיים, המבוססים על משדרי VCSEL.

עם זאת, ככל שהמהירויות עולות ל־800G ול־1.6T, מרחקי העבודה של סיבי Multimode מתקצרים באופן משמעותי, והם הופכים פחות רלוונטיים לתשתיות הליבה העתידיות.

Single-Mode Fiber

סיב חד־אופני, בדרך כלל מסוג OS2, מתאים לטווחים ארוכים ומהווה את הדרך הבטוחה ביותר לשדרוג עתידי. הוא משמש בין אולמות, אל חדרי ה־Meet-Me Room ובקישורי Campus.

תשתית Single-Mode מונעת את הצורך בהחלפת הכבילה הפסיבית כאשר משדרגים את המתגים. עם השלמת תקינת IEEE 802.3df ל־800GbE והעבודה על תקן IEEE 802.3dj, המגדיר ערוצים של 200G לכל נתיב אופטי בדרך ל־1.6TbE, סיבי Single-Mode בשילוב אופטיקה מקבילית הופכים לבחירה הסטנדרטית גם למרחקים קצרים במרכזי נתונים מודרניים.

MPO: מחברים צפופים לדור הבא

מחבר MPO, ‏Multi-fiber Push On, מרכז מספר סיבים בתוך פירול, Ferrule, יחיד. הוא קריטי ליישומי אופטיקה מקבילית, שבהם הנתונים מפוצלים ומשודרים במקביל על פני מספר סיבים.

MTP הוא מותג מסחרי משופר מבחינה מכנית של מחבר MPO, ולא תקן נפרד.

MPO-12: התקן המסורתי שבו נעשה שימוש בחיבורי 100G ו־400G. לדוגמה, ארבעה סיבים משמשים לשידור, ארבעה לקליטה וארבעה נותרים ללא שימוש.

MPO-16 ומחברים בעלי מספר שורות, כמו MPO-32: הדור החדש, שהופך לסטנדרט מרכזי עבור רשתות 800G ו־1.6T המבוססות על שמונה או 16 נתיבים אופטיים.

האתגרים הקריטיים בניהול תשתיות MPO

Polarity – קוטביות: ניהול קפדני של כיוון הסיבים, כך שסיב השידור, Tx, בצד אחד יתחבר במדויק לסיב הקליטה, Rx, בצד השני. טעות בבחירת שיטת החיווט, Method A, ‏B או C, תמנע קישוריות.

Gender: התאמה בין מחברים זכריים, הכוללים פיני יישור פיזיים, לבין מחברים נקביים. חיבור זכר לזכר עלול לגרום נזק פיזי, ואילו חיבור נקבה לנקבה לא ייצור מגע אופטי תקין.

Insertion Loss – הפסד ניחות: כל חיבור MPO רגיש במיוחד. לכלוך מיקרוסקופי על אחד הסיבים בפירול עלול להשבית מספר ערוצים בו־זמנית או לגרום לשגיאות ביטים, Bit Errors. שגיאות אלה יפעילו מנגנוני תיקון שגיאות, FEC, ויגדילו את ה־Latency הכולל.

מה באמת יוצר Latency ברשת?

זמן התגובה הכולל ברשת מורכב מחמישה רכיבים פיזיקליים ולוגיים:

Latency = Propagation Delay + Serialization Delay + Switching Delay + Queueing Delay + Processing Delay

Propagation Delay: הזמן הנדרש לאור לעבור בתוך זכוכית הסיב, כ־5 מיקרו־שניות לכל קילומטר של סיב.

Serialization Delay: הזמן הנדרש לכרטיס הרשת לדחוף את הביטים הפיזיים אל תוך הקישור. רכיב זה קטן ככל שמהירות הקישור עולה. לדוגמה, מעבר מ־100G ל־800G מקטין אותו פי שמונה.

Switching Delay: הזמן שנדרש למעבד הנתונים של המתג, ASIC, לקרוא את כותרת המנה ולהחליט לאן להעביר אותה. במתגי Cut-through מודרניים מדובר לרוב בננו־שניות בודדות.

Queueing Delay: הזמן שבו מנה ממתינה בחוצץ, Buffer, של המתג בגלל גודש ברשת. זהו הרכיב הדינמי והמסוכן ביותר, והוא הגורם העיקרי לעלייה ב־Tail Latency.

Optical and FEC Processing Delay: הזמן שבו המערכת מפעילה אלגוריתמים לתיקון שגיאות, Forward Error Correction, ברמת האופטיקה. מנגנונים אלה נדרשים יותר ככל שעולים במהירויות הקישור.

פרסום

שרידות פיזית: כפילות אינה בהכרח יתירות

טעות נפוצה בתכנון היא להניח ששני כבלים נפרדים המחוברים למתגים שונים מעניקים שרידות. אם שני הסיבים עוברים באותו פיר כניסה למבנה, מונחים באותה תעלת כבילה עילית או עוברים דרך אותו Patch Panel, הם חולקים Failure Domain, מתחם כשל, משותף.

עקרון התכנון השריד: A/B Path מקצה לקצה

במרכז נתונים ברמת זמינות גבוהה, למשל Ratings 3 ו־4 לפי תקן ANSI/TIA-942-C, יש ליישם הפרדה פיזית מלאה.

נתיבי כבילה מופרדים גיאוגרפית: שימוש בתעלות כבילה שונות לחלוטין בתוך אולמות השרתים.

הזנות כפולות לשרתים: שימוש בכרטיסי רשת כפולי פורטים, או בשני כרטיסים נפרדים, המחוברים למתגי Leaf שונים ומקבלים מתח ממקורות חשמל נפרדים.

שני פתחי כניסה למבנה: יצירת Building Entry Conduits נפרדים, כדי למנוע מצב שבו פגיעה פיזית חיצונית בנקודת כניסה אחת מנתקת את המתקן מהעולם החיצון.

Meet-Me Room: שער הגישה הניטרלי

ה־Meet-Me Room, או MMR, הוא אחד המרחבים המאובטחים והרגישים ביותר במרכז הנתונים. בחדר זה נפגשת הרשת הפנימית של המתקן עם ספקי התקשורת החיצוניים, ספקי הענן ונקודות Peering.

במרכזי נתונים מתקדמים מומלץ לתכנן שני חדרי MMR המופרדים פיזית וממוקמים בצדדים שונים של המבנה. כל MMR צריך לכלול מערכות הגנת אש, בקרת לחות וסינון אבק, וכן נתיבי סיבים נפרדים המגיעים ישירות אל אולמות המחשוב, Data Halls.

בדיקות וקבלה: מעבר ל"אור ירוק"

כאשר מקימים או משדרגים תשתית תקשורת, בדיקה שטחית המראה כי הקישור פעיל, Link Light, אינה מספקת. מודול אופטי מסוגל להסתנכרן ולעבוד גם כאשר הוא נמצא על סף כשל אופטי, מצב שעלול להוביל לאובדן מנות סמוי תחת עומס.

תהליך קבלה הנדסי ומקצועי חייב לכלול:

בדיקת ניקיון קצוות, Fiber End-Face Inspection: שימוש במיקרוסקופ סיבים ייעודי לפני כל חיבור, במיוחד במחברי MPO, כדי למנוע שריטות או זיהום מאבק.

מדידות הפסד, Insertion Loss: אימות שתקציב ההפסדים האופטי, Optical Loss Budget, בכל קישור עומד במפרט ומשאיר מרווח ביטחון לשחיקה עתידית.

בדיקות OTDR, ‏Optical Time-Domain Reflectometer: איתור נקודתי של כיפופי סיב חדים, ריתוכים פגומים או החזרים לאורך קו הסיב.

בדיקות BER, ‏Bit Error Rate: הרצת תעבורה בעומס מלא למשך שעות, כדי לוודא שקצב שגיאות הביטים נמוך מהרף המותר לפני הפעלת מנגנוני FEC.

סיכום: עשר הטעויות בתכנון רשת מרכז נתונים והפתרונות ההנדסיים

רשת התקשורת של מרכז הנתונים המודרני אינה רק אוסף של כבלים ומתגים. היא הלב הפועם שמאפשר לכל משאבי החישוב, האחסון והבינה המלאכותית לפעול יחד כמערכת אחת עוצמתית.

תכנון הנדסי אחראי, הצופה את צורכי המתקן לשנים קדימה ומתייחס הן לשכבה הפיזית והן לשכבה הלוגית של הרשת, הוא המפתח למניעת השבתות יקרות, לצמצום צווארי בקבוק ולהבטחת ביצועים מרביים לאורך זמן.

רשת התקשורת של מרכז הנתונים המודרני אינה רק אוסף של כבלים ומתגים; היא הלב הפועם שמאפשר לכל משאבי החישוב וה-AI לפעול יחד כמכונה אחת עוצמתית. תכנון הנדסי אחראי, הצופה פני עתיד ומתחשב בשכבה הפיזית והלוגית כאחד, הוא המפתח למניעת השבתות יקרות ערך ולהבטחת ביצועים מקסימליים לאורך שנים.

מאמר זה הוא חלק מהמדריך המקצועי להקמת מרכזי נתונים וחוות שרתים.

הבהרה משפטית: המידע במדריך נועד למידע מקצועי וכללי בלבד ואינו מהווה ייעוץ הנדסי, תכנוני, בטיחותי, משפטי או רגולטורי. האחריות לתכנון ולביצוע חלה על הגורמים המקצועיים ובהתאם לדין ולתקנים המחייבים. קבוצת פורטל נט אינה אחראית לנזק שייגרם מהסתמכות על התוכן.

© כל הזכויות שמורות לקבוצת פורטל נט.