आधुनिक नेटवर्क में 400G ऑप्टिकल मॉड्यूल

 

फॉर्म फैक्टर युद्ध कोई नहीं जीता

 

QSFP-DD और OSFP दो भाई-बहनों की तरह मानक प्रक्रिया से उभरे, जो किसी भी बात पर सहमत नहीं हो सके, सिवाय इसके कि वे दोनों 400G चाहते थे। उद्योग को प्रत्येक 50Gbps पर आठ विद्युत लेन की आवश्यकता थी, और दो अलग-अलग कंसोर्टियम ने उस समस्या को दो अलग-अलग तरीकों से हल करने का निर्णय लिया।

QSFP-DD ने अनुकूलता तर्क जीत लिया। यह मौजूदा QSFP28 पिंजरों में फिट बैठता है यदि आप काफी जोर से तिरछी नज़र डालते हैं और पिन की दूसरी पंक्ति पर ध्यान नहीं देते हैं। बैकवर्ड संगतता तब मायने रखती है जब आपके पास हजारों तैनात बंदरगाह और एक सीएफओ है जो फंसे हुए संपत्तियों के बारे में स्पष्ट प्रश्न पूछता है।

ओएसएफपी ने थर्मल तर्क जीत लिया। थोड़ा बड़ा आवास और एकीकृत हीटसिंक का मतलब है कि आप वास्तव में इन मॉड्यूल द्वारा खींचे जाने वाले 15{3}}20 वाट को आसन्न बंदरगाहों को पकाए बिना नष्ट कर सकते हैं। मैंने लाइन कार्ड देखे हैं जहां कोने वाले क्यूएसएफपी-डीडी पोर्ट बीच वाले की तुलना में लगातार 8 डिग्री अधिक गर्म चलते हैं क्योंकि एयरफ्लो डिज़ाइन में 100G पावर लिफाफे का अनुमान लगाया गया है।

वास्तव में कोई भी नहीं जीता। अधिकांश हाइपरस्केलर्स इन्वेंट्री सरलता के लिए QSFP-DD गए। अधिकांश दूरसंचार परिनियोजन ओएसएफपी चले गए क्योंकि उनके सुसंगत मॉड्यूल को थर्मल हेडरूम की आवश्यकता थी। बाकी सभी ने अपने स्विच विक्रेता द्वारा भेजे गए सामान को उठाया और आगे बढ़ गए।

QSFP112 वैरिएंट उल्लेख के योग्य है क्योंकि यह सभी को भ्रमित करता है। प्रत्येक 100जी पर चार लेन -समान 400जी समुच्चय, कम लेन, नए सर्डेस। यह एनआईसी कनेक्टिविटी के लिए मायने रखता है जहां आप डीएसपी गियरबॉक्स जटिलता के बिना सर्वर से -टीओआर लिंक चाहते हैं। यह विक्रेताओं के अन्यत्र दावों से कम मायने रखता है।

 

PAM4 ने सब कुछ बदल दिया (और कुछ चीजें तोड़ दीं)

 

जब वे आपको 400जी पर बेच रहे होते हैं तो कोई भी पर्याप्त रूप से यह नहीं समझाता है: पीएएम4 सिग्नलिंग बैंडविड्थ दक्षता के लिए शोर प्रतिरक्षा का व्यापार करता है, और यह व्यापारमुक्त नहीं है।

एनआरजेड एन्कोडिंग में दो सिग्नल स्तरों का उपयोग किया गया। उच्च या निम्न। एक या शून्य. आपके रिसीवर को बस उन दो स्थितियों के बीच अंतर करने की आवश्यकता थी, और नेत्र आरेख ने आपको आरामदायक मार्जिन दिया। PAM4 चार स्तरों का उपयोग करता है -00, 01, 10, 11-जिसका अर्थ है कि आपके रिसीवर को अब एक तिहाई वोल्टेज पृथक्करण के साथ तीन थ्रेशोल्ड क्रॉसिंग के बीच अंतर करना होगा। सैद्धांतिक 9.54dB SNR जुर्माना बिल्कुल भी सैद्धांतिक नहीं है। यह आपके प्री-एफईसी बीईआर काउंटरों पर हर दिन दिखाई देता है।

400G मॉड्यूल के अंदर का DSP इसकी भरपाई के लिए वीरतापूर्ण कार्य करता है। फ़ीड {{2}फ़ॉरवर्ड इक्वलाइज़ेशन, निर्णय फ़ीडबैक इक्वलाइज़ेशन, क्लॉक और डेटा रिकवरी-सभी 53.125 GBaud प्रति लेन पर चल रहे हैं। जब यह काम करता है, तो यह अदृश्य होता है। जब यह काम नहीं करता है, तो आपको सुधार योग्य त्रुटियों की भरमार मिलती है, जिन्हें कभी-कभी सुधारे न जा सकने वाले त्रुटियों द्वारा विरामित किया जाता है, और यह पता लगाने के लिए शुभकामनाएँ कि समस्या आपका मॉड्यूल है, आपका फ़ाइबर है, आपका होस्ट है, या ब्रह्मांडीय पृष्ठभूमि विकिरण है।

 

 

तरंग दैर्ध्य वेरिएंट: बस पहुंच से भी अधिक

 

पहुँच विशिष्टताएँ कहानी का केवल एक भाग बताती हैं।

400G-SR8 आठ समानांतर फाइबर में 850nm VCSEL का उपयोग करता है, जो OM4 पर 100 मीटर का लक्ष्य रखता है। यह सस्ता है. यह मल्टीमोड है. इसके लिए आठ TX और आठ RX फाइबर वाले MPO-16 कनेक्टर की आवश्यकता होती है। एक रैक के भीतर या आसन्न रैक के बीच, यह ठीक काम करता है। जिस क्षण कोई इसे "बस थोड़ा आगे" चलाने के बारे में पूछता है, उन्हें याद दिलाएं कि 850nm पर मोडल फैलाव बातचीत नहीं करता है।

400G-DR4 500 मीटर के लिए रेटेड चार समानांतर सिंगल{4}}मोड फाइबर पर 1310nm पर संचालित होता है। एमपीओ-12 कनेक्टर बाहरी आठ फाइबर का उपयोग करता है और चार को अप्रयुक्त छोड़ देता है{{11}एक तथ्य यह है कि प्रति तैनाती के दौरान लगभग एक बार केबल इंस्टॉलर भ्रमित हो जाते हैं। DR4 सिंगल-मोड संयंत्रों में लीफ -स्पाइन कनेक्टिविटी के लिए वर्कहॉर्स बन गया है क्योंकि 500 ​​मीटर अधिकांश डेटासेंटर ज्यामिति को अतिरिक्त जगह के साथ कवर करता है।

400G-FR4 डुप्लेक्स एलसी के माध्यम से एकल फाइबर जोड़ी पर मल्टीप्लेक्स किए गए CWDM4 तरंग दैर्ध्य (1271, 1291, 1311, 1331nm) का उपयोग करता है। दो किलोमीटर तक पहुंचें. यहीं पर 400G कैंपस इंटरकनेक्ट के लिए किफायती लगने लगता है, क्योंकि आप इमारतों के बीच आठ {{11}फाइबर MPO ट्रंक नहीं खींच रहे हैं।

400G-LR4 उच्च प्रक्षेपण शक्ति और बेहतर रिसीवर के साथ समान CWDM4 दृष्टिकोण को 10 किलोमीटर तक फैलाता है। एफआर4 से एलआर4 तक कीमतों में उछाल अभी भी उन खरीद विभागों को आश्चर्यचकित करता है जिन्होंने अपने मानसिक मॉडल को 100जी{9}}एलआर4 मूल्य निर्धारण से अपडेट नहीं किया है।

 

सुसंगत हाथी

 

400G-ZR अपने स्वयं के अनुभाग का हकदार है क्योंकि यह एक ही फॉर्म फैक्टर में तैयार मौलिक रूप से अलग तकनीक का प्रतिनिधित्व करता है।

अब तक मैंने जो कुछ भी वर्णित किया है वह प्रत्यक्ष-डिटेक्ट ऑप्टिक्स का उपयोग करता है। प्रकाश अंदर जाता है, फोटोडायोड इसे परिवर्तित करता है, डीएसपी इसे साफ करता है। सुसंगत प्रकाशिकी एक साथ दो ध्रुवीकरणों में आयाम और चरण दोनों में जानकारी को एन्कोड करती है, फिर रिसीवर पर सब कुछ पुनर्प्राप्त करने के लिए एक स्थानीय थरथरानवाला और परिष्कृत डिजिटल सिग्नल प्रोसेसिंग का उपयोग करती है। परिणाम: एक प्लग करने योग्य मॉड्यूल में 400Gbps से अधिक 120+ किलोमीटर से अधिक अनएम्प्लीफाइड फाइबर।

OIF 400ZR मानक दोहरे ध्रुवीकरण के साथ 60 GBaud पर 16QAM मॉड्यूलेशन निर्दिष्ट करता है। संयोजित एफईसी (मुलायम -निर्णय आंतरिक हैमिंग, कठोर-निर्णय बाहरी सीढ़ी) लगभग 10.8डीबी का शुद्ध कोडिंग लाभ प्रदान करता है। पूरी चीज़ 15-20 वाट खींचती है और गर्मी उत्पन्न करती है जो क्यूएसएफपी-डीडी मॉड्यूल को रुला देगी।

मैंने ZR मॉड्यूल को उन स्विचों में स्थापित होते देखा है जो उस थर्मल लोड के लिए डिज़ाइन नहीं किए गए थे। स्विच चेसिस ने सामान्य तापमान की सूचना दी क्योंकि इसके सेवन सेंसर ने ठंडी हवा को मापा। मॉड्यूल ने 73 डिग्री की सूचना दी क्योंकि यह अपर्याप्त वायु प्रवाह के साथ दो अन्य ZR मॉड्यूल के बीच सैंडविच था। लिंक ने ऊंचे एफईसी सुधारों के साथ मुश्किल से ही काम किया, जिस पर किसी ने ध्यान नहीं दिया, जब तक कि पूर्व एफईसी बीईआर सीमा पार नहीं कर गया और पैकेट गिरना शुरू नहीं हो गए।

ZR+ ​​और MZR वेरिएंट इंटरऑपरेबिलिटी की कीमत पर पहुंच को आगे बढ़ाते हैं। विक्रेता लॉन्च पावर, रिसीवर संवेदनशीलता और एफईसी एल्गोरिदम के लिए विशिष्ट संवर्द्धन लिंक को 400 किमी से आगे बढ़ा सकते हैं, लेकिन आप एक वस्तु के बजाय एक समाधान खरीद रहे हैं।

 

 

तृतीय-पार्टी प्रश्न

 

मैंने यह बातचीत लगभग छह सौ बार की है।

"क्या हम तृतीय-पक्ष 400G ऑप्टिक्स का उपयोग कर सकते हैं?"

तकनीकी रूप से हाँ. एमएसए विनिर्देश बहु-विक्रेता अंतरसंचालनीयता को सक्षम करने के लिए सटीक रूप से मौजूद हैं। निर्माता सीएमआईएस (कॉमन मैनेजमेंट इंटरफ़ेस स्पेसिफिकेशन) यह मानकीकृत करता है कि होस्ट मॉड्यूल से कैसे बात करता है।

व्यावहारिक रूप से, यह निर्भर करता है।

सिस्को का प्रमाणीकरण तंत्र पुराने प्लेटफार्मों के स्पष्ट "त्रुटि - पोर्ट को अक्षम करें" दृष्टिकोण से अधिक परिष्कृत विक्रेता सत्यापन तक विकसित हुआ है जो चेतावनियों को लॉग करता है लेकिन जरूरी नहीं कि कार्यक्षमता को अक्षम करता हो। सेवा असमर्थित -ट्रांसीवर कमांड एस्केप हैच बना हुआ है। अरिस्टा अधिक अनुदार है, लेकिन उन मुद्दों का समर्थन करने से इनकार कर देगा जो तीसरे पक्ष के मॉड्यूल से उत्पन्न हो सकते हैं। जुनिपर का रुख प्लेटफ़ॉर्म और सॉफ़्टवेयर संस्करण के अनुसार अलग-अलग होता है, जिसके लिए उनकी अनुकूलता मैट्रिक्स से परामर्श की आवश्यकता होती है।

मैं बिना किसी हिचकिचाहट के प्रयोगशाला परिवेश में तृतीय पक्ष ऑप्टिक्स चलाता हूं। जब कुछ विफल हो जाता है तो 2 बजे राजस्व ट्रैफ़िक ले जाने वाले उत्पादन पथों के लिए? मैं टीएसी को कॉल करने में सक्षम होना चाहता हूं और "समर्थित ट्रांसीवर के साथ बदलने" के बजाय तुरंत उनकी मदद करना चाहता हूं।

लागत गणित हाइपरस्केलर्स के लिए इस गणना को बदल देता है जो हजारों की संख्या में मॉड्यूल खरीदते हैं और ऑप्टिक्स इंजीनियरों को नियुक्त करते हैं जो आपूर्तिकर्ताओं को स्वतंत्र रूप से चिह्नित और योग्य बना सकते हैं। सीमित तकनीकी संसाधनों के साथ वितरण चैनलों के माध्यम से सैकड़ों मॉड्यूल खरीदने वाले उद्यमों के लिए यह अलग गणित है।

 

थर्मल रियलिटी

 

एक 400G QSFP-DD मॉड्यूल वैरिएंट और विक्रेता के आधार पर 10 से 15 वाट के बीच होता है। एक 400G सुसंगत ZR मॉड्यूल 15-20 वाट खींचता है। एक 800G QSFP-DD800 मॉड्यूल-पहले से ही AI क्लस्टर में तैनात किया गया है-18-25 वॉट खींचता है।

इनमें से 64 को 2आरयू स्विच में रखें और स्विच एएसआईसी, मेमोरी, पंखे और बिजली की आपूर्ति के लिए लेखांकन से पहले आपके पास ऑप्टिक्स से 640 वाट हैं। थर्मल डिज़ाइन समस्या एक ही पीढ़ी में "पर्याप्त" से "महत्वपूर्ण" हो गई है।

मैंने योग्यता परीक्षण के दौरान एक थर्मल इमेजिंग कैमरे को पूरी तरह से लोड किए गए 400G स्पाइन स्विच को साफ़ करते हुए देखा। सबसे हॉट मॉड्यूल वे नहीं थे जिनकी आप अपेक्षा करते थे। कोने की स्थिति, ASIC एग्जॉस्ट के नीचे की ओर, फेस प्लेट सेंटर मॉड्यूल की तुलना में अधिक गर्म थी, जिन्हें ताजी हवा मिलती थी। मानक डीडीएम तापमान रीडिंग ने उन बंदरगाहों में 17 डिग्री का प्रसार दिखाया जो कथित रूप से समान थे।

मॉड्यूल विनिर्देश 0 डिग्री से 70 डिग्री तक संचालन का वादा करते हैं, लेकिन प्रदर्शन वक्र 70 डिग्री पर वैसा नहीं दिखता जैसा वे 25 डिग्री पर दिखते हैं। लेज़र थ्रेशोल्ड करंट बढ़ जाता है। ढलान की दक्षता कम हो जाती है। तरंग दैर्ध्य बहाव {{7}और CWDM4 और DWDM प्रणालियों के लिए, तरंग दैर्ध्य बहाव का मतलब आसन्न चैनलों के साथ क्रॉसस्टॉक है।

एयर-कूलित प्रणालियाँ अपनी सीमा के करीब पहुँच रही हैं। स्विचों के लिए लिक्विड कूलिंग विदेशी बनी हुई है लेकिन एआई/एमएल क्लस्टर के लिए तेजी से आवश्यक है जहां जीपीयू और ऑप्टिक्स समान थर्मल बजट के लिए प्रतिस्पर्धा करते हैं।

 

 

वास्तविकताओं का परीक्षण

 

IEEE मानक अनुपालन बिंदुओं को परिभाषित करते हैं। वे इसकी गारंटी नहीं देते कि आपका विशिष्ट लिंक काम करेगा।

TDECQ (ट्रांसमीटर और डिस्पर्सन आई क्लोजर क्वाटरनरी) OMA (ऑप्टिकल मॉड्यूलेशन एम्प्लिट्यूड) के PAM4 समकक्ष है लेकिन अधिक जटिल है। यह ट्रांसमीटर गुणवत्ता को इस तरह से चित्रित करने का प्रयास करता है जो रिसीवर के प्रदर्शन की भविष्यवाणी करता है। माप के लिए संदर्भ रिसीवर और गणितीय परिवर्तनों की आवश्यकता होती है जो परीक्षण उपकरण विक्रेताओं के बीच भिन्न-भिन्न तरीकों से भिन्न होते हैं जो अंतहीन मानक समिति बहस का कारण बनते हैं।

प्री-FEC BER परीक्षण पहले से कहीं अधिक मायने रखता है। आपकी बिट त्रुटियों का "फ़िंगरप्रिंट" {{2}यादृच्छिक बनाम फटा हुआ, समान रूप से वितरित बनाम विशिष्ट PAM4 प्रतीकों में केंद्रित{{4}यह निर्धारित करता है कि आपका FEC वास्तव में उन्हें ठीक कर सकता है या नहीं। सच्ची यादृच्छिक त्रुटियाँ रीड -सोलोमन कोड के साथ अच्छी तरह से चलती हैं। क्लॉक रिकवरी के मुद्दों या डीएसपी के दुर्व्यवहार से होने वाली त्रुटियां एफईसी को तब भी प्रभावित कर सकती हैं, जब कच्चा बीईआर स्वीकार्य दिखता हो।

मैंने प्रत्येक 400G लिंक से पूर्व {{0}FEC आंकड़ों की मांग करना सीख लिया है, न कि केवल पोस्ट -FEC से। 2×10⁻⁴ पर प्री{6}FEC BER चलाते समय 0.00 पोस्ट{5}FEC BER दिखाने वाला लिंक तब तक बहुत अच्छा लगता है जब तक आपको यह एहसास न हो जाए कि लगभग कोई मार्जिन नहीं बचा है। थोड़ा गंदा कनेक्टर या पुराना लेजर जोड़ें, और वह लिंक बिना किसी चेतावनी के एफईसी चट्टान पर झुक जाएगा।

 

कनेक्टर संदूषण

 

400G पर संदूषण की समस्या गंभीर हो जाती है। मॉड्यूलेटेड आंख का मार्जिन कम होता है। जो कण कम गति पर अदृश्य होते, वे अब पदार्थ के लिए पर्याप्त रूप से क्षीण हो गए हैं।

सिंगल -मोड फ़ाइबर कोर 9 माइक्रोमीटर चौड़े होते हैं। एक एमटीपी/एमपीओ-12 कनेक्टर आठ सक्रिय फाइबर पथ (चार टीएक्स, चार आरएक्स) और चार अप्रयुक्त फाइबर पथ वहन करता है। प्रत्येक संभोग चक्र में संदूषण का जोखिम रहता है। प्रत्येक दूषित अंत-चेहरा प्रविष्टि हानि का जोखिम उठाता है जो आपके लिंक बजट को नष्ट कर देता है।

आवश्यक सफ़ाई अनुशासन पर समझौता नहीं किया जा सकता है लेकिन शायद ही कभी इसका लगातार पालन किया जाता है। एक क्लिक क्लीनर, स्थैतिक चिंताओं के साथ ड्राई वाइप्स, आइसोप्रोपिल अल्कोहल के साथ गीली सफाई जिसे वाष्पित होने की अनुमति देने के बजाय तुरंत पोंछना चाहिए। {{3}हर विधि के अनुयायी और आलोचक होते हैं। जिस पर हर कोई सहमत है: कनेक्ट करने से पहले फ़ाइबर स्कोप से निरीक्षण करें, और यदि यह गंदा है, तो इसे साफ़ करें और दोबारा निरीक्षण करें।

मैंने एक परिनियोजन टीम को पूरी दोपहर रुक-रुक कर आने वाले 400G-DR4 लिंक की समस्या का निवारण करते हुए देखा। एकाधिक मॉड्यूल स्वैप। कॉन्फ़िगरेशन समीक्षाएँ. अंततः निरीक्षण का दायरा टूट गया और बल्कहेड एडॉप्टर पर निर्माण मलबा पाया गया जिसकी जांच करने के बारे में किसी ने नहीं सोचा था। एक सफाई उपकरण के साथ बीस सेकंड में वह तय हो गया जो चार घंटे की समस्या निवारण में नहीं हो सका।

 

 

योजना के लिए इन सबका क्या मतलब है

 

यदि आप आज नया डेटासेंटर फैब्रिक तैनात कर रहे हैं, तो 400G स्पाइन लेयर के लिए आधार रेखा है और तेजी से लीफ -स्पाइन अपलिंक के लिए है। प्रति बिट लागत कम हो गई है जहां 400G मॉड्यूल से 4×100G ब्रेकआउट अक्सर व्यक्तिगत 100G मॉड्यूल की तुलना में सस्ता होता है। किसी इमारत के अंदर 30 मीटर से अधिक दूरी के लिए DR4। कैंपस इंटरकनेक्ट के लिए FR4। यदि आप साइटों के बीच पहुँच रहे हैं तो LR4 या ZR।

यदि आप एक उद्यम हैं जो अपनी पहली 400जी तैनाती पर विचार कर रहे हैं, तो स्विचिंग प्लेटफॉर्म परिपक्व हो गए हैं, मॉड्यूल आपूर्ति श्रृंखला स्थिर हो गई है, और मूल्य निर्धारण के लिए अब प्रत्येक खरीद आदेश पर कार्यकारी हस्ताक्षर की आवश्यकता नहीं है। एक लीफ से शुरुआत करें-स्पाइन रिफ्रेश, साबित करें कि आपका केबलिंग इंफ्रास्ट्रक्चर कड़ी संदूषण सहनशीलता को संभाल सकता है, और समझें कि आपके प्रबंधन टूल को एफईसी आंकड़े एकत्र करना शुरू करने की जरूरत है, इससे पहले कि आपको वास्तव में उनकी आवश्यकता हो।

यदि आप इसे पढ़ने वाले हाइपरस्केलर हैं, तो आप पहले से ही GPU क्लस्टर के लिए 400G पार कर चुके हैं और सोच रहे हैं कि 1.6T वास्तव में कैसे तैनात होगा। थर्मल समस्याओं के लिए शुभकामनाएँ; मैं दो साल में आपके पेपर पढ़ूंगा।

मॉड्यूल स्वयं उल्लेखनीय रूप से विश्वसनीय हो गए हैं। समस्याएँ हर जगह रहती हैं: दूषित कनेक्टर, गलत कॉन्फ़िगर किए गए FEC मोड, थर्मल डिज़ाइन जो कल के पावर लिफ़ाफ़े मानते थे, और समर्थन संगठन अभी भी सीख रहे हैं कि PAM4 सिग्नल अखंडता समस्याओं का निवारण कैसे किया जाए। गैर-ग्लैमरस बुनियादी बातें आपके कनेक्टर्स को साफ करें, आपके तापमान को मापें, आपके एफईसी बजट को समझें, स्पेक शीट पर होने वाली बहसों से कहीं अधिक मायने रखती हैं।