दिल्ली के टेक हब में AWS EC2 G5g पर Gemma 4 को डिप्लॉय करना

दिल्ली के ओखला में एक संकरे को-वर्किंग स्पेस में रात के 2:00 बजे हैं, और स्थानीय पावर ग्रिड तब टिमटिमाता है जब एक सीनियर इंजीनियर Google के Gemma 4 E2B मॉडल को AWS EC2 g5g.4xlarge इंस्टेंस पर डिप्लॉय करने का प्रयास करता है। राजधानी भर में डेवलपर संस्कृति कैफीन से संचालित इसी दृढ़ता पर पनपती है, जहाँ अत्याधुनिक वैश्विक क्लाउड इंफ्रास्ट्रक्चर भारतीय यूटिलिटी ग्रिड की अनूठी अप्रत्याशित प्रकृति से टकराता है। अपरंपरागत हार्डवेयर कॉन्फ़िगरेशन पर फ़्रंटियर आर्टिफिशियल इंटेलिजेंस मॉडल चलाना शायद ही कभी एक सुव्यवस्थित, टर्नकी प्रक्रिया होती है; इसके बजाय, यह एक अत्यधिक खेल (एक्सट्रीम स्पोर्ट) जैसा दिखता है जहाँ हर एक डिपेंडेंसी एक संभावित बाधा होती है। यहाँ के इंजीनियर लागत-कुशलता की सीमाओं को लगातार आगे बढ़ा रहे हैं, महंगे x86 सिलिकॉन को ARM-आधारित विकल्पों से बदल रहे हैं, और अंततः यह पाते हैं कि दस्तावेज़ीकरण ने एक सहज सफर का वादा किया था जो वास्तव में कभी साकार ही नहीं हुआ।

दिल्ली में Graviton और NVIDIA का डांस

एक Graviton2 (aarch64) होस्ट CPU को NVIDIA T4G GPU के साथ जोड़ना व्यावहारिक प्रोडक्शन आर्किटेक्चर की तुलना में किसी इंजीनियर के एक जटिल मज़ाक जैसा अधिक लगता है। फिर भी, दिल्ली भर की टेक टीमें स्थानीय इन्फरेन्स गति का त्याग किए बिना कंप्यूट लागत को नाटकीय रूप से कम करने के लिए इन विशिष्ट ARM-आधारित इंस्टेंस का सक्रिय रूप से परीक्षण कर रही हैं। T4G के अंदर पैक ट्यूरिंग आर्किटेक्चर कंप्यूट क्षमता 7.5 को सीधे टेबल पर लाता है, लेकिन इसे ARM64 CPU के साथ जोड़ना बिना दस्तावेज़ वाले (undocumented) डिपेंडेंसी पेड़ों और ड्राइवर आवश्यकताओं की खतरनाक परतों को पार करने की मांग करता है।

ऐतिहासिक रूप से x86 इंफ्रास्ट्रक्चर के लिए अनुकूलित सॉफ्टवेयर स्टैक इस असामान्य वातावरण में पोर्ट किए जाने पर तुरंत लड़खड़ा जाते हैं। स्थानीय डेवलपर्स जल्दी ही यह पा लेते हैं कि जब आपका होस्ट CPU ARM बोलता है और आपका ग्राफिक्स कार्ड विशिष्ट बाइनरी व्हील्स की अपेक्षा करता है, तो मानक पैकेज रिपॉजिटरी के बारे में पारंपरिक धारणाएं गायब हो जाती हैं। संकलन (कम्पीलेशन) का हर चरण कंपाइलर फ्लैग, हेडर फाइलों और कम्युनिटी फ़ोरम के माध्यम से एक पुरातात्विक खुदाई में बदल जाता है जहाँ अन्य निराश बिल्डर्स ज्ञान के संकेत छोड़ गए हैं।

G5g पर Gemma 4 डिप्लॉय करते समय पाँच बाधाएँ

1. आर्किटेक्चर ब्लाइंडस्पॉट: NVIDIA ट्यूरिंग GPU के साथ जोड़े गए ARM64 होस्ट के लिए सटीक आर्किटेक्चर सूची खोजने के लिए अस्पष्ट ड्राइवर लॉग और कर्नल संदेशों को खंगालना पड़ता है। कोई भी इस विशिष्ट मैट्रिक्स को प्रकाशित नहीं करता है, जिससे डेवलपर्स स्थानीय टेलीग्राम समूहों और डेवलपर बोर्डों में अंदाज़ा लगाते रहते हैं।
2. वर्ज़न फ़्लोर नाइमेयर्स: इस अनोखे हार्डवेयर जोड़े के लिए केवल vLLM के बिल्कुल नए रिलीज़ ही आरंभीकरण बाधा को पार करते हैं। पुराने बिल्ड मॉडल वेट्स के मेमोरी में लोड होने से पहले ही गुप्त सेगमेंटेशन फॉल्ट्स फेंक देते हैं।
3. 64 KiB साझा मेमोरी दीवार: साझा मेमोरी पर एक कठोर 64 KiB सीमा महत्वपूर्ण टेंसर समानता (पैरेललिज्म) जाँच के दौरान निष्पादन को पूरी तरह रोक देती है। यदि आप चाहते हैं कि पाइपलाइन बूट के बाद भी जीवित रहे, तो सिस्टम सीमाओं और कर्नल पैरामीटर को समायोजित करना पूरी तरह से अपरिहार्य है।
4. ड्राइवर और PyTorch बेमेल: Ubuntu 24.04 पर PyTorch 2.12 चलाना ARM64 पर OSS Nvidia ड्राइवर के साथ सटीक बाइनरी संरेखण की मांग करता है। एक बेमेल पैकेज कुल वातावरण को गिराने और शुरुआत से पुनर्निर्माण करने के लिए मजबूर करता है।
5. दस्तावेज़ीकरण भूत (डॉक्यूमेंटेशन घोस्ट्स): शुरुआती कार्यान्वयन नोट्स इस सटीक बॉक्स कॉन्फ़िगरेशन के लिए सात अलग-अलग पैरामीटरों को गलत तरीके से सूचीबद्ध करते हैं। अपनी खुद की विफलताओं का दस्तावेजीकरण करना और उन कठिन समय से सीखे गए सुधारों को साझा करना दिल्ली की उमस भरी गर्मी में डिबगिंग के अनगिनत घंटों को बचाता है।

स्थानीय इंफ्रास्ट्रक्चर वैश्विक AI से मिलता है

दिल्ली का संपन्न टेक दृश्य हमेशा से शुद्ध दृढ़ संकल्प, सामुदायिक ज्ञान-साझाकरण और रचनात्मक समस्या-समाधान के माध्यम से जटिल प्रणालियों को काम करने में उत्कृष्टता रखता है। जब क्लाउड इंस्टेंस आधी रात को समझ न आने वाले त्रुटि कोड फेंकते हैं, तो इंजीनियरिंग स्क्वॉड जटिल स्टैक ट्रेस को डिकोड करने के लिए पॉलिश किए गए एंटरप्राइज़ मैनुअल के बजाय अनौपचारिक नेटवर्क पर भरोसा करते हैं।

"दिल्ली में फ़्रंटियर AI पाइपलाइन बनाना आपको एक जिद्दी किस्म का धैर्य सिखाता है जिसे कोई भी क्लाउड प्रदाता का सर्विस लेवल एग्रीमेंट कभी दोहरा नहीं सकता है।"

📌 मुख्य बिंदु: AWS EC2 g5g.4xlarge पर google/gemma-4-E2B-it को डिप्लॉय करना इंजीनियरों को उन आर्किटेक्चर सूचियों और डिपेंडेंसी मैट्रिक्स का सामना करने के लिए मजबूर करता है जो मुख्यधारा के दस्तावेजीकरण में मौजूद ही नहीं हैं।

मुख्य तथ्य

• कठोरता से परीक्षण किया गया 1 इंस्टेंस प्रकार: Graviton2 और 1x NVIDIA T4G की विशेषता वाला AWS EC2 g5g.4xlarge।
• 64 KiB साझा मेमोरी सीमा जो कॉन्फ़िगर न किए जाने पर निष्पादन को तुरंत रोक देती है।
• Ubuntu 24.04 ARM64 डीप लर्निंग एएमआई बिल्ड पर सुचारू रूप से चलने वाला PyTorch 2.12।
• हार्डवेयर सत्यापन से पहले आमतौर पर गलत तरीके से प्रलेखित किए गए 7 कॉन्फ़िगरेशन पैरामीटर।

निष्कर्ष

क्या लागत-कुशल स्थानीय इन्फरेन्स के लिए ARM-आधारित क्लाउड होस्ट अंततः पारंपरिक x86 आर्किटेक्चर को पीछे छोड़ देंगे, या इंजीनियरिंग टीमें तब तक बिना दस्तावेज़ वाले ड्राइवर की अजीब आदतों से लड़ती रहेंगी जब तक कि अगली पीढ़ी का सिलिकॉन नहीं आ जाता?