AWS EC2 G5g पर Gemma 4 डिप्लॉय करना: लागत-कुशलता की एक गाइड

स्टैंडर्ड एंटरप्राइज AI डिप्लॉयमेंट के बोझ तले इंफ्रास्ट्रक्चर का बजट बिगड़ रहा है। जब इंजीनियरिंग टीमें हाई-एंड एक्सीलेटर वाले ओवर-प्रोविज़ंड x86 सर्वर का उपयोग करती हैं, तो क्लाउड बिल बेकाबू हो जाते हैं। Google के gemma-4-E2B-it मॉडल को AWS EC2 G5g इंस्टेंसेस के साथ जोड़ना, Graviton2 प्रोसेसर और NVIDIA T4G GPU का उपयोग करके पूरे गणित को पूरी तरह से बदल देता है।

ARM और GPU जोड़ी का अर्थशास्त्र

CFOs हमेशा थ्रूपुट से समझौता किए बिना कंप्यूट खर्चों को कम करने के तरीके तलाशते रहते हैं। पारंपरिक सेटअप भारी-भरकम NVIDIA हार्डवेयर के साथ महंगे Intel या AMD x86 चिप्स पर निर्भर करते हैं। लेकिन अपग्रेड करना आसान नहीं है, जब तक कि संगठन रॉ प्राइस-परफॉरमेंस एफिशिएंसी के लिए बनाए गए कस्टम सिलिकॉन का लाभ उठाने के लिए होस्ट लेयर को Graviton2 (aarch64) पर शिफ्ट नहीं करते।

फिर भी, सस्ते कंप्यूट का कोई फायदा नहीं अगर सॉफ्टवेयर स्टैक क्रैश हो जाए। g5g.4xlarge इंस्टेंस सिंगल Turing SM 7.5 GPU पर 15,360 MiB VRAM प्रदान करता है, जो मितव्ययिता और फंक्शनल क्षमता के बीच एक दुर्लभ संतुलन बनाता है। लेकिन उन बचतों को हासिल करने के लिए तीन अलग-अलग कॉन्फ़िगरेशन बाधाओं को हल करना आवश्यक है जिन्हें स्टैंडर्ड डॉक्यूमेंटेशन नजरअंदाज कर देता है।

आर्किटेक्चर और वर्ज़न फ्लोर को पार करना

आर्किटेक्चर मिसमैच क्लाउड माइग्रेशन का साइलेंट किलर बना हुआ है। NVIDIA एक्सीलेटर चलाने वाले Graviton2 होस्ट के लिए पब्लिश्ड आर्किटेक्चर लिस्ट ढूंढना ऐसा है जैसे किसी अस्तित्वहीन देश का नक्शा ढूंढना। aarch64 के लिए बाइनरी कंपाइल करने के लिए धैर्य, कड़े वर्ज़न कंट्रोल और डिफ़ॉल्ट पैकेज मैनेजर आउटपुट को स्वीकार न करने की जिद की आवश्यकता होती है।

सॉफ्टवेयर वर्ज़न फ्लोर अगली बड़ी दीवार पेश करते हैं। इस सटीक हार्डवेयर संयोजन के लिए vLLM के केवल बिल्कुल नए रिलीज़ ही आवश्यकताओं को पूरा करते हैं। मॉडल द्वारा अपना पहला वेट लोड करने से पहले पुराना कंटेनर इमेज चलाना एक तत्काल क्रैश की गारंटी देता है।

"सस्ता कंप्यूट आपके मार्जिन में मदद नहीं करता यदि पहला टोकन रेंडर होने से पहले आपका कंटेनर स्टैक ढह जाता है।"

64 KiB शेयर्ड मेमोरी का जाल

हार्डवेयर इंटीग्रेशन छिपी हुई बाधाओं को प्रकट करता है जो डिप्लॉयमेंट पाइपलाइन को रोकती हैं। सबसे बड़ा जाल T4G सेटअप पर एलोकेटेड 64 KiB की शेयर्ड मेमोरी में निहित है। जब कोई टेंसर पैरेलल ऑपरेशन इस सख्त सीमा से अधिक अनुरोध करता है, तो पूरा रनटाइम अचानक रुक जाता है।

कर्नल पैरामीटर को समायोजित करना और स्पष्ट पर्यावरण चर सेट करना इन साइलेंट विफलताओं को रोकता है। इंजीनियरिंग टीमों को शेयर्ड मेमोरी एलोकेशन का विस्तार करने के लिए डिफ़ॉल्ट डॉकर कॉन्फ़िगरेशन को ओवरराइड करना होगा। इस समायोजन की उपेक्षा करने से लागत बचाने वाला एक आशाजनक माइग्रेशन डिबगिंग का एक महंगा अभ्यास बन जाता है।

📌 मुख्य बिंदु: डिफ़ॉल्ट डॉकर शेयर्ड मेमोरी लिमिट पहले से ही कम होती है, लेकिन ARM-आधारित NVIDIA इंस्टेंसेस पर हार्डवेयर-स्तरीय शेयर्ड मेमोरी कैप तक पहुंचने से vLLM तुरंत रुक जाएगा जब तक कि इसे स्पष्ट रूप से ओवरराइड न किया जाए।

एक सफल डिप्लॉयमेंट के लिए आवश्यक चरण

इस विशिष्ट हार्डवेयर स्टैक को सफलतापूर्वक निष्पादित करने के लिए ऑपरेशनल चरणों के एक सटीक क्रम की आवश्यकता होती है। किसी भी एकल चेकपॉइंट को छोड़ने से कंपाइलेशन त्रुटियों को ठीक करने में घंटों बर्बाद होने का जोखिम रहता है।

डिप्लॉयमेंट वेलोसिटी बनाए रखने के लिए कॉन्फ़िगरेशन मैनेजमेंट और बेसलाइन AMI चयन के प्रति एक अनुशासित दृष्टिकोण की आवश्यकता होती है।

• बेस AMI: प्री-कॉन्फ़िगर किए गए Nvidia Drivers के साथ Ubuntu 24.04 चलाने वाले Deep Learning ARM64 AMI को इनिशियलाइज करें।
• PyTorch स्टैक: विशेष रूप से aarch64 आर्किटेक्चर के लिए बनाए गए PyTorch 2.12 के इंस्टॉलेशन को सत्यापित करें।
• vLLM बाइनरी: कंप्यूट क्षमता 7.5 को लक्षित करने में सक्षम नवीनतम कंटेनर संस्करण को संकलित या खींचें (pull)।
• मेमोरी एलोकेशन: T4G हार्डवेयर बाधाओं को समायोजित करने के लिए शेयर्ड मेमोरी सीमाओं को स्पष्ट रूप से ओवरराइड करें।

मुख्य तथ्य

• AWS इंस्टेंस: Graviton2 प्रोसेसर और 1x NVIDIA T4G GPU से युक्त EC2 g5g.4xlarge।
• GPU VRAM: कंप्यूट क्षमता 7.5 पर काम करने वाली 15,360 MiB मेमोरी।
• सॉफ्टवेयर फ्लोर: aarch64 के लिए नवीनतम vLLM रिलीज़ के साथ जोड़े गए PyTorch 2.12 की आवश्यकता है।
• शेयर्ड मेमोरी सीमा: एक सख्त 64 KiB हार्डवेयर शेयर्ड मेमोरी सीमा द्वारा बाधित जिसके लिए स्पष्ट ओवरराइड की आवश्यकता होती है।

निष्कर्ष

एंटरप्राइज वर्कलोड को अपरंपरागत हार्डवेयर जोड़ियों पर धकेलना कुशल संचालन को बेकार खर्च से अलग करता है। हालांकि अलग-अलग एक्सीलेटर के साथ ARM-आधारित होस्ट को कॉन्फ़िगर करने के लिए धैर्य की आवश्यकता होती है, लेकिन परिणामी मार्जिन सुधार इंजीनियरिंग ओवरहेड को उचित ठहराते हैं। क्या होता है जब आपके प्रतियोगी आपके क्लाउड खर्च के आधे पर बिल्कुल वही मॉडल चला रहे होते हैं?