क्लाइंट पोर्टल को खुद सुरक्षित करें #

सर्वर क्रिएशन से पहले, मैनेजमेंट प्रोटेक्शन पॉलिसी तय करें। खासकर टीम ऑपरेशन के लिए,
पहले MFA और अलाउड IP हैंडलिंग स्पष्ट करने से बाद में “कौन कहां से मैनेजमेंट इंटरफेस एक्सेस कर सकता है” को लेकर कन्फ्यूज़न नहीं होता।

सर्वर बनाने से पहले SSH Key रजिस्टर करें #

AI-SRV और GPU वर्कर क्रिएशन के बाद इंडिविजुअली Key इंसर्ट करने के बजाय, क्लाइंट पोर्टल के SSH Key मैनेजमेंट में पहले से Key तैयार करना
टेम्पलेट डिप्लॉयमेंट के तुरंत बाद मैनेजमेंट एक्सेस देता है।

• टीम ऑपरेशनल पब्लिक Key को व्यवस्थित करें
• इमरजेंसी सिचुएशन में शेयर्ड Key और इंडिविजुअल Key को मिक्स न करें
• पब्लिश किए गए आर्टिकल में Key फिंगरप्रिंट पोस्ट न करें

टेम्पलेट से Bestnet Cloud पर AI-SRV बनाएं #

AI-SRV के लिए Ubuntu 24 सीरीज़ का टेम्पलेट उपयोग करें, जिसमें GPUStack Server और NFS दोनों होस्ट हों।
चूंकि यह नोड मॉडल स्टोरेज के रूप में भी काम करता है, इसलिए OS डिस्क से अलग पर्याप्त स्टोरेज एरिया के साथ डिज़ाइन करें।

• रोल है GPUStack Server + NFS
• प्राइवेट नेटवर्क से कनेक्ट करें
• केवल तभी पब्लिक साइड पर विचार करें जब UI एक्सपोज़र आवश्यक हो
• AI-SRV पर वर्कर की तुलना में मॉडल स्टोरेज के लिए अधिक कैपेसिटी आवंटित करें

आवश्यक मात्रा में GPU-VPS पर वर्कर बनाएं #

चूंकि वर्कर इन्फरेंस के लिए हैं, GPU टाइप, VRAM, और भविष्य के मॉडल साइज़ के आधार पर GPU-VPS प्लान चुनें।
दूसरी ओर, चूंकि मॉडल खुद NFS साइड पर रखा जाता है, आप वर्कर स्टोरेज को OS और एक्जीक्यूशन के लिए आवश्यक न्यूनतम तक आसानी से घटा सकते हैं।

• Ubuntu 24 सीरीज़ पर स्टैंडर्डाइज़ करें
• GPU ड्राइवर / CUDA उपलब्ध होने के साथ बनाएं
• प्राइवेट नेटवर्क से कनेक्ट करें
• अगर पब्लिक IP की आवश्यकता नहीं है तो प्राइवेट-ओनली कॉन्फ़िगरेशन पर विचार करें

सभी नोड्स को 10G प्राइवेट नेटवर्क पर रखें #

NFS और GPUStack का इंटरनल कम्युनिकेशन Bestnet Cloud और GPU-VPS को कनेक्ट करने वाले 10G प्राइवेट लिंक पर फ्लो होता है।
इससे मॉडल रिट्रीवल और वर्कर जॉइन प्राइवेट साइड पर ही रह पाते हैं।

• AI-SRV और सभी वर्कर को एक ही प्राइवेट सेगमेंट में रखें
• बाद के NFS एक्सपोर्ट और systemd सेटिंग को स्टेबल करने के लिए फिक्स्ड IP असाइन करें
• अगर वर्कर को आउटबाउंड कम्युनिकेशन चाहिए, तो NAT राउटर मेथड या टेम्परेरी पब्लिक एग्रेस चुनें

अगर आप वर्कर को प्राइवेट-ओनली बनाना चाहते हैं, तो OS अपडेट और एक्सटर्नल फेचिंग के लिए Bestnet Cloud के वर्चुअल राउटर / NAT पैटर्न का उपयोग करना मैनेज करना आसान बनाता है।

इनिशियल फायरवॉल रूल्स तय करें #

“AI-SRV को केवल न्यूनतम आवश्यक इनबाउंड की अनुमति दें, और वर्कर को लगभग कोई पब्लिक इनबाउंड न दें” की पॉलिसी पर्याप्त है।
पोर्टल के फायरवॉल स्क्रीन में, पहले एक्जिस्टिंग रूल्स चेक करें, फिर केवल आवश्यक पोर्ट्स जोड़ें।

NFS v4 मानते हुए, इसे 2049/tcp पर कंसॉलिडेट करना आसान है, हालांकि कुछ एनवायरनमेंट rpcbind का उपयोग कर सकते हैं। पब्लिक स्कोप को हमेशा प्राइवेट सबनेट तक सीमित रखें।

इनिशियल स्नैपशॉट लें #

OS इनिशियल क्रिएशन, Key इंजेक्शन, प्राइवेट नेटवर्क कनेक्शन, और फायरवॉल सेटअप पूरा होने के बाद,
AI-SRV और GPU वर्कर के स्नैपशॉट लें ताकि बाद में मिडलवेयर इंस्टॉलेशन फेल होने पर रिस्टोर करना आसान हो।

GPUStack Server इंस्टॉल करें #

इनिशियल बिल्ड उदाहरण में, हम मैनेजमेंट UI में लॉगिन एनेबल करने के लिए AI-SRV पर GPUStack Server डिप्लॉय करते हैं।
इनिशियल एडमिन पासवर्ड नोट करने के बाद, इसे एक सेफ वॉल्ट में ले जाएं और आर्टिकल में पोस्ट न करें।

curl -sfL https://get.gpustack.ai | sh -s -
cat /var/lib/gpustack/initial_admin_password

# Web UI (example)
# http://10.10.0.10/

NFS शेयर्ड डायरेक्टरी बनाएं #

एक्चुअल मॉडल फाइलों को /srv/gpustack_models में रखें।
इसे केवल प्राइवेट सबनेट में एक्सपोर्ट करें, और AI-SRV पर खुद भी इसे /models के रूप में बाइंड माउंट करें।
इससे सर्वर को दिखने वाला पाथ और वर्कर को दिखने वाला पाथ कंसिस्टेंट रहता है।

sudo mkdir -p /srv/gpustack_models

echo "/srv/gpustack_models 10.10.0.0/24(rw,sync,no_subtree_check,no_root_squash)" |   sudo tee -a /etc/exports

sudo exportfs -ra

# Server itself also bind mount
sudo mkdir -p /models
sudo mount --bind /srv/gpustack_models /models
echo "/srv/gpustack_models /models none bind 0 0" | sudo tee -a /etc/fstab

वर्कर जॉइन टोकन जारी करें #

GPUStack GUI से एक वर्कर जॉइन टोकन बनाएं। पब्लिक आर्टिकल में, <WORKER_JOIN_TOKEN>
के रूप में एक्सप्रेस करें और एक्चुअल वैल्यू पोस्ट न करें। साथ ही, GUI लॉगिन सोर्स को प्राइवेट नेटवर्क साइड तक सीमित करना अधिक सिक्योर है।

पहले /models को NFS के ज़रिए माउंट करें #

हर वर्कर AI-SRV द्वारा एक्सपोर्ट किए गए शेयर्ड एरिया को उसी पाथ /models पर माउंट करता है।
इससे सभी वर्कर के लिए कैश पाथ कंसिस्टेंट रहता है, जो मॉडल की डुप्लिकेट स्टोरेज को रोकता है।

sudo mkdir -p /models
echo "10.10.0.10:/srv/gpustack_models /models nfs defaults 0 0" | sudo tee -a /etc/fstab
sudo mount -a

माउंट करने के बाद, mount | grep /models से वेरिफाई करें कि इंटेंडेड शेयर्ड लोकेशन दिख रही है।

GPUStack Worker इंस्टॉल करें #

AI-SRV साइड पर जारी किए गए टोकन का उपयोग करके प्रत्येक GPU-VPS को वर्कर के रूप में क्लस्टर में जॉइन कराएं।

curl -sfL https://get.gpustack.ai | sh -s -   --server-url http://10.10.0.10   --token <WORKER_JOIN_TOKEN>

वर्कर सर्विस में --cache-dir /models फिक्स करें #

शेयर्ड कैश कॉन्फ़िगरेशन में, यह स्पेसिफिकेशन सबसे महत्वपूर्ण है। GPUStack Worker के systemd डेफिनिशन में
--cache-dir /models जोड़ें और data-dir भी फिक्स करें।

[Service]
ExecStart=/root/.local/bin/gpustack start   --server-url http://10.10.0.10   --token <WORKER_JOIN_TOKEN>   --cache-dir /models   --data-dir /var/lib/gpustack-data

sudo systemctl daemon-reload
sudo systemctl enable --now gpustack

# If "Using cache dir: /models" appears, OK
journalctl -u gpustack -f

GPUStack GUI में वेरिफाई करें कि वर्कर Ready हैं #

GUI के Workers स्क्रीन में, वेरिफाई करें कि सभी GPU-VPS नोड्स Ready हैं।
अगर वे Not Ready रहते हैं, तो क्रम से ट्रबलशूट करें: GPU ड्राइवर / CUDA, NFS माउंट, वर्कर लॉग्स।