Legacy data dir पहचानें और सबसे पहले backup लें #

हमने legacy systemd डेफ़िनिशन की जाँच करके स्पष्ट किया कि Server और Worker क्रमशः कौन-से data dir उपयोग करते हैं।
फिर हमने क्रम से service stop → tar backup → permission समायोजन किया।

sudo systemctl cat gpustack | sed -n '/ExecStart/p'
sudo systemctl stop gpustack
sudo systemctl disable gpustack

sudo tar -C / -cpf /root/backup/gpustack-server.tar var/lib/gpustack

पहले management node को v2.1.1 में माइग्रेट करें #

चूँकि management node पर GPU उपयोग की योजना नहीं थी, हमने Server स्टार्टअप से --runtime nvidia हटा दिया।
अगर इसे लगा छोड़ दिया जाए, तो unknown or invalid runtime name: nvidia त्रुटि के साथ स्टार्टअप विफल हो जाएगा
उन servers पर जहाँ Docker में NVIDIA runtime रजिस्टर्ड नहीं है।

sudo docker run -d --name gpustack \
  --restart=unless-stopped \
  --privileged \
  --network=host \
  --env GPUSTACK_DATA_MIGRATION=true \
  --volume /var/run/docker.sock:/var/run/docker.sock \
  --volume /var/lib/gpustack:/var/lib/gpustack \
  --volume /models:/models \
  gpustack/gpustack:v2.1.1 \
  --disable-worker \
  --cache-dir /models

हमने --disable-worker स्पष्ट रूप से निर्दिष्ट किया क्योंकि हम management node पर पुराने embedded worker से
भूमिकाओं को साफ़-साफ़ अलग करना चाहते थे। इस माइग्रेशन की थीम थी “management node केवल management पर फ़ोकस करे”।

GPU workers को चरणबद्ध रूप से Docker-आधारित worker में स्विच करें #

Workers ने मौजूदा data dir को इनहेरिट किया और Docker-आधारित workers के रूप में फिर से कनेक्ट किए गए।
Shared cache पाथ मिलाने के लिए हम कंटेनर में भी /models:/models bind करते हैं,
और स्टार्टअप arguments में --cache-dir /models जोड़ते हैं।

sudo docker run -d --name gpustack-worker \
  --restart=unless-stopped \
  --privileged \
  --network=host \
  --volume /var/lib/gpustack-data:/var/lib/gpustack \
  --volume /var/run/docker.sock:/var/run/docker.sock \
  --volume /models:/models \
  --runtime nvidia \
  gpustack/gpustack:v2.1.1 \
  --server-url http://<SERVER_IP> \
  --token <JOIN_TOKEN> \
  --worker-name <WORKER_NAME> \
  --worker-ip <WORKER_IP> \
  --cache-dir /models

मुख्य बात यह है कि GUI के “Add Worker” को महज़ “रजिस्ट्रेशन का काम” न समझा जाए।
असल में GUI केवल token और execution command प्राप्त करने का एक entry point है;
Ready स्टेटस तभी आता है जब worker node पर वास्तविक command execute किया जाए।

NVIDIA Container Toolkit को वेरिफ़ाई करें #

GPU workers को --runtime nvidia चाहिए। अगर Docker उस runtime को नहीं जानता,
तो हो सकता है कि NVIDIA Container Toolkit का कॉन्फ़िगरेशन लागू न हुआ हो। आधिकारिक प्रक्रिया के अनुसार
nvidia-ctk से Docker runtime कॉन्फ़िगर करें और Docker को restart करें।

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Workers सूची को “केवल वास्तव में inference करने वाले नोड्स” तक साफ़ करें #

Legacy एनवायरनमेंट में management node worker के रूप में बना रहता था और सूची में Not Ready दिखता था, जो भ्रम का स्रोत था।
जब 2 GPU workers Ready हो गए, तो हमने management node के stale workers को cleanup के लिए चुना।
इससे ऑपरेशंस टीमों के लिए भी भूमिका सहज रूप से समझ में आती है।