legacy data dir를 특정하고 먼저 백업 받기 #

기존 구성의 systemd 정의를 확인하고, Server / Worker가 각각 어떤 data dir를 사용하는지 명확히 했습니다.
그 위에서 서비스 중지 → tar 백업 → 권한 조정 순으로 작업했습니다.

sudo systemctl cat gpustack | sed -n '/ExecStart/p'
sudo systemctl stop gpustack
sudo systemctl disable gpustack

sudo tar -C / -cpf /root/backup/gpustack-server.tar var/lib/gpustack

관리 노드를 먼저 v2.1.1로 마이그레이션하기 #

관리 노드는 GPU를 사용하지 않는다는 전제였기 때문에 Server 시작 시 --runtime nvidia는 제거했습니다.
이를 그대로 두면 Docker 측에 NVIDIA runtime이 등록되지 않은 서버에서는
unknown or invalid runtime name: nvidia 오류로 시작에 실패합니다.

sudo docker run -d --name gpustack \
  --restart=unless-stopped \
  --privileged \
  --network=host \
  --env GPUSTACK_DATA_MIGRATION=true \
  --volume /var/run/docker.sock:/var/run/docker.sock \
  --volume /var/lib/gpustack:/var/lib/gpustack \
  --volume /models:/models \
  gpustack/gpustack:v2.1.1 \
  --disable-worker \
  --cache-dir /models

여기서 --disable-worker를 명시한 이유는 관리 노드상의 old embedded worker를
깔끔하게 역할 분리하고 싶었기 때문입니다. 이번 마이그레이션에서는 “관리 노드는 관리에만 전념”이 테마였습니다.

GPU 워커를 Docker 버전 worker로 순차적으로 전환하기 #

워커는 기존 data dir을 계승하면서 Docker 버전 worker로 재연결했습니다.
공유 캐시 경로를 맞추기 위해 컨테이너에도 /models:/models를 bind하고,
시작 인수에 --cache-dir /models를 추가했습니다.

sudo docker run -d --name gpustack-worker \
  --restart=unless-stopped \
  --privileged \
  --network=host \
  --volume /var/lib/gpustack-data:/var/lib/gpustack \
  --volume /var/run/docker.sock:/var/run/docker.sock \
  --volume /models:/models \
  --runtime nvidia \
  gpustack/gpustack:v2.1.1 \
  --server-url http://<SERVER_IP> \
  --token <JOIN_TOKEN> \
  --worker-name <WORKER_NAME> \
  --worker-ip <WORKER_IP> \
  --cache-dir /models

핵심은 GUI의 “워커 추가”를 그대로 “등록 작업”으로 생각하지 않는 것이었습니다.
실제로 GUI는 token이나 실행 명령을 얻기 위한 입구이며, Ready 상태가 되는 것은 워커 노드 측에서
실제 명령을 실행한 이후입니다.

NVIDIA Container Toolkit 확인하기 #

GPU 워커 측에서는 --runtime nvidia가 필수입니다. 만약 Docker가 runtime을 인식하지 못하는 경우,
NVIDIA Container Toolkit 설정이 반영되지 않았을 수 있습니다. 공식 절차대로
nvidia-ctk로 Docker runtime을 구성하고 Docker를 재시작합니다.

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Workers 목록을 “실제로 추론하는 노드만”으로 정리하기 #

기존 환경에서는 관리 노드가 worker로 남아 있어 목록상으로는 Not Ready로 보여 혼란의 원인이 되었습니다.
GPU 워커 2대가 Ready가 된 시점에 관리 노드 유래의 stale worker는 정리 대상으로 삼았습니다.
이렇게 해두면 운영 팀이 봐도 역할이 직관적입니다.