legacy data dir を特定し、先にバックアップを取る #

旧構成の systemd 定義を確認し、Server / Worker がそれぞれどの data dir を使っているかを明確化しました。
そのうえでサービス停止 → tar バックアップ → 権限調整の順で作業しています。

sudo systemctl cat gpustack | sed -n '/ExecStart/p'
sudo systemctl stop gpustack
sudo systemctl disable gpustack

sudo tar -C / -cpf /root/backup/gpustack-server.tar var/lib/gpustack

管理ノードを先に v2.1.1 へ移行する #

管理ノードは GPU を使わない前提だったため、Server 起動時の --runtime nvidia は外しました。
ここを付けたままだと、Docker 側に NVIDIA runtime が登録されていないサーバーでは
unknown or invalid runtime name: nvidia で起動に失敗します。

sudo docker run -d --name gpustack \
  --restart=unless-stopped \
  --privileged \
  --network=host \
  --env GPUSTACK_DATA_MIGRATION=true \
  --volume /var/run/docker.sock:/var/run/docker.sock \
  --volume /var/lib/gpustack:/var/lib/gpustack \
  --volume /models:/models \
  gpustack/gpustack:v2.1.1 \
  --disable-worker \
  --cache-dir /models

ここで --disable-worker を明示したのは、管理ノード上の old embedded worker を
きれいに役割分離したかったからです。今回の移行では「管理ノードは管理に専念」がテーマでした。

GPU ワーカーを Docker 版 worker として順次切り替える #

ワーカーは既存の data dir を引き継ぎつつ、Docker 版 worker として再接続しました。
共有キャッシュのパスを合わせるため、コンテナにも /models:/models を bind し、
起動引数に --cache-dir /models を付けています。

sudo docker run -d --name gpustack-worker \
  --restart=unless-stopped \
  --privileged \
  --network=host \
  --volume /var/lib/gpustack-data:/var/lib/gpustack \
  --volume /var/run/docker.sock:/var/run/docker.sock \
  --volume /models:/models \
  --runtime nvidia \
  gpustack/gpustack:v2.1.1 \
  --server-url http://<SERVER_IP> \
  --token <JOIN_TOKEN> \
  --worker-name <WORKER_NAME> \
  --worker-ip <WORKER_IP> \
  --cache-dir /models

ポイントは、GUI の「ワーカーを追加」をそのまま“登録作業”だと思わないことでした。
実際には GUI は token や実行コマンドを得るための入口で、Ready になるのはワーカーノード側で
実コマンドを流したあとです。

NVIDIA Container Toolkit を確認する #

GPU ワーカー側では --runtime nvidia が必須です。もし Docker が runtime を知らない場合は、
NVIDIA Container Toolkit の設定が未反映かもしれません。公式手順どおり
nvidia-ctk で Docker runtime を構成し、Docker を再起動します。

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Workers 一覧を「実際に推論するノードだけ」に整理する #

旧環境では管理ノードが worker として残っており、一覧上は Not Ready に見えて混乱の元でした。
GPU ワーカー 2 台が Ready になったタイミングで、管理ノード由来の stale worker は整理対象にしました。
こうしておくと、運用チームが見ても役割が直感的になります。