保護客戶主控台本身 #

在建立伺服器之前，先決定管理防護方針。尤其是團隊作業時，
先釐清 MFA 與允許 IP 的處理方式，可避免日後對「誰能從哪裡存取管理介面」產生混亂。

在建立伺服器前先註冊 SSH 金鑰 #

與其在建立 AI-SRV 與 GPU 工作節點後才個別插入金鑰，不如事先在客戶主控台的 SSH 金鑰管理中準備好金鑰，
即可在部署範本後立即取得管理存取權。

• 整理團隊作業用的公開金鑰
• 共用金鑰與緊急狀況用的個人金鑰不要混用
• 不要在公開文章中張貼金鑰指紋

從範本在 Bestnet Cloud 上建立 AI-SRV #

AI-SRV 使用 Ubuntu 24 系列範本，同時承載 GPUStack Server 與 NFS。
由於此節點同時作為模型儲存空間，請與作業系統磁碟分開設計，配置充足的儲存空間。

• 角色為 GPUStack Server + NFS
• 連接至私有網路
• 僅在需要公開 UI 時才考慮公開側
• AI-SRV 的模型儲存容量應配置得比工作節點更多

依所需數量在 GPU-VPS 上建立工作節點 #

由於工作節點用於推論，請依 GPU 類型、VRAM 與未來模型大小選擇 GPU-VPS 方案。
另一方面，由於模型本身保存於 NFS 側，工作節點的儲存空間可輕易縮減至作業系統與執行所需的最小限度。

• 統一使用 Ubuntu 24 系列
• 建立時需可使用 GPU 驅動程式 / CUDA
• 連接至私有網路
• 若不需要公開 IP，可考慮設為僅限私有

將所有節點置於 10G 私有網路上 #

NFS 與 GPUStack 的內部通訊，透過連接 Bestnet Cloud 與 GPU-VPS 的 10G 私有連線傳輸。
如此一來，模型取得與工作節點加入都能維持在私有側進行。

• 讓 AI-SRV 與所有工作節點都位於相同的私有網段
• 指派固定 IP，以穩定後續的 NFS 匯出與 systemd 設定
• 若工作節點需要出站通訊，可選擇 NAT 路由器方式或暫時的公開出口

若想將工作節點設為純私有，使用 Bestnet Cloud 的虛擬路由器 / NAT 模式，僅用於作業系統更新與對外擷取，管理上會更輕鬆。

決定初始防火牆規則 #

採取「僅允許 AI-SRV 必要的最小限度傳入，工作節點幾乎不允許公開傳入」的方針即可。
在主控台的防火牆畫面中，先確認現有規則，再僅新增必要的埠口。

假設使用 NFS v4，很容易將埠口統一為 2049/tcp，不過部分環境可能會使用 rpcbind。請務必將公開範圍限制在私有子網路內。

建立初始快照 #

在完成作業系統初始建立、金鑰注入、私有網路連接與防火牆設定後，
請為 AI-SRV 與 GPU 工作節點建立快照，以便日後若中介軟體安裝失敗時更容易還原。

安裝 GPUStack Server #

在初期建置範例中，我們在 AI-SRV 上部署 GPUStack Server，以便登入管理介面。
記錄初始管理員密碼後，請將其移至安全的保管處，切勿張貼於文章中。

curl -sfL https://get.gpustack.ai | sh -s -
cat /var/lib/gpustack/initial_admin_password

# Web UI (example)
# http://10.10.0.10/

建立 NFS 共用目錄 #

將模型檔案實體存放於 /srv/gpustack_models。
僅將此目錄匯出至私有子網路，並在 AI-SRV 本機也以繫結掛載方式掛載為 /models。
這樣可讓伺服器端所看到的路徑與工作節點所看到的路徑保持一致。

sudo mkdir -p /srv/gpustack_models

echo "/srv/gpustack_models 10.10.0.0/24(rw,sync,no_subtree_check,no_root_squash)" |   sudo tee -a /etc/exports

sudo exportfs -ra

# Server itself also bind mount
sudo mkdir -p /models
sudo mount --bind /srv/gpustack_models /models
echo "/srv/gpustack_models /models none bind 0 0" | sudo tee -a /etc/fstab

發行工作節點加入權杖 #

從 GPUStack GUI 建立工作節點加入權杖。在公開文章中，請以 <WORKER_JOIN_TOKEN> 表示，
切勿張貼實際數值。此外，將 GUI 登入來源限制在私有網路側會更安全。

先透過 NFS 掛載 /models #

每個工作節點都在相同的路徑 /models 掛載由 AI-SRV 匯出的共用區域。
這樣可讓所有工作節點的快取路徑保持一致，避免重複儲存模型。

sudo mkdir -p /models
echo "10.10.0.10:/srv/gpustack_models /models nfs defaults 0 0" | sudo tee -a /etc/fstab
sudo mount -a

掛載完成後，請以 mount | grep /models 確認可看到預期的共用位置。

安裝 GPUStack Worker #

使用 AI-SRV 端發行的權杖，讓各台 GPU-VPS 以工作節點身分加入叢集。

curl -sfL https://get.gpustack.ai | sh -s -   --server-url http://10.10.0.10   --token <WORKER_JOIN_TOKEN>

在工作節點服務中固定 --cache-dir /models #

在共用快取設定中，這項設定最為重要。請在 GPUStack Worker 的 systemd 定義中加入
--cache-dir /models，並同時固定 data-dir。

[Service]
ExecStart=/root/.local/bin/gpustack start   --server-url http://10.10.0.10   --token <WORKER_JOIN_TOKEN>   --cache-dir /models   --data-dir /var/lib/gpustack-data

sudo systemctl daemon-reload
sudo systemctl enable --now gpustack

# If "Using cache dir: /models" appears, OK
journalctl -u gpustack -f

在 GPUStack GUI 中確認工作節點為 Ready #

在 GUI 的 Workers 畫面中，確認所有 GPU-VPS 節點均為 Ready 狀態。
若仍為 Not Ready，請依序排查 GPU 驅動程式 / CUDA、NFS 掛載、工作節點日誌。