保护客户门户本身 #

在创建服务器之前，先确定管理防护策略。特别是对于团队运维而言，
提前明确 MFA 和允许 IP 的处理方式，可以避免日后出现”谁可以从哪里访问管理界面”这类混乱。

在创建服务器之前先注册 SSH 密钥 #

与其在创建 AI-SRV 和 GPU 工作节点之后再逐台插入密钥，不如事先在客户门户的 SSH 密钥管理中准备好密钥，
这样在模板部署完成后即可立即进行管理访问。

• 整理团队运维用的公钥
• 不要将共享密钥与紧急情况下使用的个人密钥混用
• 不要在公开文章中张贴密钥指纹

在 Bestnet Cloud 上从模板创建 AI-SRV #

AI-SRV 使用 Ubuntu 24 系列模板，同时承载 GPUStack Server 和 NFS。
由于该节点还兼作模型存储，请将存储区域与操作系统磁盘分开设计，并预留充足空间。

• 角色为 GPUStack Server + NFS
• 接入专用网络
• 只有在确实需要暴露 UI 时才考虑公网一侧
• 为 AI-SRV 分配比工作节点更大的模型存储容量

在 GPU-VPS 上按需创建工作节点 #

由于工作节点用于推理，请根据 GPU 类型、显存以及未来的模型规模来选择 GPU-VPS 套餐。
另一方面，由于模型本身保存在 NFS 一侧，工作节点的存储容量可以轻松缩减到仅供操作系统和执行所需的最小限度。

• 统一使用 Ubuntu 24 系列
• 创建时确保可用 GPU 驱动 / CUDA
• 接入专用网络
• 如不需要公网 IP，可考虑纯私有配置

将所有节点置于 10G 专用网络上 #

NFS 与 GPUStack 的内部通信通过连接 Bestnet Cloud 与 GPU-VPS 的 10G 专用链路进行传输。
这样一来，模型获取和工作节点加入就可以留在私有一侧。

• 让 AI-SRV 与所有工作节点处于同一个专用网段
• 分配固定 IP，以便后续 NFS 导出和 systemd 设置更加稳定
• 如果工作节点需要出站通信，可选择 NAT 路由器方式或临时公网出口

如果想将工作节点推向纯私有，仅在操作系统更新和外部获取时使用 Bestnet Cloud 的虚拟路由器 / NAT 方式会更便于管理。

确定初始防火墙规则 #

“只对 AI-SRV 放行最低限度的必要入站流量，工作节点几乎不开放公网入站”的策略就已足够。
在门户的防火墙界面上，请先确认现有规则，然后只添加必要的端口。

若以 NFS v4 为前提，很容易统一为 2049/tcp，但也有部分环境会使用 rpcbind。请务必将公网开放范围限制在专用子网内。

创建初始快照 #

在操作系统初始创建、密钥注入、专用网络接入以及防火墙设置全部完成之后，
请为 AI-SRV 和 GPU 工作节点创建快照，以便日后中间件安装失败时更容易恢复。

安装 GPUStack Server #

在本初始搭建示例中，我们在 AI-SRV 上部署 GPUStack Server，以便登录管理 UI。
记录下初始管理员密码后，请将其移至安全的保险库中保管，切勿张贴在文章中。

curl -sfL https://get.gpustack.ai | sh -s -
cat /var/lib/gpustack/initial_admin_password

# Web UI (example)
# http://10.10.0.10/

创建 NFS 共享目录 #

将模型文件实体放在 /srv/gpustack_models 中。
将其仅导出到专用子网，并且在 AI-SRV 自身上也将其绑定挂载为 /models。
这样可以让服务器一侧看到的路径与工作节点一侧看到的路径保持一致。

sudo mkdir -p /srv/gpustack_models

echo "/srv/gpustack_models 10.10.0.0/24(rw,sync,no_subtree_check,no_root_squash)" |   sudo tee -a /etc/exports

sudo exportfs -ra

# Server itself also bind mount
sudo mkdir -p /models
sudo mount --bind /srv/gpustack_models /models
echo "/srv/gpustack_models /models none bind 0 0" | sudo tee -a /etc/fstab

签发工作节点加入令牌 #

从 GPUStack GUI 创建工作节点加入令牌。在公开文章中，请以 <WORKER_JOIN_TOKEN> 的形式表示，
不要张贴实际数值。此外，将 GUI 登录来源限制在专用网络一侧会更加安全。

首先将 /models 通过 NFS 挂载 #

每个工作节点都在同一路径 /models 上挂载由 AI-SRV 导出的共享区域。
这样可以让所有工作节点的缓存路径保持一致，防止模型被重复存储。

sudo mkdir -p /models
echo "10.10.0.10:/srv/gpustack_models /models nfs defaults 0 0" | sudo tee -a /etc/fstab
sudo mount -a

挂载完成后，请用 mount | grep /models 确认预期的共享位置已经可见。

安装 GPUStack Worker #

使用在 AI-SRV 一侧签发的令牌，让每台 GPU-VPS 以工作节点身份加入集群。

curl -sfL https://get.gpustack.ai | sh -s -   --server-url http://10.10.0.10   --token <WORKER_JOIN_TOKEN>

固定 --cache-dir /models 参数，用于工作节点服务 #

在共享缓存配置中，这一项设置最为重要。请在
GPUStack Worker 的 systemd 定义中添加 --cache-dir /models，并同时固定 data-dir。

[Service]
ExecStart=/root/.local/bin/gpustack start   --server-url http://10.10.0.10   --token <WORKER_JOIN_TOKEN>   --cache-dir /models   --data-dir /var/lib/gpustack-data

sudo systemctl daemon-reload
sudo systemctl enable --now gpustack

# If "Using cache dir: /models" appears, OK
journalctl -u gpustack -f

在 GPUStack GUI 中确认工作节点已处于 Ready 状态 #

在 GUI 的 Workers 界面上，确认所有 GPU-VPS 节点均为 Ready 状态。
如果一直处于 Not Ready，请按 GPU 驱动 / CUDA、NFS 挂载、工作节点日志的顺序进行排查。