発生していた症状 #

モデルは正常に起動し、チャットを送信して数分〜数十分後に必ずエンジンが落ちる。ログには以下のエラーが繰り返し記録されていた。

AttributeError: '_TorchTensorAcceleratorChannel' object
has no attribute '_accelerator_group'.
Did you mean: '_accelerator_group_id'?

ray.exceptions.ActorUnavailableError: The actor is temporarily unavailable:
  RpcError: RPC error: Socket closed rpc_code: 14.

このエラーはクラッシュ後のクリーンアップ処理（teardown）で発生するRay 2.54.0のバグであり、直接の原因ではない。真の原因はその前段、pipeline_parallel ステージ間の GPU アクセラレータ通信チャンネルの初期化失敗にある。

根本原因：V100 は pipeline_parallel の P2P GPU 転送に非対応 #

vLLM の pipeline_parallel（パイプライン並列）はステージ間のアクティベーション転送に _TorchTensorAcceleratorChannel（GPU 間の P2P 直接転送）を使用する。これは NVLink または高速 GPU P2P が必要であり、Tesla V100-PCIE（compute capability 7.0）では利用できない。

解決策：設定変更のみで完全解決 #

GPUStack UI のモデル設定を以下のように変更するだけで解決した。インフラ側の変更は一切不要。

--tensor-parallel-size 2
--pipeline-parallel-size 2
--distributed-executor-backend ray
--max-model-len 32768
--generation-config vllm

--tensor-parallel-size 4
--pipeline-parallel-size 1
--distributed-executor-backend ray
--max-model-len 65536
--generation-config vllm
--enable-auto-tool-choice
--tool-call-parser hermes

また RAY_CGRAPH_get_timeout は pipeline_parallel のステージ間通信タイムアウト設定であるため、pipeline_parallel=1 にした場合は不要になる。環境変数から削除して構わない。

変更による効果の比較 #

# 変更前（2GPU で担当）
Model loading took 15-17 GiB / GPU

# 変更後（4GPU で担当）
Model loading took 6.95 GiB / GPU

# 変更前
KV cache: 少ない（VRAM が逼迫）

# 変更後
Available KV cache memory: 20.97 GiB
GPU KV cache size: 458,160 tokens

コンテキスト長 64K への拡張 #

tensor_parallel=4 で VRAM に余裕が生まれたため、コンテキスト長の拡張を試みた。

Environment Variables に追加：

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1

Backend Parameters：

--max-model-len 65536

起動確認：

INFO: Using max model len 65536
INFO: Available KV cache memory: 20.97 GiB
INFO: GPU KV cache size: 458,160 tokens
INFO: Maximum concurrency for 32,768 tokens per request: 13.98x
INFO: Starting vLLM API server ← 正常起動

最終的な安定動作設定まとめ #

--distributed-executor-backend ray
--tensor-parallel-size 4
--pipeline-parallel-size 1
--max-model-len 65536
--generation-config vllm
--enable-auto-tool-choice
--tool-call-parser hermes

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1

--ipc=host
--shm-size=64g

チェックリスト #

• V100 環境では --pipeline-parallel-size 1 を使用する（pipeline_parallel は P2P GPU 通信を使うため V100 非対応）
• マルチノードで 4GPU 使う場合は --tensor-parallel-size 4 に統一する
• RAY_CGRAPH_get_timeout は pipeline_parallel=1 なら不要・削除して良い
• 64K コンテキストは VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 を Environment Variables に追加する
• gpustack-worker コンテナは --ipc=host --shm-size=64g 付きで起動する
• 本番投入前に長文・同時リクエストで負荷テストを行い安定性を確認する