발생했던 증상 #

모델은 정상적으로 시작되었지만 채팅을 전송한 후 수 분~수십 분 후 엔진이 항상 다운되었습니다. 로그에는 다음과 같은 오류가 반복적으로 기록되었습니다.

AttributeError: '_TorchTensorAcceleratorChannel' object
has no attribute '_accelerator_group'.
Did you mean: '_accelerator_group_id'?

ray.exceptions.ActorUnavailableError: The actor is temporarily unavailable:
  RpcError: RPC error: Socket closed rpc_code: 14.

이 오류는 크래시 후 정리 프로세스(teardown)에서 발생하는 Ray 2.54.0 버그이며, 직접적인 원인은 아닙니다. 진짜 원인은 그 이전 단계인 pipeline_parallel 스테이지 간 GPU 액셀러레이터 통신 채널의 초기화 실패에 있습니다.

근본 원인: V100은 pipeline_parallel의 P2P GPU 전송 미지원 #

vLLM의 pipeline_parallel(파이프라인 병렬 처리)은 스테이지 간 활성화 전송에 _TorchTensorAcceleratorChannel(GPU 간 P2P 직접 전송)을 사용합니다. 이는 NVLink 또는 고속 GPU P2P가 필요하며, Tesla V100-PCIE(compute capability 7.0)에서는 사용할 수 없습니다.

해결책: 설정 변경만으로 완전 해결 #

GPUStack UI의 모델 설정을 다음과 같이 변경하는 것만으로 해결되었습니다. 인프라 측의 변경은 전혀 필요하지 않았습니다.

--tensor-parallel-size 2
--pipeline-parallel-size 2
--distributed-executor-backend ray
--max-model-len 32768
--generation-config vllm

--tensor-parallel-size 4
--pipeline-parallel-size 1
--distributed-executor-backend ray
--max-model-len 65536
--generation-config vllm
--enable-auto-tool-choice
--tool-call-parser hermes

또한 RAY_CGRAPH_get_timeout은 pipeline_parallel의 스테이지 간 통신 타임아웃 설정이기 때문에 pipeline_parallel=1로 설정한 경우 불필요합니다. 환경 변수에서 제거해도 됩니다.

변경에 따른 효과 비교 #

# 변경 전 (2GPU가 담당)
Model loading took 15-17 GiB / GPU

# 변경 후 (4GPU가 담당)
Model loading took 6.95 GiB / GPU

# 변경 전
KV cache: 적음 (VRAM이 부족함)

# 변경 후
Available KV cache memory: 20.97 GiB
GPU KV cache size: 458,

컨텍스트 길이 64K로 확장 #

tensor_parallel=4로 VRAM에 여유가 생겼기 때문에 컨텍스트 길이의 확장을 시도했다.

Environment Variables에 추가:

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1

Backend Parameters:

--max-model-len 65536

기동 확인:

INFO: Using max model len 65536
INFO: Available KV cache memory: 20.97 GiB
INFO: GPU KV cache size: 458,
INFO: Maximum concurrency for 32, per request: 13.98x
INFO: Starting vLLM API server ← 정상 시작

최종 안정 동작 설정 요약 #

--distributed-executor-backend ray
--tensor-parallel-size 4
--pipeline-parallel-size 1
--max-model-len 65536
--generation-config vllm
--enable-auto-tool-choice
--tool-call-parser hermes

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1

--ipc=host
--shm-size=64g

체크리스트 #

• V100 환경에서는 --pipeline-parallel-size 1을 사용합니다(pipeline_parallel은 P2P GPU 통신을 사용하므로 V100 미지원)
• 멀티노드에서 4GPU를 사용하는 경우 --tensor-parallel-size 4로 통일합니다
• RAY_CGRAPH_get_timeout은 pipeline_parallel=1이면 불필요하므로 삭제해도 됩니다
• 64K 컨텍스트는 VLLM_ALLOW_LONG_MAX_MODEL_LEN=1을 Environment Variables에 추가합니다
• gpustack-worker 컨테이너는 --ipc=host --shm-size=64g 옵션과 함께 실행합니다
• 프로덕션 투입 전에 장문 동시 요청으로 부하 테스트를 실시하여 안정성을 확인합니다