GPU·LLM 인프라
Qwen2.5-14B + GPUStack으로 정확도와 결정성을 양립한 구현 기록
BASTION이 클라우드 LLM API 대신 GPUStack 기반 로컬 LLM(Qwen2.5-14B)을 채택한 이유와 구현을 해설합니다. LLM은 로그 요약·보고서 생성 등에만 쓰고 중대도 판정과 차단 실행은 결정론적 로직에 맡기는 설계와 JSON 출력 강제, 낮은 temperature 등을 소개합니다.
자세히 보기 →Proxmox VE 상의 Ubuntu 24.04 VM에서 Tesla V100에 NVIDIA Driver와 CUDA 12.9를 도입하기
Proxmox VE / Ubuntu 24.04 / NVIDIA CUDAProxmox VE 상의 Ubuntu 24.04 VM에서 Tesla V100에 NVIDIA Driver와 CUDA 12.9 설치
자세히 보기 →V100에서 pipeline_parallel=2 크래시 문제 해결
Tech BlogGPUStackvLLMTesla V100Multi-Node GPU 클러스터 운영 메모 pipeline_parallel=2가 V100에서 크래시하는 문제를 해결하고tens
자세히 보기 →GPUStack v2.1.1 멀티 노드 추론이 시작되지 않는 문제를 모두 해결한 이야기
Tech BlogGPUStackMulti-Node vLLMTesla V100TroubleshootingGPU 클러스터 운영 메모GPUStack v2.1.1 멀티노드 추론이 시작되지 않는 문제를 모두
자세히 보기 →Dify를 v1.9.2에서 v1.13.3으로 업그레이드할 때의 진행 방법과 주의점
인프라 / Self-hosted AI 플랫폼 Dify를 v1.9.2에서 v1.13.3으로 업그레이드할 때의 진행 방법과 주의점 Self-hosted Dify의 업그레이드는 기존 docker-comp
자세히 보기 →Bestnet Cloud × GPU-VPS를 10G 프라이빗 네트워크로 연결하고 GPUStack 클러스터를 구현하는 절차
사용 방법BESTNET-CLOUDGPU-VPSGPUStack10G Private NetworkNFS Shared Cache기술 블로그 / 인프라 구축 가이드Bestnet Cloud × GPU-VPS
자세히 보기 →GPUStack을 v0.7.1에서 v2.1.1로 마이그레이션한 이야기
Tech BlogGPUStackDocker MigrationNFS Shared CacheGPU 클러스터 운영 메모GPUStack을 v0.7.1에서 v2.1.1로 마이그레이션한 이야기공유 NFS 모델
자세히 보기 →Rocky Linux 9.3에 NVIDIA 드라이버 및 CUDA 설치
설치 절차STEP1. 공식 NVIDIA 리포지토리 추가Rocky Linux 9용 공식 NVIDIA CUDA 리포지토리를 시스템에 등록합니다. 다음 명령을 실행하면 CUDA(NVIDIA) 리포지토리가
자세히 보기 →