GPU・LLM基盤
Qwen2.5-14B + GPUStack で精度と決定性を両立した実装記録
BASTION がクラウド LLM でなくローカル LLM（Qwen2.5-14B＋GPUStack）を選んだ理由と実装を解説。LLM の用途は要約やレポート生成に限り、重大度判定とブロック実行は決定論的ロジックに任せる設計と、JSON 出力の強制や低 temperature を紹介。
続きを読む →pipeline_parallel=2 が V100 でクラッシュする問題を解決
Tech BlogGPUStackvLLMTesla V100Multi-Node GPU クラスタ運用メモ pipeline_parallel=2 が V100 でクラッシュする問題を解決しtensor_
続きを読む →GPUStack v2.1.1 マルチノード推論が起動しない問題を全部つぶした話
Tech BlogGPUStackMulti-Node vLLMTesla V100TroubleshootingGPU クラスタ運用メモGPUStack v2.1.1 マルチノード推論が起動しない問題を全部つぶした話
続きを読む →Difyをv1.9.2からv1.13.3へアップグレードしたときの進め方とハマりどころ
Infrastructure / Self-hosted AI Platform Difyをv1.9.2からv1.13.3へアップグレードしたときの進め方とハマりどころ Self-hosted Dify のアップグレード
続きを読む →Bestnet Cloud × GPU-VPS を 10G プライベートネットワークで接続し、<br>GPUStack クラスタを実装する手順
How-toBESTNET-CLOUDGPU-VPSGPUStack10G Private NetworkNFS Shared CacheTech Blog / Infrastructure Build GuideBes
続きを読む →GPUStack を v0.7.1 から v2.1.1 へ移行した話
Tech BlogGPUStackDocker MigrationNFS Shared CacheGPU クラスタ運用メモGPUStack を v0.7.1 から v2.1.1 へ移行した話共有 NFS モデルキャッシ
続きを読む →Proxmox VE 上の Ubuntu 24.04 VM で Tesla V100 に NVIDIA Driver と CUDA 12.9 を導入する
Proxmox VE / Ubuntu 24.04 / NVIDIA CUDAProxmox VE 上の Ubuntu 24.04 VM で Tesla V100 に NVIDIA Driver と CUDA 12.9
続きを読む →Rocky Linux 9.3にNVIDIAドライバとCUDAをインストール
インストール手順STEP1. 公式NVIDIAリポジトリを追加Rocky Linux 9向けのNVIDIA公式CUDAリポジトリをシステムに登録します。以下のコマンドを実行すると、CUDA（NVIDIA）リポジトリが追加
続きを読む →
©2020 BESTNET.LLC . All Rights Reserved.