GPU 與 LLM 基礎設施
Qwen2.5-14B + GPUStack 實現精度與確定性兼具的實作記錄
// BASTION 技術解說 2026-05-14 實作記錄:以 Qwen2.5-14B + GPUStack 兼顧精度與確定性 作者:Hideyuki Chinoda / BESTNET LLC 相關文章: 多層關聯
閱讀更多 →解決 V100 上 pipeline_parallel=2 當機問題
Tech BlogGPUStackvLLMTesla V100Multi-Node GPU 叢集運維紀錄 解決 V100 上 pipeline_parallel=2 當機問題,並以 tensor_paral
閱讀更多 →GPUStack v2.1.1 徹底解決多節點推論無法啟動的所有問題
技術部落格GPUStack多節點 vLLMTesla V100疑難排解GPU 叢集維運筆記徹底解決 GPUStack v2.1.1 多節點推論無法啟動的所有問題在 2 節點 4×V100 上運行 Qwen2.5-32B
閱讀更多 →從 Dify v1.9.2 升級至 v1.13.3 的進行方式與容易遇到的問題
基礎架構/自架 AI 平台 從 Dify v1.9.2 升級至 v1.13.3 的方法與容易遇到的問題 對舊版 docker-compose.yaml 做過越多客製調整,自架 Dify 的升級就會變得越困難。 這次我們記
閱讀更多 →使用 10G 私有網路連接 Bestnet Cloud × GPU-VPS,<br>實作 GPUStack 叢集的步驟
操作指南BESTNET-CLOUDGPU-VPSGPUStack10G 私有網路NFS 共用快取技術部落格 / 基礎架構建置指南透過 10G 私有網路連接 Bestnet Cloud × GPU-VPS,GPUStack
閱讀更多 →從 GPUStack v0.7.1 遷移至 v2.1.1 的經驗分享
技術部落格GPUStackDocker 遷移NFS 共享快取GPU 叢集維運筆記將 GPUStack 從 v0.7.1 遷移至 v2.1.1在不破壞共享 NFS 模型快取設定的前提下完成升級本文記錄了將以舊版安裝腳本方式
閱讀更多 →在 Proxmox VE 上的 Ubuntu 24.04 VM 中為 Tesla V100 安裝 NVIDIA Driver 和 CUDA 12.9
Proxmox VE / Ubuntu 24.04 / NVIDIA CUDA在 Proxmox VE 的 Ubuntu 24.04 VM 上為 Tesla V100 安裝 NVIDIA Driver 與 CUDA 12
閱讀更多 →在 Rocky Linux 9.3 上安裝 NVIDIA 驅動程式與 CUDA
安裝程序STEP1. 新增官方 NVIDIA 儲存庫在系統上註冊適用於 Rocky Linux 9 的官方 NVIDIA CUDA 儲存庫。執行以下指令即可新增 CUDA(NVIDIA)儲存庫。sudo dnf conf
閱讀更多 →