GPU 與 LLM 基礎設施

GPU 與 LLM 基礎設施

8 篇

Qwen2.5-14B + GPUStack 實現精度與確定性兼具的實作記錄

// BASTION 技術解說 2026-05-14 實作記錄:以 Qwen2.5-14B + GPUStack 兼顧精度與確定性 作者:Hideyuki Chinoda / BESTNET LLC 相關文章: 多層關聯

閱讀更多 →

解決 V100 上 pipeline_parallel=2 當機問題

  Tech BlogGPUStackvLLMTesla V100Multi-Node GPU 叢集運維紀錄 解決 V100 上 pipeline_parallel=2 當機問題,並以 tensor_paral

閱讀更多 →

GPUStack v2.1.1 徹底解決多節點推論無法啟動的所有問題

技術部落格GPUStack多節點 vLLMTesla V100疑難排解GPU 叢集維運筆記徹底解決 GPUStack v2.1.1 多節點推論無法啟動的所有問題在 2 節點 4×V100 上運行 Qwen2.5-32B

閱讀更多 →

從 Dify v1.9.2 升級至 v1.13.3 的進行方式與容易遇到的問題

基礎架構/自架 AI 平台 從 Dify v1.9.2 升級至 v1.13.3 的方法與容易遇到的問題 對舊版 docker-compose.yaml 做過越多客製調整,自架 Dify 的升級就會變得越困難。 這次我們記

閱讀更多 →

使用 10G 私有網路連接 Bestnet Cloud × GPU-VPS,<br>實作 GPUStack 叢集的步驟

操作指南BESTNET-CLOUDGPU-VPSGPUStack10G 私有網路NFS 共用快取技術部落格 / 基礎架構建置指南透過 10G 私有網路連接 Bestnet Cloud × GPU-VPS,GPUStack

閱讀更多 →

從 GPUStack v0.7.1 遷移至 v2.1.1 的經驗分享

技術部落格GPUStackDocker 遷移NFS 共享快取GPU 叢集維運筆記將 GPUStack 從 v0.7.1 遷移至 v2.1.1在不破壞共享 NFS 模型快取設定的前提下完成升級本文記錄了將以舊版安裝腳本方式

閱讀更多 →

在 Proxmox VE 上的 Ubuntu 24.04 VM 中為 Tesla V100 安裝 NVIDIA Driver 和 CUDA 12.9

Proxmox VE / Ubuntu 24.04 / NVIDIA CUDA在 Proxmox VE 的 Ubuntu 24.04 VM 上為 Tesla V100 安裝 NVIDIA Driver 與 CUDA 12

閱讀更多 →

在 Rocky Linux 9.3 上安裝 NVIDIA 驅動程式與 CUDA

安裝程序STEP1. 新增官方 NVIDIA 儲存庫在系統上註冊適用於 Rocky Linux 9 的官方 NVIDIA CUDA 儲存庫。執行以下指令即可新增 CUDA(NVIDIA)儲存庫。sudo dnf conf

閱讀更多 →

©2020 BESTNET.LLC . All Rights Reserved.