GPU 與 LLM 基礎設施

GPU 與 LLM 基礎設施

8 篇

Qwen2.5-14B + GPUStack 實現精度與確定性兼具的實作記錄

// BASTION 技術解說 2026-05-14 Qwen2.5-14B + GPUStack 兼顧精確度與確定性的實作記錄 著者: 珍田 秀幸 / ベストネット合同会社 相關文章: 多層相關活動偵測機制 / DMZ

閱讀更多 →

解決 V100 上 pipeline_parallel=2 當機問題

  Tech BlogGPUStackvLLMTesla V100Multi-Node GPU 叢集運作備忘 解決 pipeline_parallel=2 在 V100 上當機的問題達成 tensor_para

閱讀更多 →

GPUStack v2.1.1 徹底解決多節點推論無法啟動的所有問題

Tech Blog GPUStack Multi-Node vLLM Tesla V100 TroubleshootingGPU 叢集營運筆記 GPUStack v2.1.1 多節點推論無法啟動問題全解決記錄 2節點4×

閱讀更多 →

從 Dify v1.9.2 升級至 v1.13.3 的進行方式與容易遇到的問題

基礎架構 / 自行託管 AI 平台 將 Dify 從 v1.9.2 升級至 v1.13.3 的進行方式與常見問題 自行託管的 Dify 升級難度,會隨著舊有 docker-compose.yaml 的自訂調整程度而提高。

閱讀更多 →

使用 10G 私有網路連接 Bestnet Cloud × GPU-VPS,<br>實作 GPUStack 叢集的步驟

How-to BESTNET-CLOUD GPU-VPS GPUStack 10G Private Network NFS Shared CacheTech Blog / Infrastructure Build Gui

閱讀更多 →

從 GPUStack v0.7.1 遷移至 v2.1.1 的經驗分享

Tech Blog GPUStack Docker Migration NFS Shared CacheGPU 叢集營運備忘錄 將 GPUStack 從 v0.7.1 遷移至 v2.1.1 在不破壞共用 NFS 模型快取

閱讀更多 →

在 Proxmox VE 上的 Ubuntu 24.04 VM 中為 Tesla V100 安裝 NVIDIA Driver 和 CUDA 12.9

Proxmox VE / Ubuntu 24.04 / NVIDIA CUDA 在 Proxmox VE 上的 Ubuntu 24.04 虛擬機中為 Tesla V100 安裝 NVIDIA Driver 和 CUDA

閱讀更多 →

在 Rocky Linux 9.3 上安裝 NVIDIA 驅動程式與 CUDA

安裝步驟 STEP1. 新增官方NVIDIA軟體庫 將適用於Rocky Linux 9的NVIDIA官方CUDA軟體庫註冊至系統。執行以下指令後,將會新增CUDA(NVIDIA)軟體庫。 sudo dnf config-

閱讀更多 →

©2020 BESTNET.LLC . All Rights Reserved.