GPU与LLM基础设施

GPU与LLM基础设施

8 篇

Qwen2.5-14B + GPUStack 兼顾精度与确定性的实现记录

// BASTION 技术解析 2026-05-14 实现记录:Qwen2.5-14B + GPUStack 兼顾精度与确定性 作者:Hideyuki Chinoda / BESTNET LLC 相关文章: 多层相关活动

阅读更多 →

解决 V100 上 pipeline_parallel=2 崩溃的问题

  Tech BlogGPUStackvLLMTesla V100Multi-Node GPU 集群运维备忘录 解决 V100 上 pipeline_parallel=2 崩溃的问题,并通过 tensor_pa

阅读更多 →

GPUStack v2.1.1 彻底解决多节点推理无法启动问题的全过程

技术博客GPUStack多节点 vLLMTesla V100故障排查GPU 集群运维备忘录彻底解决 GPUStack v2.1.1 多节点推理无法启动的问题在 2 节点 4×V100 上运行 Qwen2.5-32B 的完

阅读更多 →

将Dify从v1.9.2升级到v1.13.3时的操作流程及注意事项

基础设施 / 自建 AI 平台 将 Dify 从 v1.9.2 升级到 v1.13.3 时的操作流程及注意事项 对旧版 docker-compose.yaml 做过的自定义调整越多,升级自建 Dify 的难度就越大。 本

阅读更多 →

通过 10G 专用网络连接 Bestnet Cloud × GPU-VPS,<br>实施 GPUStack 集群的步骤

操作指南BESTNET-CLOUDGPU-VPSGPUStack10G 专用网络NFS 共享缓存技术博客 / 基础设施搭建指南通过 10G 专用网络连接 Bestnet Cloud × GPU-VPS,实施 GPUSta

阅读更多 →

GPUStack 从 v0.7.1 迁移至 v2.1.1 的经历

技术博客GPUStackDocker 迁移NFS 共享缓存GPU 集群运维笔记将 GPUStack 从 v0.7.1 迁移至 v2.1.1在不破坏共享 NFS 模型缓存配置的前提下完成升级本文记录了将基于旧版安装脚本运行

阅读更多 →

在 Proxmox VE 上的 Ubuntu 24.04 虚拟机中为 Tesla V100 安装 NVIDIA 驱动和 CUDA 12.9

Proxmox VE / Ubuntu 24.04 / NVIDIA CUDA在 Proxmox VE 上的 Ubuntu 24.04 虚拟机中为 Tesla V100 安装 NVIDIA 驱动和 CUDA 12.9本文

阅读更多 →

Rocky Linux 9.3上安装NVIDIA驱动和CUDA

安装步骤步骤1. 添加NVIDIA官方软件源在您的系统中注册适用于Rocky Linux 9的NVIDIA CUDA官方软件源。运行以下命令将添加CUDA(NVIDIA)软件源。sudo dnf config-manag

阅读更多 →

©2020 BESTNET.LLC . All Rights Reserved.