GPU与LLM基础设施

GPU与LLM基础设施

8 篇

Qwen2.5-14B + GPUStack 兼顾精度与确定性的实现记录

// BASTION 技术解说 2026-05-14 Qwen2.5-14B + GPUStack 实现精度与确定性兼得的实施记录 著者: 珍田 秀幸 / BESTNET LLC(ベストネット合同会社) 相关文章: 多层

阅读更多 →

解决 V100 上 pipeline_parallel=2 崩溃的问题

  Tech BlogGPUStackvLLMTesla V100Multi-Node GPU 集群运维笔记 解决 pipeline_parallel=2 在 V100 上崩溃的问题直至 tensor_para

阅读更多 →

GPUStack v2.1.1 彻底解决多节点推理无法启动问题的全过程

技术博客 GPUStack 多节点 vLLM Tesla V100 故障排除GPU 集群运维笔记 GPUStack v2.1.1 多节点推理无法启动问题全部解决记录 在 2 节点 4×V100 上运行 Qwen2.5-3

阅读更多 →

将Dify从v1.9.2升级到v1.13.3时的操作流程及注意事项

Infrastructure / Self-hosted AI Platform 将 Dify 从 v1.9.2 升级到 v1.13.3 时的操作流程和注意事项 Self-hosted Dify 的升级难度取决于旧版 d

阅读更多 →

通过 10G 专用网络连接 Bestnet Cloud × GPU-VPS,<br>实施 GPUStack 集群的步骤

操作指南 BESTNET-CLOUD GPU-VPS GPUStack 10G 专用网络 NFS 共享缓存技术博客 / 基础设施搭建指南 通过 10G 专用网络连接 Bestnet Cloud × GPU-VPS, 实现

阅读更多 →

GPUStack 从 v0.7.1 迁移至 v2.1.1 的经历

Tech Blog GPUStack Docker Migration NFS Shared CacheGPU 集群运维笔记 将 GPUStack 从 v0.7.1 迁移至 v2.1.1 在不破坏共享 NFS 模型缓存配

阅读更多 →

在 Proxmox VE 上的 Ubuntu 24.04 虚拟机中为 Tesla V100 安装 NVIDIA 驱动和 CUDA 12.9

Proxmox VE / Ubuntu 24.04 / NVIDIA CUDA 在 Proxmox VE 上的 Ubuntu 24.04 虚拟机中为 Tesla V100 安装 NVIDIA 驱动和 CUDA 12.9

阅读更多 →

Rocky Linux 9.3上安装NVIDIA驱动和CUDA

安装步骤 STEP1. 添加NVIDIA官方仓库 将面向Rocky Linux 9的NVIDIA官方CUDA仓库注册到系统中。执行以下命令后,将添加CUDA(NVIDIA)仓库​。 sudo dnf config-man

阅读更多 →

©2020 BESTNET.LLC . All Rights Reserved.