vllm0.5.0升级到vllm0.6.4报错

最新推荐文章于 2026-03-26 04:58:16 发布
原创 最新推荐文章于 2026-03-26 04:58:16 发布 · 1.5k 阅读 · 11
标签
#python #开发语言 #vllm #人工智能

概述

     考虑vllm0.6.4，在性能提升、模型支持和多模态处理等方面都取得了重要的进展。在性能方面，新版本引入了多步调度 (Multistep scheduling) 和异步输出处理 (Asynchronous output processing)，优化了 GPU 的利用率并提高了处理效率，从而提高了整体的吞吐量。

问题

通过下面代码安装

pip install vllm==0.6.4

报如下错误：

WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)'))': /simple/vllm/

WARNING: Retrying (Retry(total=3, connect=None,

最低0.47元/天 解锁文章
高性能部署实战：vLLM 安装配置 × tokens/s 提升 × 并发测试（适配国产模型）
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
03-30 2993
✅ vLLM 安装配置 + 启动实战✅ Qwen / DeepSeek 模型兼容部署✅ 实测对比吞吐速度与显存✅ 多卡 + Docker 部署优化方案。
【已解决】vllm报错： AttributeError: ‘_OpNamespace‘ ‘_C‘ object has no attribute ‘rms_norm‘
AGATHA_66的博客
07-18 6535
参考：https://github.com/vllm-project/vllm/issues/5804。可能是vllm版本和现在的torch+cuda不匹配，但是这次我遇到的不是因为这个原因。重新创建conda环境 vllm，使用python3.11。python版本过高，目前最高支持3.11。
vLLM v0.17.1升级指南：从旧版本平滑迁移到v0.17.1
最新发布
weixin_36149538的博客
03-26 196
本文介绍了如何在星图GPU平台上自动化部署vLLM-v0.17.1镜像，实现高效的大语言模型推理。该镜像支持动态批处理和量化优化，适用于智能客服、内容生成等场景，显著提升文本处理效率。升级指南涵盖版本兼容性检查、备份策略及性能验证方法，确保平滑迁移。
vLLM V1 重磅升级：核心架构全面革新
aiqlcom的博客
02-09 5957
​ 2025年1月27日，vLLM 开发团队推出 vLLM V1 alpha 版本，这是对框架核心架构的里程碑式升级。基于过去一年半的开发经验沉淀，vLLM 开发团队重新审视关键设计决策，整合多样化功能模块，并通过代码重构大幅提升框架的灵活性和可扩展性。
vllm 安装踩坑记
热门推荐
自闭啦~~
03-03 1万+
​参照上述所说进行安装。
TypeError报错怎么解决？vLLM版本升级指南
weixin_29476595的博客
01-26 470
本文介绍了如何在星图GPU平台上自动化部署「单卡十分钟完成 Qwen2.5-7B 首次微调」镜像，快速解决vLLM版本兼容性问题（如TypeError报错），并支持基于LoRA的高效对话推理与函数调用（tools），典型应用于智能客服、个性化导游等文本生成场景。
使用 vLLM 运行 GLM-4-9B
游戏AI开发者
06-06 5788
在 wsl 中安装 vLLM；使用 huggingface-cli 下载 GLM-4-9B；运行 basic_demo
ERNIE-4.5-0.3B-PT镜像升级指南：从vLLM 0.5.x平滑迁移至0.6.x版本
weixin_35835018的博客
02-06 216
本文介绍了如何在星图GPU平台上自动化部署【vllm】ERNIE-4.5-0.3B-PT镜像，支持轻量级中文文本生成任务。用户可快速启用该模型构建智能对话应用，典型场景包括Chainlit前端驱动的AI客服、知识问答与内容辅助创作，显著提升响应速度与并发稳定性。
ERNIE-4.5-0.3B-PT优化升级：vLLM加速部署技巧
weixin_36288992的博客
02-10 420
本文介绍了如何在星图GPU平台上自动化部署【vllm】ERNIE-4.5-0.3B-PT镜像，显著提升轻量大语言模型的推理性能。通过vLLM加速，该镜像可在单卡A10G上实现高并发、低延迟的中文文本生成服务，典型应用于智能客服对话、技术文档摘要等场景。
vllm安装踩坑
我的备忘录
07-18 6880
我没找到好的解决办法，issue里说的情况都是在用源码安装后遇到的，我直接在干净环境ubuntu20.24 cuda12.2下面pip安装，仍然遇到了问题。而且问题指向是torch里的class缺少属性，因此我猜测是torch的问题，vllm的每个版本又强制要求某个torch版本，因此我只能选择之前的vllm版本。vllm0.5.2最近一周出了个不好搞的新issue，会遇到torch.ops._C没有rms_norm，或者没有reshape_and_cache_flash这两个属性的问题。
解决VLLM安装报错
u011788214的专栏
02-28 1247
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem路径下的变量 LongPathsEnabled, 将其置为 1。
vLLM相关问题
前沿技术分享，人工智能、大模型技术分享，日常问题记录
02-21 4735
VLLM相关问题
升级vLLM后Open-AutoGLM性能翻倍了吗？
weixin_30995917的博客
02-02 111
本文介绍了如何在星图GPU平台上自动化部署Open-AutoGLM – 智谱开源的手机端AI Agent框架镜像，实现安卓设备界面理解与自动操作。通过vLLM升级优化，该镜像可高效完成微信输入、淘宝导航、小红书关注等真实手机任务，显著提升AI手机助理的响应速度与任务完成率。
从 V0 到 V1：vLLM 推理框架的核心升级与技术选型思考
InfraTech
11-21 1045
vLLM框架从V0升级到V1版本的架构改进分析 摘要： vLLM V1版本针对V0架构在性能和扩展性方面的瓶颈进行了重大调整。主要改进包括：1）将单线程架构拆分为多进程设计，解耦了调度器与执行器功能；2）采用无状态调度器设计，简化请求处理流程并消除大量冗余状态管理；3）重构KV缓存管理模块，优化内存分配策略。这些改动显著提升了CPU/GPU协同效率，降低了Python运行时开销，并增强了系统扩展性。测试显示V1在prefix caching等特性上性能提升明显，为后续功能迭代提供了更清晰的架构基础。
vLLM 0.12.0 重磅更新：whisper终于支持verbose_json 时间戳了
四楼没电梯的专栏
12-05 870
vLLM 0.12.0 是一次“大版本级别”的更新引擎重构：更快、更稳、更易扩展长序列推理：PCP 解锁未来超长 context推测解码：多模态、多步、分布式全支持模型生态：覆盖更多文本与多模态家族性能优化：NVIDIA / AMD / CPU 全栈提速API 体验：更接近 OpenAI 标准、更稳定、更丰富Breaking changes：需要注意 PyTorch/CUDA 升级与配置迁移如果你正在构建任意类型的大语言模型推理系统，vLLM 0.12.0 值得尽快尝试。
vLLM 0.10重磅更新：性能飙升2.5倍，v1引擎重塑大模型推理体验！
携梦问道的博客
08-01 2669
vLLM 0.10版本发布重大更新，引入革命性的v1引擎架构，带来最高2.5倍的性能提升。新版本整合了KV Cache量化技术、FlashAttention-3等核心功能，特别优化了MoE模型支持。但升级过程中可能遇到如"output_size not divisible by block_n"等兼容性问题，主要源于FP8量化与MoE模型的配置冲突。
查看VLLM最新版本方法
jay_hyaline的博客
05-09 3557
查看vllm最新版本的简单方法。
总结版 | vLLM这一年的新特性以及后续规划
CV_Autobot的博客
11-10 4549
作者|oldpan编辑| 自动驾驶之心点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『视觉大语言模型』技术交流群本文只做学术分享，如有侵权，联系删文本文来自The State of vLLM | Ray Summit 2024 && RoadMap的分享，带大家一起回顾下vllm发展历史、过去一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值