sunny0121的博客

【202603更新】记录大模型推理服务部署和使用过程中的一些资源，包括但不限于部署环境、部署框架常用优化、模型调用、多模态对话模型、多模态向量模型、性能测试等（非特殊说明，均为Linux环境、Nvidia显卡）

ubuntu中采用docker和vllm进行多机多卡大模型本地部署

大模型推理引擎综述文章重点信息总结

使用Docker和vllm在本地部署Qwen3系列模型，同时给出其他模型部署框架参考，比如MindIE、Sglang等

LM Studio在M2 Studio上本地部署mlx模型，并开启局域网内访问

ubuntu版本是22.04，现在最新版本是24.xx，截止当前，Nvidia的驱动最高还是22.04版本，不建议更新至最新版本。本部分是从0开始安装Nvidia docker的记录，若已安装Nvdia驱动，请直接跳至3。

本地单机ktransformers部署deepseek r1 671b量化版

docker集群中实现多机多卡分布式训练所遇到的问题及解决方法

vllm部署大模型出现NameError: name 'vllm_ops' is not defined问题的原因及解决办法

python问题记录

仓库中记录了一些网络安全场景中AI应用的前沿论文（主要是web攻击检测）、AI竞赛等，会不定时更新。

论文选用GCN进行web payload攻击特征提取，并在可解释性方面进行了分析

# 好物搬运工，感谢楼主的分享，希望对大家有帮助链接：https://blog.csdn.net/weixin_40962970/article/details/88540343

理论基础 人工智能全国信息安全标准化技术委员会：人工智能，是利用数字计算机或者数字计算机控制的机器模拟、延伸 和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理 论、方法、技术及应用系统。分类：弱人工智能、强人工智能、超级人工智能 三次浪潮： 第一次：1956~1980年左右（诞生---基于符号逻辑推理证明阶段） 第二次：1980年左右 ~2000年左右（步入产业化----基...

转载：https://blog.csdn.net/qq_20259459/article/details/70316511来源：JINWEI93

python学习记录1、静态方法、类防范、实例https://www.cnblogs.com/geogre123/p/10142510.html

Suricata IDS 规则语法开发参考快速入门教程：https://blog.csdn.net/wuyangbotianshi/article/details/44775181入门教程：https://zhuanlan.zhihu.com/p/37173608官方教程：https://suricata.readthedocs.io/en/suricata-5.0.1/rules/header-keywords.html...

原始文章1、Generative Adversarial Nets （arXiv:1406.2661v1）2014-6-10GAN演变1、Conditional Generative Adversarial Nets （arXiv:1411.1784v1）2014-12-62、InfoGAN: Interpretable Representation Learning by...

Preparation： 工具：windows10+cudn9.0+cudnn7.0+tensorflow1.6.0 下载：cudn9.0+cudnn7.1，点击进入云盘可以下载，也可以进入官方网站进行下载。密码：vcp1Installing： 相信点开这篇文章的windows10都已经安装好了，不废话，直接正菜，我使用的是Windows...