【总结篇】LLM推理环境安装部署全指南

本文介绍了安装WSL2、Ubuntu、NVIDIA显卡驱动、CUDA 12.4.1、cuDNN的方法及Xinference、vLLM、SGLang等推理框架的部署使用方法。

本文写于2025年2月25日。AI技术日新月异，其中的许多内容可能很快过时。

本文适用于NVIDIA显卡用户，建议GPU架构为Turing或更新（对应RTX 20系或以上）。

系统安装及基本配置

纯净的物理机：Ubuntu Server 22.04.5 LTS

下载地址：https://releases.ubuntu.com/22.04/ubuntu-22.04.5-live-server-amd64.iso

烧录后正常安装即可。

Windows用户：Ubuntu 22.04.5 LTS on WSL2

• 确保你的系统不是家庭版，系统版本为 1903 或更高版本，内部版本为 18362.1049 或更高版本
• 关闭电脑上的所有代理软件
• 在开始菜单中找到控制面板，右上角搜索启用或关闭，选择启用或关闭Windows功能
• 勾选适用于Linux的Windows子系统、虚拟机平台（Win11可能没有部分选项）
• 重启

（对于Windows 10用户）需要额外进行的步骤：

• 下载并安装：https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi
• 打开Powershell管理员，执行以下命令：wsl --set-default-version 2

继续：

• 在开始菜单中找到Microsoft Store，搜索ubuntu 22.04.5，下载第一个。
• 下载完成后会弹出一个自动安装的窗体，关掉。
• 开启代理，打开Powershell管理员。
• 执行以下命令以通过代理快速安装（以监听7890端口的代理为例）：

$env:HTTPS_PROXY="127.0.0.1:7897"
wsl --install --web-download

• 然后设置用户名和密码即可。

Windows用户：配置WSL2网络以在宿主机快速访问

• 按下WIN+R，输入C:\Windows\System32\drivers\etc，回车
• 找到hosts文件，右键选择“属性” ，选择“安全”选项卡
• 点击“编辑”，找到当前用户组（一般是Users）
• 勾选"完全控制"，在弹出的对话框中确认，点击确定
• 在开始菜单中找到Ubuntu，运行后安装依赖并创建脚本：

sudo apt update
sudo apt install net-tools -y
vi /opt/win_wsl_domain.sh

• 复制如下脚本后，按i进入编辑模式，按Shift+Ins粘贴，然后按ESC，输入:wq回车以保存。

#!/bin/bash
win_hosts_path="/mnt/c/Windows/System32/drivers/etc/hosts"
wsl_domain="wslubuntu"
# 获取 wsl 的 ip
wsl_ip=$(ifconfig eth0 | grep -w inet | awk '{print $2}')
# 判断是否已存在 win 的域名，如果存在则修改，否则追加
if grep -wq "$wsl_domain" $win_hosts_path; then
    # 此处因为权限问题没有直接用 sed 修改 hosts 文件
    win_hosts=$(sed -s "s/.* $wsl_domain/$wsl_ip $wsl_domain/g" $win_hosts_path)