华为裸金属昇腾Atlas 900A2 P0D(910B)部署Deepseek蒸馏70b LLaMA模型

一、环境说明

华为裸金属服务器，昇腾架构Atlas 900A2 P0D 共3.2P算力，此架构不能用ollama

硬件配置：

• 机型: physical.kat2ne.48xlarge.8.ei.pod101
• CPU: Kunpeng 920 (4*48Core@2.6GHz)，ARM 架构，192 核
• 内存: 24*64GB DDR4 1536G
• 硬盘: 500G nvmex 15T
• 网卡: 2*100G + 8*200G
• 浸没式液冷

模型：DeepSeek-R1-Distill-Llama-70B，最多也能只能部署这个，如果想要部署671b，需要4台及以上910b的服务器

系统层

[root@0001 ~]# cat /etc/os-release
NAME="EulerOS"
VERSION="2.0 (SP10)"
ID="euleros"
VERSION_ID="2.0"
PRETTY_NAME="EulerOS 2.0 (SP10)"
ANSI_COLOR="0;31"

二、部署步骤

a.需要安装整备一些基础工具

yum update
yum install -y epel-release net-tools screen socat conntrack ebtables ipset chrony lsof

防火墙没啥用都关掉

systemctl stop firewalld
systemctl disable firewalld
swapoff -a
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
setenforce 0

硬盘配置，15T

#创建pv vg
pvcreate /dev/nvme{0..4}n1

vgcreate datavg /dev/nvme{0..4}n1

lvcreate -l 100%FREE -n datalv datavg

#划分成ext4
mkfs.ext4 /dev/datavg/datalv

#创建和挂载
mkdir /data
mount /dev/datavg/datalv /data

#持久化
vim /etc/fstab

/dev/datavg/datalv  /data  ext4  defaults  0  0

b.下载模型

国内源：阿里云的ModelScope 推荐用这个，一百多G

国际源：