Mxnet 框架 Insightface( MMS）模型部署教程

最新推荐文章于 2026-05-29 13:47:24 发布

原创

最新推荐文章于 2026-05-29 13:47:24 发布 · 1.7k 阅读

本文详细介绍了如何使用Docker准备CPU和GPU版本的Multi-Model Server镜像，以及如何将模型转换为MAR文件进行部署。首先，通过Dockerfile创建自定义GPU镜像，并推送到镜像仓库。接着，讲解模型转换，包括模型结构、权重、签名文件的准备，以及自定义服务代码。然后，使用model-archiver工具生成MAR文件。最后，提供了一个配置文件示例，并展示了如何部署模型服务，包括多模型部署的示例。测试服务时，通过curl发送请求验证模型服务的正确性。

一、Docker 镜像准备

直接pull mms images

### cpu版本:

docker pull awsdeeplearningteam/multi-model-server

### gpu版本:拉取官方项目

docker pull awsdeeplearningteam/mxnet-model-server:1.0.0-mxnet-gpu

### 自定义gpu版本:
修改Dockerfile.gpu内容

vim Dockerfile.gpu

以cuda10.2为例

FROM nvidia/cuda:10.2-cudnn8-runtime-ubuntu18.04

ENV PYTHONUNBUFFERED TRUE

RUN apt-get update && apt-get install sudo
RUN apt-get update && \
    DEBIAN_FRONTEND=noninteractive apt-get install --no-install-recommends -y \
    fakeroot \
    ca-certificates \
    dpkg-dev \
    g++ \
    python3-dev \
    openjdk-8-jdk-headless \
    libglib2.0-dev \
    libgl1-mesa-dev
    libxrender1 \
    libgl1-mesa-glx \
    libxext-dev \
    curl \
    vim \
    && rm -rf /var/lib/apt/lists/* \
    && cd /tmp \
    && curl -O https://bootstrap.pypa.io/get-pip.py \
    && python3 get-pip.py


RUN update-alternatives --install /usr/bin/python python /usr/bin/python3 1
RUN update-alternatives --install /usr/local/bin/pip pip /usr/local/bin/pip3 1
RUN pip install--no-cache-dir -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com numpy==1.16.1 insightface mtcnn scipy==1.2.2 matplotlib pillow uwsgi opencv-python django keras==2.2.4 jupyterlab
RUN pip install --no-cache-dir -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com multi-model-server \
    && pip install --no-cache-dir -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com mxnet-cu102mkl

RUN useradd -m model-server \
    && mkdir -p /home/model-server/tmp

COPY dockerd-entrypoint.sh /usr/local/bin/dockerd-entrypoint.sh
COPY config.properties /home/model-server

RUN chmod +x /usr/local/bin/dockerd-entrypoint.sh \
    && chown -R model-server /home/model-server

EXPOSE 8080 8081
RUN usermod -a -G sudo model-server
USER model-server
WORKDIR /home/model-server
ENV TEMP=/home/model-server/tmp
ENTRYPOINT ["/usr/local/bin/dockerd-entrypoint.sh"]
CMD ["serve"]

LABEL maintainer="604637883@qq.com"

生成GPU镜像

docker build -f Dockerfile.gpu -t mms1-gpu .

直接使用本人创的镜像** !!!!!

dockhub:

docker pu

标签

#mxnet #docker #深度学习

最低0.47元/天解锁文章